Voice AI Engineering

级联管线 vs 端到端语音模型：先决定走哪条路

背景与原理

语音 agent 有两条架构路线，这是你动手前第一个、也是代价最大的决策：

• 级联（Cascaded）：语音 →（STT）→ 文本 →（你熟悉的 LLM，带 RAG / tool calling / 内容审核）→ 文本 →（TTS）→ 语音。每个环节可替换、可日志、可 eval——文本是你能 grep 的中间表示。代价是三段串联的延迟叠加，且转写会丢掉语气、情感、重音。
• 端到端（Speech-to-Speech）：模型直接 audio-in / audio-out。OpenAI Realtime API、Kyutai 的 Moshi 是代表——Moshi（arXiv 2410.00037）基于一个 7B Temporal Transformer + Mimi 流式音频编解码器，理论延迟 160ms、实测约 200ms，能边听边说（full-duplex），还保留语气。代价是你失去了文本中间层：RAG 注入、tool calling、合规审核、对话审计全都变难，模型说错话你连一份能复盘的文本日志都难还原。

结论很务实：需要工具、知识库、可审计性的生产系统，默认走级联；纯陪伴 / 闲聊 / 对语气要求极高、且不需要外部知识的场景，端到端才划算。2026 年绝大多数商用语音 agent（客服、预约、外呼）仍是级联，正是因为它们离不开 tool use 和审计。

轮次检测与打断：语音 agent 最难的一环

背景与原理

VAD（voice activity detection，如 Silero VAD）只能判断「现在有没有声音」，靠静音时长来判定轮次结束（endpointing）。问题是人说话中间会停顿思考——「我想想……这个嘛……」——VAD-only 系统会在停顿处抢话。正确解法是语义轮次检测：LiveKit 开源的 turn-detector 用一个从 Qwen2.5-0.5B 蒸馏出来的小模型（可在 CPU 上低延迟跑），根据转写文本的语义判断「这句话在语法/语义上完整了吗」，与 VAD 并联——VAD 管「有没有声」并触发打断，语义模型管「该不该接话」。

打断（barge-in）是另一件独立的工程：用户一开口，你必须同时做三件事——立刻停止 TTS 播放、清空已经合成但还没播出去的音频缓冲、并中止 LLM 还在生成的那段回复。漏掉任何一件，用户都会听到 AI 自顾自把上一句说完，体验立刻「机器味」。

实战示例

# barge-in：用户开口的瞬间，三件事一起做
async def on_user_speech_start(session):
    # 1) 停掉正在播放的 TTS 音频（最显眼，先做）
    await session.tts.stop()
    # 2) 丢弃已合成但未播出的音频缓冲——否则会"补播"出来
    session.audio_buffer.clear()
    # 3) 中止 LLM 还在流式生成的那轮（省 token + 防止它接着说）
    session.llm_task.cancel()
    # 4) 把"被打断"写进对话历史，让模型知道自己没说完
    session.history.append_interrupted(spoken_so_far=session.played_text)

# 轮次结束判定：VAD 静音 + 语义完整，两个信号都要
def should_commit_turn(vad_silence_ms, transcript):
    if vad_silence_ms < 200:        # 还在说，肯定没结束
        return False
    eou = turn_detector.predict(transcript)  # Qwen-0.5B：句子语义完整概率
    # 语义已完整 → 短静音就接话；语义没完 → 等更久（用户在思考）
    return eou > 0.7 or vad_silence_ms > 1200

关键在 should_commit_turn 的最后一行：语义完整时用短阈值（接话快），语义不完整时用长阈值（给用户思考空间）。这一条动态阈值，就是「不抢话又不迟钝」的核心。

voice-to-voice 延迟预算：句子级流水线

背景与原理

自然对话的轮换间隙约 200ms，端到端 voice-to-voice 超过 800ms 用户就感觉迟钝，<500ms 是金标准。预算怎么花：STT 出最终转写 + LLM 首 token（TTFT）+ TTS 首字节（TTFB）+ 网络往返，串起来很容易破秒。

最关键的 trick：不要等 LLM 输出完整答案。在 LLM 流式输出时挂一个 sentence buffer，累积 token 到遇见句末标点就立刻把这一整句送进 TTS——于是 TTS 在 LLM 还在生成第二句时，就已经在播第一句了。对语音来说真正重要的指标是 TTFT，因为第一句话一完成 TTS 就能开始出声，用户根本感知不到后面还在生成。再叠几层：音频 chunk 切到 100–250ms、STT 用流式 partial 而非等整段、TTS 选支持 streaming 的供应商。

实战示例

# 句子级流水线：LLM 边生成，TTS 边播。核心是别等 LLM 写完
import re
SENT_END = re.compile(r'[。！？.!?]\s*')

async def stream_speak(llm_stream, tts):
    buf = ""
    async for token in llm_stream:        # LLM 流式输出
        buf += token
        # 一凑满一个完整句子，立刻送 TTS——不等整段回复
        if SENT_END.search(buf):
            sent, buf = _split_first_sentence(buf)
            await tts.synthesize(sent)     # 第一句已在播，LLM 还在写第二句
    if buf.strip():
        await tts.synthesize(buf)          # 收尾残句
#  → 用户听到的延迟 ≈ STT + LLM首token + 第一句生成 + TTS首字节
#    而不是 STT + LLM整段 + TTS整段（后者轻松破 2 秒）

实测里这一招通常能把 voice-to-voice 从 1.5s+ 砍到 700ms 以内，因为你把「LLM 写完整段」这段最长的等待，和 TTS、播放并行掉了。

语音克隆、水印与伦理：你的责任边界

背景与原理

现代 TTS（ElevenLabs 等）几秒样本就能克隆一个人的音色。这给语音 agent 工程带来两类必须处理的责任：

• 输入侧 · 同意与来源：你克隆的声音得到本人同意了吗？production 系统需要 consent gate（克隆前校验授权）+ 音色 provenance（每个 voice ID 记录来源与授权凭证），否则一旦被用来仿冒，法律责任在你。
• 输出侧 · 可识别为合成：你生成的语音应当可被检测出是 AI 合成。被动检测（训分类器判真假）鲁棒性差、易被规避；主动水印更可靠：Meta 的 AudioSeal（arXiv 2401.17264）用 generator/detector 架构把不可听的水印嵌进波形，能定位到 sample 级（1/16000 秒粒度）、单遍检测极快、对压缩与剪辑鲁棒，已用在 Audiobox / Seamless 上服务约 10 万日活。

顺带纠正一个 eval 误区：评语音 agent 别只盯 STT 的 WER（词错率）。真实指标是任务成功率 + 打断准确率 + 轮次误触发率（被噪声或正常停顿误判为「说完了」的比例）——一个 WER 很低但老抢话的 agent，用户体验照样崩。

实战示例

# 语音克隆的最小责任栈：同意门 + 来源记录 + 输出水印
def clone_voice(sample_audio, owner_id, consent_token):
    # 1) consent gate：没有有效授权，物理上不让克隆
    if not verify_consent(owner_id, consent_token):
        raise PermissionError("no valid consent for this voice")
    voice_id = tts.create_clone(sample_audio)
    # 2) provenance：把来源/授权钉死在 voice 记录里，可审计
    registry.record(voice_id, owner=owner_id, consent=consent_token, source="user_upload")
    return voice_id

def synthesize_safe(text, voice_id):
    audio = tts.synthesize(text, voice_id)
    # 3) 输出侧打上不可听水印，让生成语音可被溯源检测
    return audioseal.embed(audio)   # 检测端：audioseal.detect(audio) → 是否本系统生成