Voice Agents 101: 会说话的 AI 背后的架构
本文深入探讨了语音智能体的技术架构,指出语音工程不同于文本工程。文章对比了级联式与端到端两种语音模型,分析了全双工通信的难点,并详细解析了为了实现自然对话所需的流式处理与延迟优化策略。
本文深入探讨了语音智能体的技术架构,指出语音工程不同于文本工程。文章对比了级联式与端到端两种语音模型,分析了全双工通信的难点,并详细解析了为了实现自然对话所需的流式处理与延迟优化策略。
文章以2026年最新视角深入剖析了语音Agent的底层架构、延迟预算与级联/端到端模型的技术权衡,技术细节丰富且极具落地参考价值,虽因截断缺失部分结尾,但整体时效性强且专业度高。
文章揭示了构建语音代理的核心要素:并非追求最强模型,而是建立低延迟的实时管道。作者阐述了三种主流架构,并详细拆解了链条式流程中 STT(听力)、LLM(大脑)、TTS(嘴巴)、检索(记忆)与执行(手)这五个关键组件的选型、调优与避坑指南,强调对话设计的重要性。
本文深入解析了 OpenAI GPT-Live-1 全双工语音模型的架构原理。文章回顾了语音系统的三代演进:级联设计(ASR+LLM+TTS 串联,存在信息丢失和延迟叠加问题)、轮次式端到端语音模型(保留语气情感但依赖 turn detector,容易不自然)、以及全双工架构(模型同时监听和说话,沉默也是一种 token)。GPT-Live 通过将思考从说话中委托出去,保持语音模型小而快以实现毫秒级响应,同时依赖服务端系统的低延迟优化。文章还讨论了全双工系统的评估方法与实时系统工程经验。
本文剖析了开源Coding Agent的内核架构,重点讲解LLM协议层的精巧设计。一方面,通过分离API协议与服务商配置,仅用11个协议实现便覆盖了38家大模型,新增支持仅需十几行配置代码;另一方面,确立了“模型调用永不抛出异常”的核心契约,将网络中断、鉴权失败等异常情况统一降级为带有stopReason的普通事件流。这种设计不仅保持了上层Agent循环代码的优雅,还能在发生错误时保留已生成的部分内容,极大提升了系统的鲁棒性与用户体验。
本期早报围绕智能体系统建设展开:一是 Anthropic 负责人解释 Claude 交付架构,将会话记录、运行框架与沙箱执行环境分离,使失败恢复不影响工作连续性;二是 LangChain 分享设计智能体的实践,将设计师的审美判断沉淀为技能与知识库,中位费用从 8 美元降至 0.50 美元;三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性,发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
作者分享了使用 Claude Code(Opus 5.5)批量制作资讯类竖屏短视频的完整工作流。核心步骤包括:选题(AI 粗选、人工精选,信息源以推特和 Hacker News 为主)、素材准备(Gemini API 写脚本和 TTS 配音、Suno 背景音乐、背景图、logo 等)、编写初始提示词、让 Agent 撰写脚本并派子 agent 做对抗式审查、反复修改脚本与成片。文中提供了可直接复用的提示词模板,并开源了包含 18 套竖屏视频风格的 Claude Code skill(creator-style-kit),可用于固定视频的字体、配色、动效与音效风格。
本文介绍 2026 年构建多模型 AI Agent 团队的完整方法。作者指出使用单一模型会导致高成本低效、专业能力受限以及单供应商故障/盲点风险,主张按任务步骤选择合适模型。文章梳理了 2026 年 9 月的主流模型阵容(Claude Opus/Sonnet/Haiku/Fable 5.1、GPT-6 Astra、TypeSafe Jev)及定价,提出五层架构:路由器、编排器、专家模型、评审者(critic)和纯代码层,并讲解如何先对工作负载分类(决策、简单生成、真实工作、难题),再为每层选择最划算的模型。文中附有统一封装多供应商 API 的示例代码,涵盖 effort 参数与 thinking block 处理细节。
文章指出,现代生产力的最大瓶颈不是思考慢,而是工作碎片化地在多个应用间切换,决策只需三十秒,而协调却要二十分钟。Grok Bot 类持久化 Agent 的价值在于以任务结果为界面,让应用成为实现细节,消除工具间的转换成本。作者阐述了以职位描述定义工作流、持久化环境保存上下文、将流程固化为可复用例程、从人类行为中学习自动化等理念,并强调 Agent 架构应分层:生成模型负责创造内容,快速决策层负责调度,确定性代码负责规则约束,从而构建真正自主的工作系统。
作者尝试用 Opus 5.5 全程自动制作吃瓜(八卦)短视频,包括自动搜集素材、生成文案、用 Gemini 3.8 Flash TTS 配音,中英文两个版本,整个流程仅耗时半小时。文中分享了完整 Prompt 设计:内容要求八卦有冲突但事实准确、开头3秒抓眼球、素材以视频片段为主、9:16竖版4-6分钟、自动压低BGM、添加水印、封面设计等细节,还支持生成去敏版本。评论区讨论了此类方法对影视解说自动化的启发。
Uber 推出 MCP Gateway,作为统一管理 AI Agent 与后端服务 MCP 交互的核心微服务平台。文章介绍了其架构:控制平面(MCP Registry)作为工具目录的唯一事实来源,数据平面(Proxy Gateway)负责将 MCP 协议请求翻译为 HTTP、gRPC 或 TChannel 并路由到后端服务。通过基于 Cadence 的 AutoCrawler 自动扫描 IDL 注册表和原生 MCP 服务器心跳,自动发现、生成并注册 MCP 工具,同时支持 Jira、Google 等第三方集成。该平台已托管 800 多个 MCP 服务器和 5000 多个工具,实现了安全、可扩展、统一的 Agent 生态治理。