如何构建 AI 语音代理：全流程指南
文章揭示了构建语音代理的核心要素：并非追求最强模型，而是建立低延迟的实时管道。作者阐述了三种主流架构，并详细拆解了链条式流程中 STT（听力）、LLM（大脑）、TTS（嘴巴）、检索（记忆）与执行（手）这五个关键组件的选型、调优与避坑指南，强调对话设计的重要性。
相关文档
Voice Agents 101: 会说话的 AI 背后的架构
本文深入探讨了语音智能体的技术架构，指出语音工程不同于文本工程。文章对比了级联式与端到端两种语音模型，分析了全双工通信的难点，并详细解析了为了实现自然对话所需的流式处理与延迟优化策略。
构建客户支持语音代理实战指南
文章介绍了如何使用 Telnyx AI Assistant Builder 构建生产级客户支持语音代理。教程涵盖了低延迟音频流、中断处理等工程挑战，并演示了通过 FastAPI Webhook 注入实时业务上下文（如排队时间、系统状态）的方法，无需自行搭建 STT、LLM 和 TTS 管道。
How OpenAI Built GPT-Live
本文深入解析了 OpenAI GPT-Live-1 全双工语音模型的架构原理。文章回顾了语音系统的三代演进：级联设计（ASR+LLM+TTS 串联，存在信息丢失和延迟叠加问题）、轮次式端到端语音模型（保留语气情感但依赖 turn detector，容易不自然）、以及全双工架构（模型同时监听和说话，沉默也是一种 token）。GPT-Live 通过将思考从说话中委托出去，保持语音模型小而快以实现毫秒级响应，同时依赖服务端系统的低延迟优化。文章还讨论了全双工系统的评估方法与实时系统工程经验。
如何用 Claude / DeepSeek 做资讯类视频（附提示词和开源风格 skill）
作者分享了使用 Claude Code（Opus 5.5）批量制作资讯类竖屏短视频的完整工作流。核心步骤包括：选题（AI 粗选、人工精选，信息源以推特和 Hacker News 为主）、素材准备（Gemini API 写脚本和 TTS 配音、Suno 背景音乐、背景图、logo 等）、编写初始提示词、让 Agent 撰写脚本并派子 agent 做对抗式审查、反复修改脚本与成片。文中提供了可直接复用的提示词模板，并开源了包含 18 套竖屏视频风格的 Claude Code skill（creator-style-kit），可用于固定视频的字体、配色、动效与音效风格。
用 Opus 5.5 全自动制作吃瓜视频：找素材、配音一站搞定
作者尝试用 Opus 5.5 全程自动制作吃瓜（八卦）短视频，包括自动搜集素材、生成文案、用 Gemini 3.8 Flash TTS 配音，中英文两个版本，整个流程仅耗时半小时。文中分享了完整 Prompt 设计：内容要求八卦有冲突但事实准确、开头3秒抓眼球、素材以视频片段为主、9:16竖版4-6分钟、自动压低BGM、添加水印、封面设计等细节，还支持生成去敏版本。评论区讨论了此类方法对影视解说自动化的启发。
Thinking in Systems, Shipping in Loops
文章引用 DHH 的观点指出，手写代码对绝大多数程序员已不再经济，软件工程正演变为系统架构设计。通过 Artemis 和 SpaceXAI Grok 团队的案例，说明工程师如今通过设计验证循环（verification loops）让 AI 大规模正确地编写代码——如 Lauren Tan 每月发布 2000 个 PR。文章借鉴 Donella Meadows 的系统理论，提出优秀系统设计的三大特性：韧性（AI 通过测试、审查代理和生产可观测性自我校验）、自组织（循环学习将失败类型转化为新技能）和层级（将技能、工具与沙箱组合成可复用组件）。工程师的新职业是'驾驭智能'。
如何使用 Gemini Live API 构建实时语音 AI Agent
本文介绍如何使用 Gemini Live API 构建具备自然对话体验的实时语音 AI Agent。与传统的单向 TTS 不同，Gemini Live 采用音频到音频的双向通信，能感知语气、停顿并支持随时打断。文章详细讲解了系统架构：浏览器客户端通过 WebSocket 连接 Python 后端，再与 Gemini 建立持久双向会话，并实现发送、接收、播放的并发核心循环。针对打断延迟问题，作者提出本地立即静音的 barge-in 技巧，并结合内置 VAD 实现即时响应。最后通过工具调用（function calling）与异步确认模式，让语音 Agent 能够播放音乐等实际操作且不产生尴尬停顿。完整示例代码已在 GitHub 开源。
Building low latency, streaming voice agents
本文介绍 Google 最新的语音转文本模型 Gemini 3.5 Transcribe，重点讲解其实时流式端点 gemini-3.5-transcribe-live 如何通过 WebSocket 以亚秒级延迟实现低延迟语音交互。作者以实时辩论代理为例，展示如何结合 Agent Development Kit (ADK) 构建多智能体流水线：在用户仍在说话时流式获取中间转录结果，经 Gemini 3.7 Flash 做意图过滤，后台并行触发 Google Search grounding 检索证据，最后通过 Cloud Text-to-Speech 生成自然语音回复。该模式支持 85+ 语言，适用于会议实时查证、呼叫中心坐席辅助、交互式语音机器人、直播字幕等场景，消除了传统语音应用的等待延迟。
我们如何将 Playbook 审查重建为多智能体系统
Harvey 团队将合同 Playbook 审查引擎从基于固定提示词流水线的旧系统重构为多智能体系统。文章分析了合同审查的难点：复杂的条件逻辑、规则间的交叉依赖、交易情境影响判断、最小编辑原则以及需人工升级的决策。旧流水线架构存在上下文丢失、按条款孤立编辑、建议互相冲突等问题。团队与内部法律团队共建了评估基准，将法律判断量化，并据此设计了新的多智能体架构，以分析文档、标记风险并提出律师可信赖的精准修订建议。
Latency Patterns for Faster Applications
本文探讨了AI与非AI应用中的延迟优化模式。作者指出延迟是指从用户操作到首个有用结果出现的时间，用户感知的是完整关键路径而非单个组件。文章将延迟优化归纳为四大类共19种模式：一是本地化，包括同置、复制、分区和缓存；二是减少工作量，包括算法优化、选择性数据处理、初始化复用、请求合并和运行时调优；三是并发执行，包括避免同步、独立并发、渐进式响应、并发预算和对冲请求；四是预测性优化，提前处理可预测的工作。这些模式既适用于传统应用，也适用于涉及LLM调用、MCP服务器和Agent协调的现代AI应用路径。
说一句收到，我花了20341个token——Agent成本的过路费与省钱三刀
作者发现验证Agent成员是否存活时，一句简单的「收到」竟消耗两万个token，原因是每次对话都要重新装配成员的身份、记忆、技能清单等。文章剖析了Agent成本的三层「过路费」结构：身份装配、上下文搬运和格式开销，指出七成token花在空驶而非思考上。作者提出三刀止损法：利用前缀缓存把不变内容前置、健康探针直连绕过人格装配、协作转手只传摘要。实施后成本降了一半以上，但同时也暴露出便宜诱发滥用、缓存惩罚变动等新问题，并引出本地化部署的机会成本与主权优势思考。
30个开源仓库，助力AI业务自动化
本文介绍了30个开源仓库，用于构建自动化AI业务的各个层面，包括市场研究、潜在客户生成、内容创作、销售、支持、自动化、分析和安全。作者强调，没有单一工具能完全自动化业务，而是需要组合多个工具形成系统。文章按功能分类列出每个仓库的GitHub星标、用途和典型应用场景，并提醒读者开源不等于免费，且需注意合规性。
