本文介绍如何使用 Gemini Live API 构建具备自然对话体验的实时语音 AI Agent。与传统的单向 TTS 不同，Gemini Live 采用音频到音频的双向通信，能感知语气、停顿并支持随时打断。文章详细讲解了系统架构：浏览器客户端通过 WebSocket 连接 Python 后端，再与 Gemini 建立持久双向会话，并实现发送、接收、播放的并发核心循环。针对打断延迟问题，作者提出本地立即静音的 barge-in 技巧，并结合内置 VAD 实现即时响应。最后通过工具调用（function calling）与异步确认模式，让语音 Agent 能够播放音乐等实际操作且不产生尴尬停顿。完整示例代码已在 GitHub 开源。
本文介绍 Google 最新的语音转文本模型 Gemini 3.5 Transcribe，重点讲解其实时流式端点 gemini-3.5-transcribe-live 如何通过 WebSocket 以亚秒级延迟实现低延迟语音交互。作者以实时辩论代理为例，展示如何结合 Agent Development Kit (ADK) 构建多智能体流水线：在用户仍在说话时流式获取中间转录结果，经 Gemini 3.7 Flash 做意图过滤，后台并行触发 Google Search grounding 检索证据，最后通过 Cloud Text-to-Speech 生成自然语音回复。该模式支持 85+ 语言，适用于会议实时查证、呼叫中心坐席辅助、交互式语音机器人、直播字幕等场景，消除了传统语音应用的等待延迟。
作者分享了使用 Claude Code（Opus 5.5）批量制作资讯类竖屏短视频的完整工作流。核心步骤包括：选题（AI 粗选、人工精选，信息源以推特和 Hacker News 为主）、素材准备（Gemini API 写脚本和 TTS 配音、Suno 背景音乐、背景图、logo 等）、编写初始提示词、让 Agent 撰写脚本并派子 agent 做对抗式审查、反复修改脚本与成片。文中提供了可直接复用的提示词模板，并开源了包含 18 套竖屏视频风格的 Claude Code skill（creator-style-kit），可用于固定视频的字体、配色、动效与音效风格。
作者公开了使用 Claude Opus 5.5 制作 AI 资讯类视频的完整工作流程：包括从 X 和 Hacker News 选题、准备 Agent 所需工具（Gemini API 写脚本与 TTS 配音、Suno 背景音乐等）、编写初始提示词模版、让 Gemini 写脚本并由 Claude Code 派子 agent 进行对抗式审查，以及反复迭代修改脚本与视频。作者还开源了包含 18 套风格的 creator-style-kit 风格 skill，并指出选题是内容成败的关键，常见问题是画面信息密度过高和配音契合度问题。
作者尝试用 Opus 5.5 全程自动制作吃瓜（八卦）短视频，包括自动搜集素材、生成文案、用 Gemini 3.8 Flash TTS 配音，中英文两个版本，整个流程仅耗时半小时。文中分享了完整 Prompt 设计：内容要求八卦有冲突但事实准确、开头3秒抓眼球、素材以视频片段为主、9:16竖版4-6分钟、自动压低BGM、添加水印、封面设计等细节，还支持生成去敏版本。评论区讨论了此类方法对影视解说自动化的启发。
本文介绍使用 Gemini 3.8 Live 和 Google Agent Development Kit (ADK) 构建实时保险理赔语音代理的四种核心模式：1）工具标记为 NON_BLOCKING，让代理在执行代码时保持对话流畅，重要信息可打断；2）通过独立记录所见、来电者所述及验证结果，并用第二个模型复核照片证据，避免盲从口头描述；3）一个模型负责通话，后台由七个步骤的 SequentialAgent 团队异步整理理赔文书；4）模型负责理解对话，Python 负责执行金额、日期、安全等硬性规则。文章包含完整开源代码和本地运行指南。
本期早报围绕 AI 模型与工程实践展开三大精讲：一是 OpenAI 为 GPT-6 改进提示缓存，命中率提升并推出缓存诊断工具，缓存输入折扣最高 90%；二是 Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS，支持声音创作、双说话人控制与授权声音复刻；三是 xAI 发布 Grok 4.7，聚焦长任务编程与自我验证，附基准与定价。速览部分涵盖腾讯错误码治理 Agent、网易 AI 原生组织实践、Reducto 文档智能、阿里 AI Native 研发手册、大淘宝小游戏 Agent、Harness 记忆与验证闭环及良渚 vibe coding 社区观察。
本文深入解析了 OpenAI GPT-Live-1 全双工语音模型的架构原理。文章回顾了语音系统的三代演进：级联设计（ASR+LLM+TTS 串联，存在信息丢失和延迟叠加问题）、轮次式端到端语音模型（保留语气情感但依赖 turn detector，容易不自然）、以及全双工架构（模型同时监听和说话，沉默也是一种 token）。GPT-Live 通过将思考从说话中委托出去，保持语音模型小而快以实现毫秒级响应，同时依赖服务端系统的低延迟优化。文章还讨论了全双工系统的评估方法与实时系统工程经验。
本期早报围绕 AI 系统的可控性与验收展开。黄仁勋在 All-In Podcast 中把 AI 安全从宏大叙事拉回工程控制，强调事故根因分析、沙箱与发布门机制；Google DeepMind 发布 Gemini 3.8 Live，将实时视觉输入、多语言对话与后台工具调用编排成连续交互链路；Plivo 分享语音智能体上线首周的五种失败模式，涵盖延迟、转写、结构化采集、语音合成规范与打断处理，提出字段级测试等验收清单。速览部分还包括 Tobi Lütke 谈 AI 智能体与人类判断力、Hugging Face 的重复成功率指标、Box CEO 谈企业 AI 应用层、iOS 27 Siri 体验等 AI 行业动态。
本文汇总了近 30 天（8/16-9/15）语音 agent 领域的重大进展。核心变化包括：OpenAI 推出全双工语音模型 GPT-Live-1 进 API，替代传统 STT-LLM-TTS 三段拼接架构；一波新模型与产品密集发布（Tavus、Soniox、HeyGen、ElevenLabs 等）；评测开始'打假'，Jarvis Bench 把真人放进排行榜检验模型真实能力；Natera 公司首次公开生产环境语音 agent 的详实数据（成本、延迟、NPS 等）；语音正从'对话层'演变为'编排层'，成为调度多个 agent 的入口；开源与本地方案（Voicebox 等）蓬勃发展。
本文介绍如何在 Google Cloud 的 Gemini Enterprise Agent Platform 上同时配置 Anthropic Claude Fable 5.1 与 Google Gemini 3.8 Flash 两款模型，并通过任务路由优化 token 成本（tokenomics）。作者指出单一模型路由全部任务是错误的：深度规划模型处理日常事务会浪费成本，而快速模型处理不可逆的复杂任务风险很大。文章详细演示了启用 Claude Fable 5.1 所需的数据共享配置（setPublisherModelConfig API）、Gemini 3.8 Flash 的调用方式，并建议先对常规任务做基准测试，以快速模型作为一线协调者、深度规划模型按需升级处理，从而大幅提升任务 ROI。
本文介绍如何通过上下文压缩代理 headroom 减少 Agent 调用 Gemini 模型时的 token 消耗。作者指出 agent 上下文中大部分 token 来自工具输出的冗余 JSON、日志和搜索结果，而非精心设计的提示词。通过在 Gemini 3.8 Flash 前部署 headroom 代理，在四种生产级 agent 工作负载测试中，prompt token 减少 76%，任务准确率保持 100%，首 token 时间有所改善，建模成本下降约 70%。文章同时诚实探讨了压缩的有损性：压缩器保留模式、分布和异常值，但会丢弃普通记录，模型在数据缺失时会拒绝编造。项目开源且可复现。
文章介绍了如何使用 Telnyx AI Assistant Builder 构建生产级客户支持语音代理。教程涵盖了低延迟音频流、中断处理等工程挑战，并演示了通过 FastAPI Webhook 注入实时业务上下文（如排队时间、系统状态）的方法，无需自行搭建 STT、LLM 和 TTS 管道。
