Wiki 知识库

全部文档 / 标签: 实时流式

2 篇
清除

用开源实时 ASR 模型 Confucius4-R2T2 + Jev 平替英语流利说

作者介绍网易有道开源的实时流式 ASR 模型 Confucius4-R2T2 与 Jev 模型组合,可平替英语流利说的口语评测功能。R2T2 是真流式模型,以 160ms 间隔输出且具备 stable prefix 机制,保证已提交文本不被修改;Jev 则快速判断文本层面的漏读、多读和错读类型。两模型均为开源,可在 NVIDIA 显卡本地部署,适合在家朗读练习。作者也指出当前方案仅限文本层面纠错,读音纠错需接入音标识别模型,应对语序跳跃、替换词等复杂场景仍需更深入的声学模型支持。

技术 › LLM WquGuru (@wquguru) 2026-09-212.9 KB 75

Building low latency, streaming voice agents

本文介绍 Google 最新的语音转文本模型 Gemini 3.5 Transcribe,重点讲解其实时流式端点 gemini-3.5-transcribe-live 如何通过 WebSocket 以亚秒级延迟实现低延迟语音交互。作者以实时辩论代理为例,展示如何结合 Agent Development Kit (ADK) 构建多智能体流水线:在用户仍在说话时流式获取中间转录结果,经 Gemini 3.7 Flash 做意图过滤,后台并行触发 Google Search grounding 检索证据,最后通过 Cloud Text-to-Speech 生成自然语音回复。该模式支持 85+ 语言,适用于会议实时查证、呼叫中心坐席辅助、交互式语音机器人、直播字幕等场景,消除了传统语音应用的等待延迟。

技术 › TTS Wei Hsia 2026-09-118.7 KB 30.1K 208 74