阿里开源实时语音Harness Qwen-Audio-Agent
阿里开源了实时语音Harness Qwen-Audio-Agent,支持全双工实时对话和自然打断,可与OpenCode、OpenClaw等Agent协同工作,实现边说边干的交互方式。
阿里开源了实时语音Harness Qwen-Audio-Agent,支持全双工实时对话和自然打断,可与OpenCode、OpenClaw等Agent协同工作,实现边说边干的交互方式。
作者基于 Grok Bot 0.70.2 桌面客户端协议,开发并开源了一套非官方 Node.js SDK(grok-bot-sdk),用于在本地环境中与自己账号下的 Bot 通信。文章以 MacBook Touch Bar 集成为真实案例,介绍了 SDK 的设计动机、与现有方案的区别,以及登录、读取 Bot 名单、头像离线计算、发消息、接收 SSE 回复等技术细节。SDK 采用 MIT 协议开源,零外部依赖,要求 Node.js 22.13 以上,目前可通过 GitHub 直接安装。
Jared Palmer(Cognition)开源了 Kev,一族建在 Qwen3.5/3.8 之上的 Jev 式小型决策模型(0.8B~27B,Apache-2.0)。文章介绍了 Kev 与 Jev 的对比数据:Kev-27B 在新数据源上与 Jev 相差一个点以内,但作者强调这不是受控比较。最有价值的部分是完整的微调闭环:通过 coding agent 的 skill,可自动从用户代码中找出问题、转换已有标签、在 Modal 上微调并部署,一次 Kev-4B 训练在 H100 上约 1 美元,示例中把准确率从 67.7% 提到 73.6%。文章还总结了校准温度、问题隔离设计等工程细节,以及作者诚实的自我限制态度。
本文介绍使用 Gemini 3.8 Live 和 Google Agent Development Kit (ADK) 构建实时保险理赔语音代理的四种核心模式:1)工具标记为 NON_BLOCKING,让代理在执行代码时保持对话流畅,重要信息可打断;2)通过独立记录所见、来电者所述及验证结果,并用第二个模型复核照片证据,避免盲从口头描述;3)一个模型负责通话,后台由七个步骤的 SequentialAgent 团队异步整理理赔文书;4)模型负责理解对话,Python 负责执行金额、日期、安全等硬性规则。文章包含完整开源代码和本地运行指南。
作者总结了 Qwen 发布会的重点:除了新模型外,更值得关注的是 Qwen 形成了从模型训练、推理优化到芯片协同的完整研发体系。核心亮点是 RSI 递归自我进化,Qwen3.8-Max 在少人工干预下连续运行一个多月完成 33 轮迭代,包括自主优化 SGLang 提升 96% 吞吐、芯片设计中减少 42% 物理实现面积。Qwen3.8-Omni-Flash 统一多模态理解框架支持 1M 上下文,价格大幅下降约九成。Qwen4 已开始训练,未来参数量将扩展到 5 万亿至 10 万亿。开源生态方面,累计下载超 30 亿次,衍生模型超 30 万个。
作者分享通过UU远程的最新升级,让本地运行的开源大模型(如Qwen 27B)拥有了手机端入口。相比Codex远程控制只支持自家模型、Claude Code远程有封号风险,本地模型不花钱、不封号且速度快。UU远程基于tmux实现,支持完整TUI渲染、多终端会话、跨端接管和语音输入,且免费。作者还开源了uu-term-bridge工具,让iTerm2中的所有会话自动出现在手机列表,实现桌面与手机双向无缝切换,补齐了与Codex远程体验的差距。
Anthropic开源了此前为商家打造的Claude购物AI助手(Commerce Agents),提供购物Agent和商家Agent两套完整可运行实现,覆盖零售、旅游、电信、票务四个行业,包含代码、技能、工具契约和安全门禁。文章总结了核心经验:用一个聪明大脑搭配一摞skills而非拆分多个小AI,系统提示词放高频逻辑、技能放长尾功能;智能体应调用企业已有引擎而非自行计算;将UI定义为工具调用输出结构化参数;优化延迟与缓存命中率;用户偏好存数据库而非模型;涉及钱的操作必须人工审批,并辅以自动化测试。
作者介绍了 ChatGPT 桌面应用中推出的新语音功能,该功能允许用户通过自然对话与 AI 协作,能够同时处理多个并行任务。文章详细讲解了语音模式的使用场景、设置方法以及在不同工作流中的实际应用,强调了其在提高工作效率和降低沟通门槛方面的价值。