文章系统梳理了 2026 年主流开源 TTS 方案：CosyVoice 2 低延迟流式，适合实时语音 Agent 与数字人；GPT-SoVITS 擅长小样本音色微调与克隆；ChatTTS 拟人口语自然，适合 AI 播客；F5-TTS 与 Breeze-TTS 2 基于流匹配免对齐克隆，稳定性好；Fish Audio Drama 3 情绪表现力全面但算力要求高；MaskGCT 鲁棒性强，可处理气声耳语等极端发音；KittenTTS 2 体积极小，可在 CPU 端侧运行。各方案定位不同，读者可按延迟、音色、表现力与资源需求选型。
Fish Audio 通过重构 S2.1 Pro 语音模型的服务栈，将 GPU 利用率从约 50% 提升至 90% 以上，使原本需要四块 H200 的请求量现在一块即可承载。核心技术包括：针对 TTS decode 小矩阵形状定制的 FP8 CUDA 内核（比 torch.compile-fused cuBLAS 快 2.1–4.3 倍）、Continuous Batching（并发 1 到 64 吞吐量提升约 52 倍，仅增加 37ms 延迟）、Kubernetes 与 Slurm 弹性调度填充空闲算力，以及自建网络与存储基础设施。所有推理变更均需通过正确性与性能双重门槛。这些优化带来的单位经济效益使 Fish Audio 能够将完整的 S2.1 Pro 模型免费开放，并开源了 fish-scales-ops 内核库。
文章介绍了开源项目 VoiceStudio（作者 debpalash），一个纯 Python、AGPL-3.0 协议的本地配音工具，定位为「开源、全程本地的 ElevenLabs 平替」。它支持声音克隆、声音设计、带时间轴对齐的视频配音、语音转写、有声书和批量任务，只需几十秒参考录音即可抽音色，官方支持六百多种语言。项目半年内获得约 6.7 万 Star，桌面端基于 Electron，数据全部留在本地不上传云端，兼容 NVIDIA CUDA 和苹果 Metal，并提供 Local API 和 MCP 供 Claude Code、Codex 等 Agent 调用。文章同时提醒性能受硬件限制、授权需分别确认，以及克隆声音必须取得对方授权。
作者为搭建视频配音工作流，测评并整理了 10 个开源 TTS 项目，按用途分为四组：中文配音带情绪（IndexTTS、VoxCPM、Qwen3-TTS、CosyVoice）、声音克隆与个性化（GPT-SoVITS、Chatterbox）、多人对话与播客（Fish Speech、SoulX-Podcast）、轻量实时（Kokoro、VibeVoice-Realtime）。文章为每个工具提供官方安装命令、可直接复制给 Agent 的提示词、显存配置要求、许可证说明及踩坑经验，强调选型应先看用途和显卡配置，再看 GitHub 星数。
作者发现一个中文语音数据集，包含218人的8万多条语音，情感中性，并带有性别、年龄、母语口音等标注，字音准确率达98%以上，经过专业标注和严格质检。开源TTS模型如F5、Spark、IndexTTS2都需要参考语音，自己录制麻烦，该数据集可以省去这一步。作者是在为Qiaomu Reader开发电子书朗读功能时发现的。文中附有数据集官网地址和语音样例链接。
本文是一篇详细的接入教程，介绍如何在 Muse 中接入 Fish Audio TTS 服务。作者 TaoBuilds 对比了 Azure（稳定但音色固定）与 Fish Audio（支持声音克隆和特色音色）的差异，并给出六步接入流程：注册 Fish Audio 账号、切换到 Developer 模式、确认每月 8000 点的免费额度、创建 API Key、在 Muse 中关联 Key、编写调用脚本并实测出声，全程约 5 分钟。接通后日常语音仍走免费的 Azure，特色音色和声音克隆则用 Fish Audio 完成。文末提醒注意免费额度用量、不要克隆真人声音公开发布，以及 Key 泄露时的处理方法。
文章介绍了如何利用网易有道开源的免费TTS模型Confucius 4-TTS实现本地声音克隆。作者展示了将该模型集成到WeSight桌宠中，实时使用复刻音色进行任务播报的过程。该模型仅1.3B大小，支持14种语言的无参考文本克隆，并提供了详细的本地部署代码及在Mac和远程服务器上的运行方案。
作者整理了 20 种与动画、物理、3D、声音及交付相关的开源技能与工具库，涵盖 Remotion、HyperFrames、Anime.js、React Spring、PixiJS、p5.js、Paper.js、Matter.js、Three.js、Rapier、OGL、tsParticles、glTF Transform、GL Transitions、OBS Studio、Chatterbox、Tone.js、faster-whisper、OpenCut 和 FFmpeg。每个工具附有简介和 GitHub 链接，覆盖从视频渲染、动画编排、图形绘制到配音、字幕转录和视频编码交付的完整创作流程。
作者开源了一套耗时数周、花费数千美金打磨的数字人制作工作流Skills。只需一张照片和一句话指令，即可全自动生成数字人直播间带货广告，包括脸、声音、直播间、花字、价格动画等全部由AI完成。文章详细介绍了九大步骤：接入Renoise MCP工具、合成场景图、AI推荐风格、切分稿件、先报价拍首段、whisper回听与抽帧质检、拆解25支头部博主视频提炼的48个包装组件、三层景深字效果、以及过渡帧检查。成片成本仅482积分，替代了传统主播、灯光、场地、剪辑师的制作流程。
作者开发了一个免费开源的雅思背单词网站「词光」，收录 7298 个雅思词汇，每个词配有原创插画、英音美音发音和例句真人配音（使用 ElevenLabs 生成）。网站无需注册即可使用，通过词汇星图点亮星星的互动方式增加学习趣味。文章发布后获得大量好评，网友建议包括做成 App、支持自定义每日单词量、优化字体、改善配图记忆技巧等，作者均积极回应并表示会跟进改进，还计划支持初高中词库和扩展到其他学习领域。
作者受"天工开帧"直播间启发，花四天从 0 到 1 搭建了基于 Vidu 实时数字人模型的 AI 主播"晚晚"，并在抖音成功直播 70 多分钟。文章拆解了原直播间的技术方案：Vidu 负责主播层，自研场控层负责弹幕过滤、排队、意图识别、换装、待机话题等。详细分享了踩坑经验，包括底图审美、音色选择、换背景导致衣服消失的事故及应对方案，并分析了游戏直播、无限流互动剧情、娱乐直播等应用方向。整套工具框架已按 MIT 协议开源。文中也提醒了 AI 直播的合规边界，强调真人出镜监督的必要性。
作者分享了使用 Claude Code（Opus 5.5）批量制作资讯类竖屏短视频的完整工作流。核心步骤包括：选题（AI 粗选、人工精选，信息源以推特和 Hacker News 为主）、素材准备（Gemini API 写脚本和 TTS 配音、Suno 背景音乐、背景图、logo 等）、编写初始提示词、让 Agent 撰写脚本并派子 agent 做对抗式审查、反复修改脚本与成片。文中提供了可直接复用的提示词模板，并开源了包含 18 套竖屏视频风格的 Claude Code skill（creator-style-kit），可用于固定视频的字体、配色、动效与音效风格。
作者公开了使用 Claude Opus 5.5 制作 AI 资讯类视频的完整工作流程：包括从 X 和 Hacker News 选题、准备 Agent 所需工具（Gemini API 写脚本与 TTS 配音、Suno 背景音乐等）、编写初始提示词模版、让 Gemini 写脚本并由 Claude Code 派子 agent 进行对抗式审查，以及反复迭代修改脚本与视频。作者还开源了包含 18 套风格的 creator-style-kit 风格 skill，并指出选题是内容成败的关键，常见问题是画面信息密度过高和配音契合度问题。
