ElevenLabs 推出 Dubbing V2:端到端 AI 配音模型
ElevenLabs 发布全新 Dubbing V2 端到端 AI 配音模型。该模型摒弃了传统的“转写-翻译-合成”三段式流程,直接基于原始表演进行声音建模。它支持 90 多种语言和口音,能完美保留原说话人的音色、情绪、呼吸节奏及身份特征,实现音色穿越和情绪保真。同时支持音频、视频及文字输入,提供限时免费体验。
ElevenLabs 发布全新 Dubbing V2 端到端 AI 配音模型。该模型摒弃了传统的“转写-翻译-合成”三段式流程,直接基于原始表演进行声音建模。它支持 90 多种语言和口音,能完美保留原说话人的音色、情绪、呼吸节奏及身份特征,实现音色穿越和情绪保真。同时支持音频、视频及文字输入,提供限时免费体验。
文章及时报道了最新技术突破,清晰介绍了端到端配音模型的核心创新点、具体能力及免费试用政策,具有很高的信息价值和落地操作性,但受限于短帖形式,技术原理解析较浅。
本文面向内容创作者,系统整理了可实际使用的 MCP(Model Context Protocol)工具清单,涵盖做图、视频、语音配音、剪辑字幕、设计衔接和音乐六大场景。作者推荐 Sunra(聚合多家图片/视频/音频模型)、Magnific、ElevenLabs(配音)、Palmier Pro 和 DaVinci Resolve MCP(剪辑)、Figma MCP(设计)等,并提醒避开 Midjourney、Suno 等非官方第三方封装的 MCP。文中还给出安装方法、费用说明及五个常见踩坑提醒:认准官方网址版、注意账户余额、保护授权密钥、区分 Skill 与 MCP、先装一个用熟。
作者第一时间实测了 ElevenLabs v4 语音模型。该模型被官方称为“最有感情”的一代,能读懂语气、节奏和情绪,无需 SSML 即可通过文案直接指挥表演;即时语音克隆仅需10秒音频,专业克隆保真度更高。v4 支持90+种语言(上代70种),中日文提升最大,长篇创作中说话者身份保留更可靠。Turbo 版延迟压至100ms,适合实时语音智能体。API 定价千字 $0.08,10月12日前有促销。作者认为质感起飞,适合短剧、播客、AI配音场景,但中文音色仍偏少,评论区对中文效果评价不一。
本文介绍如何使用ElevenLabs的Dubbing工具将中文视频快速制作成多语种版本。Dubbing v2支持90多种语言翻译,可保留说话人音色、情绪与背景音。文章详细讲解源视频准备、术语表建立、上传导出流程、转写翻译配音的校对顺序,以及成片验收的五个检查点(信息准确、声音节奏、混音同步等)。建议先用短样片测试,再逐语言扩展,人工负责专有名词与事实核对,适合课程、产品演示和访谈类内容出海。
作者开发了一个免费开源的雅思背单词网站「词光」,收录 7298 个雅思词汇,每个词配有原创插画、英音美音发音和例句真人配音(使用 ElevenLabs 生成)。网站无需注册即可使用,通过词汇星图点亮星星的互动方式增加学习趣味。文章发布后获得大量好评,网友建议包括做成 App、支持自定义每日单词量、优化字体、改善配图记忆技巧等,作者均积极回应并表示会跟进改进,还计划支持初高中词库和扩展到其他学习领域。
文章系统梳理了 2026 年主流开源 TTS 方案:CosyVoice 2 低延迟流式,适合实时语音 Agent 与数字人;GPT-SoVITS 擅长小样本音色微调与克隆;ChatTTS 拟人口语自然,适合 AI 播客;F5-TTS 与 Breeze-TTS 2 基于流匹配免对齐克隆,稳定性好;Fish Audio Drama 3 情绪表现力全面但算力要求高;MaskGCT 鲁棒性强,可处理气声耳语等极端发音;KittenTTS 2 体积极小,可在 CPU 端侧运行。各方案定位不同,读者可按延迟、音色、表现力与资源需求选型。
作者实测蚂蚁灵波开源的 Ming-3.0-TTS 模型的三种核心能力:Voice Design(用文字描述创造原创音色)、Freeform(导演式指令控制重音、停顿和情绪)以及声音克隆(支持在正文中插入叹气、咳嗽、呼吸等声音事件标签)。文章详细介绍了从 Hugging Face 在线体验到本地部署的完整流程,包括参考音频准备、音色描述写作模板、命令行操作等,并提出判断 TTS 能否进入 AI 视频工作流的五项标准,如音色身份稳定性、重音停顿准确性、声音事件自然度等。
文章介绍了开源项目 VoiceStudio(作者 debpalash),一个纯 Python、AGPL-3.0 协议的本地配音工具,定位为「开源、全程本地的 ElevenLabs 平替」。它支持声音克隆、声音设计、带时间轴对齐的视频配音、语音转写、有声书和批量任务,只需几十秒参考录音即可抽音色,官方支持六百多种语言。项目半年内获得约 6.7 万 Star,桌面端基于 Electron,数据全部留在本地不上传云端,兼容 NVIDIA CUDA 和苹果 Metal,并提供 Local API 和 MCP 供 Claude Code、Codex 等 Agent 调用。文章同时提醒性能受硬件限制、授权需分别确认,以及克隆声音必须取得对方授权。
作者为搭建视频配音工作流,测评并整理了 10 个开源 TTS 项目,按用途分为四组:中文配音带情绪(IndexTTS、VoxCPM、Qwen3-TTS、CosyVoice)、声音克隆与个性化(GPT-SoVITS、Chatterbox)、多人对话与播客(Fish Speech、SoulX-Podcast)、轻量实时(Kokoro、VibeVoice-Realtime)。文章为每个工具提供官方安装命令、可直接复制给 Agent 的提示词、显存配置要求、许可证说明及踩坑经验,强调选型应先看用途和显卡配置,再看 GitHub 星数。
作者分享了用 Opus 5.5 作为 AI 导演,从剧本到成片全自动制作 AI 短剧《神文觉醒》的完整流程。人只参与三件事:提供剧本、回答问题、看片提意见,其余写提示词、出图、生成视频、挑片、剪辑、配乐全部由模型完成。文章提炼了 16 个技巧,包括分段生成、连戏表锁定细节、角色三视图、首尾帧生成画面文字、表演状态控制台词语气、抽帧审核等,并介绍分镜师 4.0 九环节工作流和 Studio 看片插件,展示了 AI 从操作员工具进化为导演的实践路径。
作者分享了一个基于 Grok Bot 制作的公开模板「故事视频生成」,可将文章自动转成 1080×1920 竖屏口播动画视频。Bot 按导演流程推进:生成剧本、拆分镜头、设计角色并提供三种美术方向供挑选,用 AI 生成绿幕角色姿势图配合 Canvas/Playwright 渲染,配音采用可商用的 CosyVoice3,并配备自动质检和独立审片员逐条核对修正。文章通过《烂梨效应》和《边界》两个案例展示了完整制作过程,包括风格选择、姿势库搭建、读音纠正和画面修复。该 Bot 基于 hand-drawn-styles、huashu-art-motion、omniailab-ai-director 三个 MIT 开源技能,用户导入模板后即可一键生成带声音和画面的视频。
本文是一篇详细的接入教程,介绍如何在 Muse 中接入 Fish Audio TTS 服务。作者 TaoBuilds 对比了 Azure(稳定但音色固定)与 Fish Audio(支持声音克隆和特色音色)的差异,并给出六步接入流程:注册 Fish Audio 账号、切换到 Developer 模式、确认每月 8000 点的免费额度、创建 API Key、在 Muse 中关联 Key、编写调用脚本并实测出声,全程约 5 分钟。接通后日常语音仍走免费的 Azure,特色音色和声音克隆则用 Fish Audio 完成。文末提醒注意免费额度用量、不要克隆真人声音公开发布,以及 Key 泄露时的处理方法。