Wiki 知识库

9 张嘴型图,让数字人跟着 TTS 说话

Z.He 2026-10-18 18.0 KB 5.8K 38

本文介绍了一种轻量级数字人口型同步方案:作者为英语陪练 App 制作了 6 个虚拟老师,每个角色仅需一张图片加约 0.5MB 素材,无需 GPU。核心是利用 Kokoro TTS 合成语音时天然携带的音素时长信息,将 44 个英语音素按视觉相似度合并为 9 种嘴型(viseme),生成时间轴通过响应头传递给前端。文章详细讲解了音素与视位的映射、音量修正停顿、LivePortrait 生成待机视频和嘴型图、以及 canvas 统一渲染等技术细节,实测嘴型偏差中位数约 0.1 秒,60 帧不掉帧。

游客免费额度已用完

未登录每月可读 5 篇已用尽。登录/注册后再获 5 篇免费额度,注册不收费。

登录 / 注册