开源数字人框架 Fay:可落地的AI数字人解决方案
文章介绍了一个名为 Fay 的开源数字人框架。该框架基于 GPL-3.0 协议,支持商用和全离线部署,采用模块化设计。Fay 支持 MCP 工具调用与仿生记忆,并提供 Web 管理界面,降低了使用门槛。作者列举了虚拟主播、智能客服、个人助理等多个落地场景,并分享了个人搭建经验,称其为中文社区目前最完整的开源数字人方案。
文章介绍了一个名为 Fay 的开源数字人框架。该框架基于 GPL-3.0 协议,支持商用和全离线部署,采用模块化设计。Fay 支持 MCP 工具调用与仿生记忆,并提供 Web 管理界面,降低了使用门槛。作者列举了虚拟主播、智能客服、个人助理等多个落地场景,并分享了个人搭建经验,称其为中文社区目前最完整的开源数字人方案。
作者开源了一套耗时数周、花费数千美金打磨的数字人制作工作流Skills。只需一张照片和一句话指令,即可全自动生成数字人直播间带货广告,包括脸、声音、直播间、花字、价格动画等全部由AI完成。文章详细介绍了九大步骤:接入Renoise MCP工具、合成场景图、AI推荐风格、切分稿件、先报价拍首段、whisper回听与抽帧质检、拆解25支头部博主视频提炼的48个包装组件、三层景深字效果、以及过渡帧检查。成片成本仅482积分,替代了传统主播、灯光、场地、剪辑师的制作流程。
作者宣布其 AI 视频情报站正式开放 MCP 接口,支持 Claude Code、Codex 等 Agent 直接接入查询。文章介绍了接入方法(一条命令即可),并展示了几种典型用法:每天早上让 Agent 查询新起和升温的视频题材、查询某个题材的来源和时间线、追踪特定 AI 模型的动态,以及将情报站接入自己的工作流(如自动生成选题卡、晨会材料等)。情报站每天早上更新一期,提供题材归类、X 热议、开源项目、题材溯源等数据,同时说明了查询范围限制。不接 MCP 也可通过网页或开源版自行部署使用。
文章对比了社区开源的 DS Bot(DeepSeek-Bot)与 Grok Bot 两款多角色 AI 助手。核心差异在于'动手能力':Grok Bot 提供托管云电脑,可操作浏览器、跨网站执行任务且合盖继续运行;DS Bot 内置浏览器仅能读网页,但支持自选模型、MCP/Skills 扩展和可检查的 Markdown 记忆。文章从网页操作、模型控制权、数据与权限、成本等维度给出选购建议:不想维护、需要网页自动化选 Grok Bot;已有 API、重视控制权选 DS Bot。作者建议先用一个每周固定任务实测,再决定是否扩展。
文章系统梳理了 2026 年主流开源 TTS 方案:CosyVoice 2 低延迟流式,适合实时语音 Agent 与数字人;GPT-SoVITS 擅长小样本音色微调与克隆;ChatTTS 拟人口语自然,适合 AI 播客;F5-TTS 与 Breeze-TTS 2 基于流匹配免对齐克隆,稳定性好;Fish Audio Drama 3 情绪表现力全面但算力要求高;MaskGCT 鲁棒性强,可处理气声耳语等极端发音;KittenTTS 2 体积极小,可在 CPU 端侧运行。各方案定位不同,读者可按延迟、音色、表现力与资源需求选型。
作者实测了国内首个原生Personal Agent产品Today,该产品获得腾讯和蚂蚁集团投资的2亿美元融资,新用户注册可获3亿token和3个月Pro会员。文章详细介绍了Today的下载安装、设置页面的模型(内置DeepSeek V4.1 Flash和GLM 5.3)、应用连接、设备连接、Skill技能等功能,并演示了改名、任务创建、记忆构建、做梦写日记与灵感等特色功能。作者强调Personal Agent的好用性在于给足上下文,让AI主动理解用户、安排任务,是AI从被动执行走向主动服务的关键。
作者对比斯坦福CS146S课程2025与2026两版课纲,指出新版砍掉了85%旧内容,反映编程领域AI化进展迅猛。课程转向Agent Skills、CLAUDE.md、MCP、模型路由、后台并行agent和软件工厂等内容,期末项目占比降至50%,新增30%分数来自向真实开源项目提PR。Claude Code之父Boris Cherny等业界嘉宾分享,其同时运行数千个Claude agent。课程材料公开,非斯坦福学生也可跟学,作者认为编程教育应紧跟AI Agent时代变革。
文章介绍了开源项目 VoiceStudio(作者 debpalash),一个纯 Python、AGPL-3.0 协议的本地配音工具,定位为「开源、全程本地的 ElevenLabs 平替」。它支持声音克隆、声音设计、带时间轴对齐的视频配音、语音转写、有声书和批量任务,只需几十秒参考录音即可抽音色,官方支持六百多种语言。项目半年内获得约 6.7 万 Star,桌面端基于 Electron,数据全部留在本地不上传云端,兼容 NVIDIA CUDA 和苹果 Metal,并提供 Local API 和 MCP 供 Claude Code、Codex 等 Agent 调用。文章同时提醒性能受硬件限制、授权需分别确认,以及克隆声音必须取得对方授权。
作者受"天工开帧"直播间启发,花四天从 0 到 1 搭建了基于 Vidu 实时数字人模型的 AI 主播"晚晚",并在抖音成功直播 70 多分钟。文章拆解了原直播间的技术方案:Vidu 负责主播层,自研场控层负责弹幕过滤、排队、意图识别、换装、待机话题等。详细分享了踩坑经验,包括底图审美、音色选择、换背景导致衣服消失的事故及应对方案,并分析了游戏直播、无限流互动剧情、娱乐直播等应用方向。整套工具框架已按 MIT 协议开源。文中也提醒了 AI 直播的合规边界,强调真人出镜监督的必要性。
文章介绍了开源项目 REA(Reverse Engineer Anything),一个可将 Claude Code、Codex、Cursor 等 AI Agent 接入 Ghidra、Hopper 等真实反汇编引擎的 MCP 服务器与 CLI 工具。REA 发布三个月即获得超过 10 万 GitHub Star,支持原生应用、Electron、APK、固件、智能合约字节码等多种目标的逆向分析。文中列举了多个实战成果,如用 Rust 重写 Adobe 系列应用、Super Mario Sunshine 原生 PC 移植等,并给出八步完整教程:从目标路由判断、五分钟安装配置、侦察定位,到最终完成通过一致性测试的代码重建,所有结论均标注为观察、推断或未知并附证据地址。
中国人民大学开源了 EvoOntology,登顶 Hugging Face Daily Papers。传统做法是把数据字典塞进 prompt,但实验显示这反而使 Claude-Sonnet-5 得分下降 15 分。EvoOntology 让 Agent 自主维护数据本体:从问题出发整理指标定义与表关系,经真实数据验证后入库;通过 MCP 按需检索而非硬塞上下文;每次任务后分析出错点,只增量修改对应部分,新版需跑赢旧版才上线。该方法使 Claude-Sonnet-5 提升 8.8 分,GPT-5.5 在 DDR-Bench 上提升 26.7 分。已提供 Claude Code 和 Codex 插件,模型权重不变,变强的是 Agent 的数据说明书。
作者分享用 Codex 结合 ChatCut 浏览器/桌面剪辑器自动剪口播视频的工作流:将原本在剪映需要一两天的剪辑工作压缩到一小时内。文章介绍了通过托管 MCP 插件让 Codex 或 Claude Code 直接操作剪辑时间线的安装方式,给出了四条核心指令(只读分析、按语义删减、插入内容并自查、最后刷字幕)和五道验收方法(重读项目状态、核对总时长、逐轨道检查、实际试听、复查字幕),并以片尾卡未跟随移动导致时长短两秒的实例说明:AI 报告'完成'不等于真正完成,验收环节必须由人掌握,这一原则适用于所有 Agent 交付的工作。