🏷️ 模型蒸馏

突破OPD天花板：MAD-OPD让小模型通过多教师辩论反超大模型

文章介绍了一种名为 MAD-OPD 的新算法，旨在解决 OPD（On-Policy Distillation）中单教师模型存在盲点导致学生模型学习受限的问题。通过引入多智能体辩论机制，让多个教师围绕学生状态互相纠错并达成共识，再进行蒸馏。实验表明，该方法在 14B+8B 到 4B 的蒸馏任务中，不仅提升了代码生成能力，还在 Agentic 任务中实现了小模型反超大教师的突破。

SFT、RL 与 On-Policy 蒸馏：原理与差异

本文深入探讨了模型后训练中的 SFT 与 RL 流程，重点分析了基于同族模型（Same-family）的 On-Policy 蒸馏（OPD）技术。文章解释了 SFT 存在性能天花板的原因，以及 RL 如何通过复利效应突破这一限制。作者指出 OPD 结合了 SFT 的低成本和 RL 的复合优势，能高效利用教师模型的反向 KL 散度信号，是实现高性能模型微调的关键手段。

离职字节后，北大教授泼了盆冷水：中国AI的真实差距，可能正在拉大

北大教授、前字节跳动算法专家张驰分析中美AI现状。他指出国内大模型存在“应试刷榜”、基础算力设施薄弱、高质量数据飞轮断裂等问题。因国产模型体验差距，顶尖开发者纷纷流失至美国产品，导致数据反馈闭环恶化；过度依赖模型“蒸馏”也限制了原创能力。尽管在硬件和具身智能领域尚存优势，但在纯软件领域的整体差距恐将持续扩大。