Wiki 知识库

突破OPD天花板:MAD-OPD让小模型通过多教师辩论反超大模型

青稞社区 2026-07-13 6.6 KB 3.7K 22

文章介绍了一种名为 MAD-OPD 的新算法,旨在解决 OPD(On-Policy Distillation)中单教师模型存在盲点导致学生模型学习受限的问题。通过引入多智能体辩论机制,让多个教师围绕学生状态互相纠错并达成共识,再进行蒸馏。实验表明,该方法在 14B+8B 到 4B 的蒸馏任务中,不仅提升了代码生成能力,还在 Agentic 任务中实现了小模型反超大教师的突破。

游客免费额度已用完

未登录每月可读 5 篇已用尽。登录/注册后再获 5 篇免费额度,注册不收费。

登录 / 注册