突破OPD天花板：MAD-OPD让小模型通过多教师辩论反超大模型
文章介绍了一种名为 MAD-OPD 的新算法，旨在解决 OPD（On-Policy Distillation）中单教师模型存在盲点导致学生模型学习受限的问题。通过引入多智能体辩论机制，让多个教师围绕学生状态互相纠错并达成共识，再进行蒸馏。实验表明，该方法在 14B+8B 到 4B 的蒸馏任务中，不仅提升了代码生成能力，还在 Agentic 任务中实现了小模型反超大教师的突破。
文章介绍了一种名为 MAD-OPD 的新算法，旨在解决 OPD（On-Policy Distillation）中单教师模型存在盲点导致学生模型学习受限的问题。通过引入多智能体辩论机制，让多个教师围绕学生状态互相纠错并达成共识，再进行蒸馏。实验表明，该方法在 14B+8B 到 4B 的蒸馏任务中，不仅提升了代码生成能力，还在 Agentic 任务中实现了小模型反超大教师的突破。