模型部署后的无标注自进化：SERPO机制解析
现有无标注强化学习（TTRL）多依赖多数票生成伪标签，难以处理医疗建议等复杂开放式任务。为此，文章提出SERPO（自进化判据策略优化）机制。它通过模型自身采样的回答提取质量判据生成奖励，无需任何外部监督或人工标注，并将收益直接写入模型权重。实验表明，SERPO不仅大幅提升了模型在垂直领域的性能，且在OOD测试和长程训练中持续进化，证明了其能将质量标准转化为持久的模型能力。
全部文档 / 作者: 青稞社区 / 标签: 强化学习
2 篇
OpenRLHF 作者发布 Agentic RL 框架 Molt：9K 行核心代码支持超大规模 MoE 训练
OpenRLHF 作者发布了新的强化学习框架 Molt。该框架采用纯 PyTorch 栈，核心代码仅约 9000 行，专注于 Agentic RL 研究。它支持 Qwen3.5-397B 到 GLM-5.2 753B 等超大规模 MoE 模型训练，无需依赖 Megatron，具备高度的代码可读性和可修改性。