Meshy: 角色驱动下 SPMD 范式的 RL 训练框架
本文介绍了开源 RL 训练框架 Meshy，它摒弃了中央控制器和 Ray，将 Inference、Training、Rollout、Teacher 建模为独立服务。样本数据通过 TransferQueue 数据面在生产者与消费者之间直达传输，流程由数据列的就绪状态驱动，拓扑由各进程在启动时本地确定性推导，使 RL 训练回归预训练式的 SPMD 设计。文章分析了传统 RLHF 流水线与 Single-Controller 架构在异步生成、多轮 Agent 等场景下的局限，阐述了 Meshy 通过声明式 ServiceGroup、基于令牌环的多角色共置等机制，支持同步 RL、异步 RL 及在线蒸馏等多种训练方式。框架基于 TorchTitan 与 SGLang 实现，代码已开源。
