本文详细介绍了如何从零完成 Microduck 双足机器人的强化学习训练与仿真全流程。文章使用 MuJoCo 物理引擎配合 Warp 在 RTX 4090 上并行运行 4096 个虚拟环境，通过 PPO 算法训练行走策略，并讲解了 61 维观测、奖励设计、域随机化、BAM 执行器仿真等核心概念。训练完成后将策略导出为 ONNX 文件，在 Mac mini 上进行 CPU 交互仿真验证，最终部署到实机。作者完整跑通了从环境配置、训练观察、checkpoint 选择到场景测试的工程流程，涵盖技术选型、软硬件要求和常见问题。
本文是一份详细的 Microduck 双足机器人 DIY 复刻教程。Microduck 高约 25cm，由 15 个 Dynamixel 舵机驱动，步态通过 MuJoCo 仿真器中强化学习训练后部署到真机，以 50Hz 频率运行 ONNX 神经网络实现闭环平衡控制。文章系统讲解了系统架构与控制链、舵机与关节顺序、61 维观测与 ONNX 部署契约、材料与工具清单、仿真环境搭建与训练流程等内容，分八个阶段指导读者完成从固定源码版本、跑通仿真、CAD 重建、硬件搭建到分级真机调试的完整复刻过程。
Microduck 是 Hugging Face 旗下 Poollen Robotics 推出的迷你双足具身智能开发平台，高约 25cm、重 800g，配备 15 个舵机和 RK3566 主控。其动态行走、自起、拾物、踢球、前滚翻及轮滑等动作均基于强化学习训练：使用 MuJoCo 仿真平台和 PPO 算法，结合域随机化建模齿隙、电压衰减与控制延迟，实现 Sim2Real 迁移，策略以 ONNX 导出端侧部署。软件采用 Rust 微服务守护进程架构，通过 Unix Socket + JSON-RPC 通信，robotd 独占底层控制并执行安全校验，updaterd 提供带签名校验与健康检查的自愈型 OTA 更新机制。
文章指出机器人研发正处于开源红利期，个人开发者可借助成熟开源框架在数周内跑通从仿真训练到真机部署的完整闭环。作者按技术栈分层整理了经过工程验证的开源项目：足式强化学习（rsl-rl、AMP、TienKung-Lab、unitree_rl_gym）、模仿学习（ALOHA-ACT、Diffusion Policy）、VLA 具身大模型（OpenVLA、Octo、LingBot）、一站式框架 LeRobot、传统动力学求解库（Pinocchio、Acados）、MuJoCo 仿真模型库，以及 Awesome 学习资源清单，并给出四步最简上手顺序建议。
作者整理了一份利用斯坦福免费公开课程资源、历时6个月成为机器人学习工程师的自学路径。斯坦福将大量机器人学课程发布在YouTube上，讲师包括NVIDIA自动驾驶研究高级总监、Physical Intelligence联合创始人及Tesla Optimus AI负责人。该路径包含7门课程共119讲、约95小时视频、2本免费教材、6个可在家用笔记本上完成的练习项目，以及可选的122美元机械臂。学习顺序遵循斯坦福正式课程体系：先数学基础（线性代数），再机器人物理结构、感知、规划，最后是学习方法，避免了自学时无序观看导致的低效问题。
作者用三周时间从零学习机器人学习（robot learning），从零复现了 ACT 和 Diffusion Policy 两个策略，在 PushT 基准上超越了所有公开的基于图像的 ACT 结果（65.6%），并在 MuJoCo 场景中训练机械臂以 99.95% 的成功率完成摆放酒杯任务。文中分享了超参数调优经验（如 n_action_steps 从 100 降到 16 的显著提升）、单变量实验原则，以及对 Moravec 悖论的切身体会：对人类简单的事情对机器人和 Claude 编程都很困难。作者还使用 Claude 生成 MuJoCo 场景和专家轨迹，发现遥操作可能比脚本化专家轨迹更高效。
文章批评 Axis Robotics 融资1200万美元、雇人用鼠标在浏览器遥操作仿真机械臂采集五万条数据集的做法。作者指出利用已发表的演示增强技术（350-400倍扩增率），同样数据仅需约130条真实演示即可生成，每条数据成本高达240美元，且存在物理与动作统计的双重分布位移。文章提出'验证比生产更便宜'的信息市场定律，批评按条计酬会催生'劣质数据驱逐优质数据'的格雷欣法则，并介绍Stonk Robotics基于方案（程序化策略）而非轨迹的替代设计，主张购买判断、评测等无法被制造的东西。
本文深入讲解强化学习的数学原理，重点推导策略梯度、REINFORCE、PPO 和 GRPO 等算法。作者首先介绍 RL 的基本流程（Agent、环境、奖励、策略），并通过数学推导得到策略梯度估计器。随后指出原始策略梯度存在的高方差和偏置问题，引入 REINFORCE 算法进行改进。文章还结合 RLHF 和 RLVR 在大语言模型训练中的应用背景，说明 RL 在 LLM 对齐及数学、编程能力提升中的重要作用，帮助读者理解现代 LLM 强化学习训练的底层机制。
Pollen Robotics 推出的 Microduck 机器鸭售价 $399，开放预订 24 小时即突破 260 万美元。文章分析了第三方开发者能否像 App 开发者一样在其上赚钱：虽然 Microduck 开放了 SDK、模拟器和强化学习工具，但互动机器人装机量有限（Reachy Mini 仅约 1 万台），且缺乏应用商店和分成机制，靠插件盈利很难。作者建议小团队先选择展会引导等边界窄、流程固定的场景，卖整套服务而非硬件本身，做完几单验证客户付费意愿后再逐步标准化，而不是一开始就幻想插件卖一万人。
本文汇总了35道2026年强化学习（RL）领域的面试核心问题。内容涵盖算法与基础设施两大方向，既包括PPO、GRPO等训练机制的原理探讨，也涉及分布式推理、显存优化等工程落地细节。作者强调现代RL岗位需要具备全栈理解能力，建议面试者不仅要熟记问题，更需深究背后的技术逻辑。
本文基于李飞飞的观点，深入探讨了“世界模型”这一AI术语在当前语境下的定义与功能。文章通过强化学习中的POMDP框架，将世界模型系统分为三类：输出视觉观察的“渲染器”、输出物理状态的“模拟器”以及输出行动指令的“规划器”。作者指出，尽管渲染器目前商业应用最成熟，但模拟器作为连接视觉与行动的桥梁，是实现空间智能和通用机器人的关键。文章最后预测，这三类功能的边界将逐渐坍缩，最终融合为一个统一的、能够理解并交互物理世界的基础模型。
本文记录了 AGI House 举办的一场关于前沿 AI 研究的晚宴讨论。参与嘉宾包括来自 OpenAI、Google DeepMind、Meta 及斯坦福等机构的顶尖研究人员与投资人。讨论重点从单纯的模型规模扩展转向系统化智能，核心观点包括：机器人仿真即将迎来类似 LLM 的突破时刻、智能将从目前的串行处理转向并行处理、AI 代理（尤其是编程 Agent）可能是通向 AGI 的路径，以及评估体系的滞后正成为新的瓶颈。
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
