你不知道的具身智能:从小机器狗到 Optimus
本文记录了作者组装一台小机器狗的实践过程,并以此引出对具身智能技术栈的深度剖析。文章涵盖了从硬件选型(STM32, ESP32)到空间感知(SLAM, 3D表示),再到动作控制模型(VLA, RT系列)的演进,最后重点分析了 Tesla Optimus 在工程制造、时空分层与能耗上的技术难点。
本文记录了作者组装一台小机器狗的实践过程,并以此引出对具身智能技术栈的深度剖析。文章涵盖了从硬件选型(STM32, ESP32)到空间感知(SLAM, 3D表示),再到动作控制模型(VLA, RT系列)的演进,最后重点分析了 Tesla Optimus 在工程制造、时空分层与能耗上的技术难点。
本文是 Saturday Robotics 读书会第33期的观点总结,主讲人 Tonghe Zhang(CMU)提出:当 GPT-6 Astra 等前沿语言模型能力'溢出'后,机器人学的经典瓶颈将不再是研究问题,而是编码智能体可解决的工程循环。文章总结12个核心观点:灵巧性本质是奖励问题、上下文学习免费获得、硬件即代码、Sim-to-Real 是优化问题、验证是关键货币、低层控制无需思维链等。核心论断是端到端方案在可行处总是胜出,结构化只是临时脚手架,语言模型将缓慢而突然地'吞噬'机器人学。
文章指出机器人研发正处于开源红利期,个人开发者可借助成熟开源框架在数周内跑通从仿真训练到真机部署的完整闭环。作者按技术栈分层整理了经过工程验证的开源项目:足式强化学习(rsl-rl、AMP、TienKung-Lab、unitree_rl_gym)、模仿学习(ALOHA-ACT、Diffusion Policy)、VLA 具身大模型(OpenVLA、Octo、LingBot)、一站式框架 LeRobot、传统动力学求解库(Pinocchio、Acados)、MuJoCo 仿真模型库,以及 Awesome 学习资源清单,并给出四步最简上手顺序建议。
作者基于两年与机器人OEM合作部署的经验,讨论人形机器人从演示走向真实商业部署的差距。作者指出,演示视频只能证明可能性,而真实部署需要可靠性、速度和成本达标;许多场景下四足机器人或成熟专用方案比人形机器人更实际。文章区分了模块化技术栈与VLA通用模型、POC验证与商业交付,并以Skild AI突破1亿美元ARR为例,强调部署应纳入研究反馈循环,通过真实环境的评估数据推动通用机器人模型迭代,最终实现规模化。
文章作者以其公司 microagi 计划部署十亿台机器人为引,探讨机器人普及将带来物质极大丰裕的"富足世界",从根本上消除经济学赖以成立的资源稀缺假设。但同时指出,通用机器人将取代大量体力劳动岗位,若经济制度不变,数百万人将失去收入、地位与人生意义。作者认为机器人界回避了这一困境:若不解决分配问题,公众与政府将联合阻止机器人部署,富足将无法实现。文章回顾机器人技术的快速进展(Figure AI、Generalist、Gemini Robotics 等),并指出当前可验证任务最易被自动化,最后以欧洲为焦点讨论三种未来路径。
作者用 5 张地图对比了硅谷与北上杭深的机器人产业格局:硅谷 67 家、深圳 36 家、北京 32 家、上海 25 家、杭州 25 家。各城市产业结构差异明显:北京依托高校与 AI 公司,具身智能和人形机器人集中;上海偏工业与制造,国际厂商与本土公司并存;杭州生态集中、产品化速度快;深圳覆盖从零部件到整机的完整链条,人形机器人公司数量国内最高。硅谷擅长定义未来,中国城市正以不同方式把未来造出来。
作者整理了一份美国机器人公司的物理地图和市场地图,按业务类别系统梳理了约40家机器人公司的进展,包括人形/通用机器人与基础模型类(Figure、1X、Physical Intelligence、Skild AI等)、自动驾驶/移动机器人类(Tesla、Waymo、Zoox、Skydio等)、工业/物流/仓储机器人类(NVIDIA、Dexterity、Nimble等)、农业/建筑/专业场景类以及平台/软件/硬件类。每家公司附带融资规模、估值、CEO及官方X账号等信息,方便跟踪研究美国机器人行业的发展动态。
本文以'把文具放进笔筒'这一具体任务为例,手把手介绍机械臂模仿学习的完整流程:先通过主臂遥操作从臂完成示范,用 LeRobot 记录摄像头画面、关节状态和动作指令形成数据集;再检查数据质量,用 GR00T 等 VLA 模型训练,让机械臂根据视觉输入自主完成任务。文章还介绍了 Isaac Sim 仿真采集、Cosmos 视频增强、Sim-to-Real 迁移以及 Jetson 边缘部署等进阶内容,涵盖设备接线、软件安装、校准、录制等实操细节,是机器人入门的实用教程。
RoboDojo 团队对 GPT-6 Astra 作为具身智能体进行了全面评测,涵盖 RoboDojo 仿真与真实环境(对比 GPT-5.5 和 DeepSeek-Flash)、人形机器人高层控制、灵巧钢琴演奏(RoboPianist)以及上下文学习(ICL)的系统性研究。关键结论:GPT-6 Astra 展现出极强的语义与空间理解能力以及出色的上下文适应能力,但物理常识仍是明显瓶颈,揭示了理解世界与真正推理物理规律之间的重要差距。完整报告与演示发布于 robodojo-benchmark.com。