Physical AI: 机器人领域的 1000 亿美元新蓝海
文章深入剖析了 NVIDIA 在机器人领域构建的隐秘且强大的操作系统,这是一个由 Cosmos(想象力/仿真)、GR00T(大脑/推理)和 Newton(物理引擎/身体)组成的全栈技术体系。文章指出,虽然大众关注机器人的硬件动态,但 NVIDIA 通过开源 Cosmos Cookbook 等工具,已经为开发者解决了物理世界 AI 中数据稀缺和仿真模拟等核心难题,标志着机器人开发范式的根本性转变。
文章深入剖析了 NVIDIA 在机器人领域构建的隐秘且强大的操作系统,这是一个由 Cosmos(想象力/仿真)、GR00T(大脑/推理)和 Newton(物理引擎/身体)组成的全栈技术体系。文章指出,虽然大众关注机器人的硬件动态,但 NVIDIA 通过开源 Cosmos Cookbook 等工具,已经为开发者解决了物理世界 AI 中数据稀缺和仿真模拟等核心难题,标志着机器人开发范式的根本性转变。
文章信息量丰富,深入剖析了NVIDIA的物理AI技术栈,提供了可操作的GitHub资源,但内容基于2022年,时效性较低。
民间开发者破解了 NVIDIA RTX 20、30、40 三代显卡被锁定的 Tensor Core 算力,无需更换硬件、刷 BIOS 或魔改驱动,通过底层方式解除性能限制。RTX 4090 算力从 165.6 翻倍至 331.6 TFLOPS,RTX 3090 Ti BF16 提升约 80%,部分老显卡如 RTX 2080 Ti 也接近翻倍。社区已发布多个 GitHub 开源项目和安装教程,Windows 11 上也有成功复现案例。不过有用户实测发现 token 输出速度反而下降,实际效果仍待验证。
本文是硅谷101 Alignment 峰会 Day 2 上午的深度笔记,提出 AI 繁荣背后有三张物理账单:电、芯片、推理。 Session 1 指出美国输电网难以建设,行业转向表后发电,从签约到出 token 需 16-17 个月,电力成为算力交付的真正瓶颈;讨论了数据中心融资期限错配、neocloud 风险、云业务利用率本质及算力短缺将持续到 2030 年的预测。 Session 2 探讨半导体,揭示 2nm 只是名义数字、硅在 5nm 以下到物理极限,AI 进晶圆厂第一站是良率检测,价值最终流向制造端。 Session 3 讲述在买不到新卡的情况下,通过推理优化软件从现有 GPU 榨取更多性能。核心结论:三张账单的解法都是效率。
本文面向 AI 工程师系统讲解 GPU 硬件知识:GPU 的三种类型(数据中心、工作站、个人级),内部结构(SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存),并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例,用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异,以及训练与推理对 GPU 使用的不同需求,帮助工程师做出租用 GPU、模型部署等实际决策。
文章指出机器人研发正处于开源红利期,个人开发者可借助成熟开源框架在数周内跑通从仿真训练到真机部署的完整闭环。作者按技术栈分层整理了经过工程验证的开源项目:足式强化学习(rsl-rl、AMP、TienKung-Lab、unitree_rl_gym)、模仿学习(ALOHA-ACT、Diffusion Policy)、VLA 具身大模型(OpenVLA、Octo、LingBot)、一站式框架 LeRobot、传统动力学求解库(Pinocchio、Acados)、MuJoCo 仿真模型库,以及 Awesome 学习资源清单,并给出四步最简上手顺序建议。
UC Berkeley教授Ken Goldberg提出Agentic Robotics(AR)新范式:将机器人策略生成视为编程问题,用多智能体AI系统离线编写、测试、诊断和迭代改进结构化机器人程序。团队开发了图策略框架GaP,将控制表示为模块化组件图,多个编码智能体在仿真中递归优化。借助Newton物理仿真器和Robot Sim Studio工具,GPT-6 Astra展现了从真实场景视频推断物理参数的'逆物理'能力,生成了能直接在真实机器人上运行的代码。AR结合了模型方法的速度可靠性与前沿AI的适应性,Real2Sim正从人工工程任务转变为智能体学习过程,机器人学迎来范式转变。
作者提出了以任务为起点的Physical AI技术栈框架,将机器人系统划分为11个功能层:末端执行器、执行器、电源、控制、规划、感知、策略、数据、计算、仿真与评估等。文章通过分析各层的作用、关键问题和典型公司,说明如何用该框架定位系统瓶颈、理解公司竞争位置及价值归属。文中以GPT-6 Astra控制机械臂绘制金门大桥为例,展示瓶颈往往在控制与执行接口层而非模型本身。
Skild AI 创始人 Deepak Pathak 宣布公司实现 1 亿美元 ARR,并阐述部署为何是机器人研究的隐藏支柱。文章指出机器人无法像 LLM 那样先研究后部署,演示视频会掩盖真实准确率,部署中必须同时考虑速度、精度和对变化的适应能力。这些实践催生了 S1 模型——通过单视频上下文学习即可掌握新任务而无需微调。作者还探讨了演示文化与部署文化的冲突,并提出物理 RSI(递归自我改进)路线:将各专业部署的数据反哺通用基础模型,形成持续改进的飞轮。
作者指出 GPU 行业最大的瓶颈并非芯片、CoWoS 或电力,而是信用与残值市场的缺失。银行将 GPU 折旧后残值建模为零,导致资产难以证券化、缺乏对冲工具,小玩家融资成本高达 SOFR+900bps,需巨额首付。文章分析了 NVIDIA 对 OpenAI 数据中心的残值担保、Lambda 和 CoreWeave 的贷款结构,指出这些交易实际依赖客户信用而非硬件清算价值;并对比二手车(Manheim 指数)等行业,介绍 Kalshi H100 合约、Silicon Data 租赁基准及 CME 计划上市的 H100/B200 租赁期货,探讨 GPU 残值定价与算力融资市场的未来。
本文介绍了跑在 ESP32 上的开源机器人框架 OpenCatESP32,以及配套的 Petoi BiBoard 开发板(板载 12 路舵机输出,支持 Wi-Fi、蓝牙、语音指令和树莓派扩展)。OpenCat 已内置舵机控制、步态、姿态感知和以 Skill 形式组织的动作系统,开发者无需从零编写关节控制即可让四足机器狗站立、坐下、行走。接入语音、触摸、超声波等传感器可实现丰富互动,配合树莓派、摄像头与 ROS2 还能做出人物跟随等 AI 应用。文章适合作为 Physical AI 的入门项目指南。
文章通过开源机器鸭项目Microduck(售价399美元,基于RK3566芯片运行神经网络策略控制15个舵机)切入,指出瑞芯微正从消费电子SoC厂商转型为端侧AI部署平台。作者用GitHub数据分析:rknn-toolkit2、rknn_model_zoo、rknn-llm三大AI工具链仓库两年Star数增长约322%,远超传统项目;Hugging Face上RK3588相关模型96.9%创建于近两年。瑞芯微恰好位于MCU与英伟达Jetson之间的算力断层带,适合门禁、机器人、会议终端等海量中端设备。文章同时提醒Star不等于收入、RKNN3工具链不兼容等风险,认为瑞芯微无需击败英伟达,只需拿下低成本端侧智能市场。