Wiki 知识库

全部文档 / 标签: VLM

3 篇
清除

A New Way to Build Edge AI with Jetson Agent Skills

NVIDIA 推出 Jetson Agent Skills,将设备特定的平台知识注入 AI 辅助开发流程。边缘 AI 开发不仅涉及代码,还需处理硬件、内存、JetPack 版本、容器和部署约束。Jetson Agent Skill 是包含指令、参考资料、安全边界和辅助脚本的可检查包,分为 Device Skills(设备诊断、环境配置、模型服务、基准测试)和 BSP Skills(刷机前的平台定制)。文章介绍了基于 Codex 的完整工作流教程,从连接 Jetson Orin Nano 到构建本地运行的视觉语言模型(VLM)应用,并展示了 JetPack 7.2.1 中基于 Video Codec SDK 和 PyNvVideoCodec 的视频技能如何自动生成并验证编解码流水线,最终返回可复现的性能测量结果。

技术 › Agent NVIDIA Robotics 2026-10-107.9 KB 12.4K 260 76

Goosebumps: 机器人学正在发生范式转变

UC Berkeley教授Ken Goldberg提出Agentic Robotics(AR)新范式:将机器人策略生成视为编程问题,用多智能体AI系统离线编写、测试、诊断和迭代改进结构化机器人程序。团队开发了图策略框架GaP,将控制表示为模块化组件图,多个编码智能体在仿真中递归优化。借助Newton物理仿真器和Robot Sim Studio工具,GPT-6 Astra展现了从真实场景视频推断物理参数的'逆物理'能力,生成了能直接在真实机器人上运行的代码。AR结合了模型方法的速度可靠性与前沿AI的适应性,Real2Sim正从人工工程任务转变为智能体学习过程,机器人学迎来范式转变。

技术 › Agent Ken Goldberg 2026-09-1915.4 KB 1.1M 802 79

In Search for the World Model Harness for Gaming

文章探讨了视频世界模型在游戏开发中的应用与挑战。Roblox 团队通过引入 14B 参数的动作条件 Text-Image-to-Video 模型,并设计了名为“Game Cartridge”的轻量级控制框架,结合实时视觉语言模型(VLM)作为感知组件,成功将视频生成模型与传统游戏引擎耦合。该方案解决了世界模型缺乏抽象状态管理和游戏进程推进的问题,使开发者能够利用 AI 生成高保真且具备复杂交互的可玩游戏体验。

技术 › LLM Alberto Hojel 2026-05-2138.3 KB 632.5K 356 81