Wiki 知识库

Streaming 100 TB+ Robot Datasets

LeRobot 2026-10-10 13.2 KB 12.4K 145

LeRobot 推出了面向 100 TB 及以上规模机器人数据集的新型 episode 级流式数据加载器,可直接从 Hugging Face 数据集或 Bucket 读取选定的 episode 并准备训练样本,无需完整下载本地视频副本。文章阐述了流式加载器的四大需求:保持 GPU 繁忙、混合 episode、覆盖全部数据、控制内存使用。通过 Parquet 统计信息定位表格数据、MP4 sidecar 索引定位视频帧、在 RAM 中维护压缩视频字节池,并采用锚点采样与预取机制,实现数据集持续增长下的高效训练。

游客免费额度已用完

未登录每月可读 5 篇已用尽。登录/注册后再获 5 篇免费额度,注册不收费。

登录 / 注册