Streaming 100 TB+ Robot Datasets
LeRobot 推出了面向 100 TB 及以上规模机器人数据集的新型 episode 级流式数据加载器，可直接从 Hugging Face 数据集或 Bucket 读取选定的 episode 并准备训练样本，无需完整下载本地视频副本。文章阐述了流式加载器的四大需求：保持 GPU 繁忙、混合 episode、覆盖全部数据、控制内存使用。通过 Parquet 统计信息定位表格数据、MP4 sidecar 索引定位视频帧、在 RAM 中维护压缩视频字节池，并采用锚点采样与预取机制，实现数据集持续增长下的高效训练。
