Wiki 知识库

全部文档 / 作者: Yuhan Luo / 标签: 蒸馏

1 篇
清除

We're Thinking Too Small About Synthetic Data

本文指出合成数据远不止大规模推理或预训练数据配比设计,而是一个深度的数据研究问题。作者认为生成器本身就是研究课题:并非所有部分都需要 LLM,状态转移模型和离散事件仿真可以通过显式规则生成内部一致的世界历史。同时,人类知识与合成系统应结合——人类帮助设计训练分布、提升内容真实感、补充机器检查的判断盲区。作者以客服 agent 训练为例说明事件驱动仿真的优势,并展望自适应课程设计,认为物理/数学仿真 + LLM + 人类专家的组合将大有可为,应以固定预算下的训练提升来评判生成器。

技术 › LLM Yuhan Luo 2026-10-189.2 KB 33K 611 74