Wiki 知识库

全部文档 / 标签: 数据质量

4 篇
清除

中关村学院 3 个月从零训练 7B SOTA 模型的启示

作者评述中关村学院何纪言老师带领 7 位博士生用 3 个月从预训练、中训练到后训练完全自主训练出 7B 模型并达到 SOTA 水平。文章提出三点观察:一是当前模型能力远未到全自主程度,在架构设计、算法设计等方面仅达 L2 辅助水平;二是模型训练会者不难,MiMo V2.6 RL 仅花 300 多万美金即达高水平,说明关键是人才而非算力堆砌;三是数据是新的代码,数据质量如同代码质量一样重要,该模型在数据清洗、课程学习、上下文扩增和 RL 优化上做了深入工作。

技术 › LLM Bojie Li (@bojie_li) 2026-09-262.6 KB 63

高盛教我的AI使用原则:VAULT框架

作者基于在高盛商业智能部门的职业经验,总结出使用AI的五步框架VAULT:验证(Verify)输入与输出的正确性,数据质量决定AI质量;增强(Augment)而非替代,已知流程用确定性自动化,需要判断力的工作才用AI;理解(Understand)问题本质,先明确目标再选工具;人类介入(Loop)关键决策环节,监督程度应与行动后果匹配;保持系统透明(Transparent),便于审查和交接。文章强调AI不是万能药,用错数据只会更快地得出错误答案。

技术 › LLM Nate Herk 2026-08-249.9 KB 4.8K 35 71

250个文档即可投毒大模型:数据投毒的规模与防御

Anthropic等机构的联合研究证实,仅需250个精心设计的恶意文档即可在6亿至130亿参数的大模型中植入永久后门。这种数据投毒具有隐蔽性、不可逆性和规模不变性,且目前缺乏有效的防御手段。作者认为这证实了基于公网数据抓取的训练范式存在根本性缺陷,呼吁转向使用离线、人工 curated 的高质量数据源(如1970年以前的文献)进行训练,并强调构建本地化、主权级模型的重要性。

技术 › 网络安全 Brian Roemmele 2026-04-2116.7 KB 46.9K 684 81

本周精选技术资源:系统设计、OpenAI Codex 与 Terraform 入门

freeCodeCamp 本周发布了五项优质技术资源。重点包括全新的软件系统设计基础课程(涵盖数据库、扩展与 API 设计)以及数据质量手册。此外,播客访谈探讨了 AI 时代的计算机科学学习方法,还提供了 OpenAI Codex 辅助开发课程和 Terraform 基础设施即代码教程。

技术 › 系统设计 Quincy Larson 2026-04-179.7 KB 50.8K 242 72