Physics for AI 总纲领
本文系统梳理了物理对机器学习79个开放问题的贡献,按定题、构造块、学习、实验四块逐一分析。作者提出物理介入ML的三条路径:分析方法、模型来源、科研制度,并指出现有综述缺乏按具体问题组织的映射。文中详细评估了每条问题物理能否解决,标注为能、部分或不能,并给出对应的物理方向。最终统计显示,物理在构造块(模型来源)贡献最大,在定题块(语义与目标)几乎无能为力。文章强调物理的价值在于提供分析工具、模型灵感和科研规范,而非万能解药。
本文系统梳理了物理对机器学习79个开放问题的贡献,按定题、构造块、学习、实验四块逐一分析。作者提出物理介入ML的三条路径:分析方法、模型来源、科研制度,并指出现有综述缺乏按具体问题组织的映射。文中详细评估了每条问题物理能否解决,标注为能、部分或不能,并给出对应的物理方向。最终统计显示,物理在构造块(模型来源)贡献最大,在定题块(语义与目标)几乎无能为力。文章强调物理的价值在于提供分析工具、模型灵感和科研规范,而非万能解药。
文章以79个开放问题为框架,系统梳理物理与机器学习的交叉点,信息密度高、分析深入,观点新颖,时效性佳,但实用性偏重理论映射而非直接操作。
文章系统梳理了人工智能从1950年代至今的发展历程:萌芽探索期(图灵之问与达特茅斯会议)、知识驱动期(符号主义与专家系统)、统计学习期(机器学习与特征工程)、深度学习突破期(AlexNet与神经网络)、大模型时代(Transformer、GPT-3、ChatGPT与多模态)。作者指出AI处理信息的方式从人类编写规则,到机器从数据中学习,再到模型理解目标并自主完成任务。未来AI将从大模型走向智能体(Agent),能够拆解任务、制定计划、调用工具,实现从被动响应到自主行动的转变。
本文介绍了 Cursor 如何构建一个包含数千个 Agent 的递归系统,以加速 Composer 模型的训练。系统通过主 Agent 管理子 Agent 的“健康”状态,实现并行实验的自动化监控与故障修复。该架构将研究员的效能提升了数量级,使大量计算资源能像企业组织一样协同工作。
文章通俗易懂地解释了现代AI的基础原理,涵盖神经网络、Token化、Embeddings、注意力机制及Transformers架构。深入探讨了LLM的工作原理,如上下文窗口、温度控制和幻觉问题,并讲解了提示词工程技巧。
本文是后训练系列第二篇,介绍指令微调(SFT)。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例,说明指令微调与预训练使用相同的下一个 token 预测损失,但数据和任务不同。文章详细讲解训练五步骤:收集、格式化、掩码、训练、评测,并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识,少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限:无法补充知识、比较回答优劣或检验正确性。
文章介绍 Anthropic 最新报告显示 Claude 已能作为“超级博后”全自动完成科研任务。仅凭一段 Prompt,Claude 可自主读文献、串联蛋白质开源模型,24-48 小时内完成 de novo 蛋白质设计;湿实验验证中 15 个靶点成功 14 个,单靶点命中率高达 35.1%,攻克了 TNFα 等地狱级靶点并实现跨物种结合。此外 Claude Opus 5 仅用 19 分钟即逆向解析 NMR 与质谱原始数据,纯度计算结果与人类专业实验室几乎一致。作者认为 AI 正从工具人进化为自主科研决策者,未来科研竞争将转向提出有价值的科学问题。
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单,称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程,一天一篇,从 RNN、LSTM 学到 Transformer,最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图,每天还附 5 道练习题。代码可在普通电脑 CPU 上运行,适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
本文是 Paul Graham《What I Worked On》的中文编译,作者回顾了自己早年写作与编程的经历:从中学接触 IBM 1401 与 Fortran,到拥有 TRS-80 后真正开始编程;大学从哲学转向人工智能,自学 Lisp 并重实现 SHRDLU;研究生时期看清早期符号主义 AI 的局限,转而专注 Lisp 并写作《On Lisp》。毕业后赴佛罗伦萨美术学院学画,经历艺术院校的失望,后在美国靠编程与自由职业维生,在 Interleaf 工作并总结出“低端吞掉高端”等重要经验。文章展现了作者在写作、编程与绘画之间追寻能长久留存之事的探索历程。
LeRobot 推出了面向 100 TB 及以上规模机器人数据集的新型 episode 级流式数据加载器,可直接从 Hugging Face 数据集或 Bucket 读取选定的 episode 并准备训练样本,无需完整下载本地视频副本。文章阐述了流式加载器的四大需求:保持 GPU 繁忙、混合 episode、覆盖全部数据、控制内存使用。通过 Parquet 统计信息定位表格数据、MP4 sidecar 索引定位视频帧、在 RAM 中维护压缩视频字节池,并采用锚点采样与预取机制,实现数据集持续增长下的高效训练。
本期 INDIGO TALK 对谈字节前工程师郭宇,从 2015 年字节作为神经网络驱动公司的往事讲起,谈到抖音意外胜出的内幕、Vibe Coding 背后的决策负担与工程师倦怠、Agent OS 的未来图景、智能的五个层次与商品化,以及软件为何会像牛奶一样便宜。当软件可以随时生成、用完即丢,个人化软件让分发失去意义,我们真正要交付的是什么?最后讨论当工作不再是必选项时,年轻人该如何选择人生方向。