机器学习和新物理学：Physics of AI
本文尝试将机器学习视为一个复杂世界，借鉴物理学的研究方法，为其构建一套“新物理学”。文章首先论证守恒量和对称性比微观方程更根本，通过解析力学、热力学和量子场论的历史案例说明这一点。随后探讨真实世界中对称性破缺的层级，类比非惯性系中的守恒量变化，为后续将机器学习中的训练过程映射为对称性破缺和守恒量变化奠定基础。
相关文档
物理学三百年的终极转向：为什么场比粒子更基本
文章梳理了物理学从牛顿粒子宇宙观到现代量子场论的范式转向。从牛顿万有引力的超距作用难题出发，经法拉第的力线概念、麦克斯韦方程组的统一电与磁，到爱因斯坦广义相对论把引力变为时空几何的动力学，再到量子力学与相对论结合后粒子可产生湮灭，量子场论应运而生：场是海，粒子是浪，粒子是场的量子激发。文章进一步介绍规范场论、标准模型 SU(3)×SU(2)×U(1) 结构、安鲁效应与霍金辐射，指出粒子并非绝对概念，量子场才是更基础的描述框架。
AI for Physics 全景图
文章探讨了AI在物理学领域的应用现状与瓶颈。作者将物理学研究分为解析求解、数值模拟、有效理论构造等五条路线，指出AI在受限于计算能力的领域（如分子模拟、引力波参数估计）取得了显著的“化解”与“新能力”突破；但在依赖概念创新和理论构造的领域，AI仍进展甚微。文章通过重新梳理物理学家的工作方式，提供了一个评估AI实际价值的新视角。
当物理遇上AI：深度学习里的物理元素（上）
文章探讨了物理学与人工智能（特别是深度学习）之间的深刻联系。作者指出，神经网络本质上是一个类似于物理学中的“多体系统”，因此统计力学的语言天然适用于描述AI。文章详细拆解了能量最小化、Softmax（玻尔兹曼分布）、交叉熵（信息熵）、VAE（自由能）以及最大熵原理等核心AI概念背后的物理学渊源，揭示了从蒸汽机到神经网络的知识传承。
Chain Theory：从量子信息重建基础物理
作者宣布启动名为 Chain Theory 的研究计划，旨在从量子信息出发重建基础物理学，并公布首个成果：由单一公理推导出的精细结构常数无参数候选值，与测量值精确匹配到十位有效数字。文章回顾了 20 世纪上半叶物理学的黄金时代与之后近五十年的停滞，批评人择原理和弦论景观放弃了推导自然常数的路径，并提出三条线索：有限区域的信息上限、标准模型规范群可作为 qutrit 与 qubit 纠缠态的对称性、以及基本粒子无子结构的另一种解读，论证应回归以推导为目标的新基础。
指令微调：理解 Instruction Tuning
本文是后训练系列第二篇，介绍指令微调（SFT）。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例，说明指令微调与预训练使用相同的下一个 token 预测损失，但数据和任务不同。文章详细讲解训练五步骤：收集、格式化、掩码、训练、评测，并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识，少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限：无法补充知识、比较回答优劣或检验正确性。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
Streaming 100 TB+ Robot Datasets
LeRobot 推出了面向 100 TB 及以上规模机器人数据集的新型 episode 级流式数据加载器，可直接从 Hugging Face 数据集或 Bucket 读取选定的 episode 并准备训练样本，无需完整下载本地视频副本。文章阐述了流式加载器的四大需求：保持 GPU 繁忙、混合 episode、覆盖全部数据、控制内存使用。通过 Parquet 统计信息定位表格数据、MP4 sidecar 索引定位视频帧、在 RAM 中维护压缩视频字节池，并采用锚点采样与预取机制，实现数据集持续增长下的高效训练。
Meta AI 面试 2026：新增 "Coding with AI" 轮
Meta 在 2026 年对 AI 工程师面试流程进行了重大调整，业内首个主流化的 AI 辅助编程轮 "Coding with AI" 正式上线。文章详细介绍了 MLE 与 Research Scientist 岗位的完整面试流程，包括传统 coding 轮、ML system design、ML theory、behavioral 等各轮考察重点，并重点解析了 AI 轮的三阶段考核：修 bug、实现功能、优化扩展，强调面试者需证明自己会验证和纠正 AI 输出。文末还给出 follow-up 问题预测和六条备考清单。
免费的AI课程全指南：350+课程、5000+讲座替代你的学位
作者因厌倦在YouTube、Google和大学网站间费力搜寻AI学习资源，整理了一份完全免费的AI课程大全，涵盖350多门课程和5000多个讲座。内容按主题分类，包括深度学习、机器学习基础、优化、强化学习、概率图模型、贝叶斯深度学习、医学影像、图神经网络、NLP、语音识别、计算机视觉等14个方向。课程来源包括Geoffrey Hinton、Andrew Ng、Andrej Karpathy、Richard Socher等名师在多伦多大学、斯坦福、牛津、MIT、CMU、DeepMind等机构的经典课程，并附有课件和视频链接。
MIT 三巨头写了14年的计算机视觉教材免费开放：从古希腊视觉理论讲到 NeRF
MIT 三位教授 Torralba、Isola 和 Freeman 合著的《计算机视觉基础》开放免费在线阅读，全书 55 章历时 14 年写成，完整穿越深度学习革命。本书刻意不追踪 SOTA，而是强调当代方法深植于视觉与 AI 的历史脉络，从古希腊视觉理论一直讲到 NeRF。全书按问题背景、数学与信号处理、神经架构与统计建模、几何与运动、应用与研究素养五条主线编排，统一了经典视觉方法与深度学习，还包含研究方法论与社会伦理内容。作者认为它有望成为下一代 CV 标准入门教材，但不覆盖扩散模型与多模态大模型最新进展。
LLMs do not guess. They optimize. Here is the difference and the math behind it
文章阐述LLM的输出并非猜测，而是优化的结果。作者从基础数学概念讲起，介绍了优化问题的本质：找到使函数最大化或最小化的输入。文章系统梳理了几个关键优化方法：牛顿法（通过切线逼近快速求零点和极值，是现代训练算法的祖先）、黄金分割搜索（无需导数、利用黄金比例实现指数级收敛，用于超参数调优）、单纯形法（1947年Dantzig发明，通过沿多面体顶点移动求解线性规划问题）。文章解释了梯度下降作为简化版牛顿法如何训练拥有数万亿参数的语言模型，并对比了单纯形法与内点法在理论与实践性能上的差异。
Reinforcement Learning from scratch #1
本文是强化学习从零开始系列的第一篇，作者通过赌场老虎机的故事引入多臂老虎机问题。文章以通俗易懂的方式讲解了期望值、条件概率、贝叶斯定理、大数定律等基础概率统计概念，并推导出增量式价值估计 Q 的更新公式，为后续学习强化学习算法奠定基础。作者强调从最简单的问题出发、逐步增加复杂度的学习方式。
