机器学习的开放问题总论
本文系统梳理了机器学习领域的开放问题，将其归纳为两个主干：缺乏有效状态变量和缺乏低成本可重复的因果实验制度。作者提出了一套筛选标准，强调问题应具有可操作性和可证伪性。文章详细分析了状态变量应满足的五条性质，以及因果实验制度面临的样本量、可复现性和归因三大短板。此外，还讨论了裁判质量作为横切轴的重要性，并区分了噪声与偏差的成本差异。
相关文档
Physics for AI 总纲领
本文系统梳理了物理对机器学习79个开放问题的贡献，按定题、构造块、学习、实验四块逐一分析。作者提出物理介入ML的三条路径：分析方法、模型来源、科研制度，并指出现有综述缺乏按具体问题组织的映射。文中详细评估了每条问题物理能否解决，标注为能、部分或不能，并给出对应的物理方向。最终统计显示，物理在构造块（模型来源）贡献最大，在定题块（语义与目标）几乎无能为力。文章强调物理的价值在于提供分析工具、模型灵感和科研规范，而非万能解药。
指令微调：理解 Instruction Tuning
本文是后训练系列第二篇，介绍指令微调（SFT）。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例，说明指令微调与预训练使用相同的下一个 token 预测损失，但数据和任务不同。文章详细讲解训练五步骤：收集、格式化、掩码、训练、评测，并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识，少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限：无法补充知识、比较回答优劣或检验正确性。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
当顶尖科学家的研究能像 GitHub 仓库一样一键 fork，超级个体的机会来了
文章指出科研领域长期存在'不可复现危机'：论文只是静态 PDF，数据、代码、环境散落各处，超70%的研究者无法复现他人实验。作者介绍了 AIPOCH Open-Science——一个开源、模型无关、本地优先的 AI 科研工作台，它内置 Scientific Agent 可端到端执行研究流程，并提出 .science 打包格式，将数据、代码、环境、执行日志封装为可一键复现与 fork 的'科研 Git 仓库'。作者认为这将开启 Vibe Research 时代，降低科研门槛，为学生、跨学科个体和 AI4S 生态带来超级个体的历史性机遇。
给科学家用的 Claude Code：本地跑、可追溯、能换引擎的 Open-Science 实测
文章实测了新加坡 AIPOCH 团队开源的科研 AI 工作台 Open-Science，它以 Claude Code、Codex 等为可替换引擎，外覆科研专用壳层。针对科研三大痛点——文献易被 AI 编造、敏感数据不能出本地、图表无法溯源——该项目提供 36 个科学数据库连接器、本地数据存储、不可篡改的执行记录与血缘图，并支持通过 .science 文件包（基于 RO-Crate 开放标准）导出完整研究过程供他人复现。作者以复现一篇基因表达分析论文为例，验证了差异表达分析与火山图生成，并用独立 AI 审查员完成交叉核验，展示了可复现、可交接的开源科研工作流。
Streaming 100 TB+ Robot Datasets
LeRobot 推出了面向 100 TB 及以上规模机器人数据集的新型 episode 级流式数据加载器，可直接从 Hugging Face 数据集或 Bucket 读取选定的 episode 并准备训练样本，无需完整下载本地视频副本。文章阐述了流式加载器的四大需求：保持 GPU 繁忙、混合 episode、覆盖全部数据、控制内存使用。通过 Parquet 统计信息定位表格数据、MP4 sidecar 索引定位视频帧、在 RAM 中维护压缩视频字节池，并采用锚点采样与预取机制，实现数据集持续增长下的高效训练。
Meta AI 面试 2026：新增 "Coding with AI" 轮
Meta 在 2026 年对 AI 工程师面试流程进行了重大调整，业内首个主流化的 AI 辅助编程轮 "Coding with AI" 正式上线。文章详细介绍了 MLE 与 Research Scientist 岗位的完整面试流程，包括传统 coding 轮、ML system design、ML theory、behavioral 等各轮考察重点，并重点解析了 AI 轮的三阶段考核：修 bug、实现功能、优化扩展，强调面试者需证明自己会验证和纠正 AI 输出。文末还给出 follow-up 问题预测和六条备考清单。
免费的AI课程全指南：350+课程、5000+讲座替代你的学位
作者因厌倦在YouTube、Google和大学网站间费力搜寻AI学习资源，整理了一份完全免费的AI课程大全，涵盖350多门课程和5000多个讲座。内容按主题分类，包括深度学习、机器学习基础、优化、强化学习、概率图模型、贝叶斯深度学习、医学影像、图神经网络、NLP、语音识别、计算机视觉等14个方向。课程来源包括Geoffrey Hinton、Andrew Ng、Andrej Karpathy、Richard Socher等名师在多伦多大学、斯坦福、牛津、MIT、CMU、DeepMind等机构的经典课程，并附有课件和视频链接。
MIT 三巨头写了14年的计算机视觉教材免费开放：从古希腊视觉理论讲到 NeRF
MIT 三位教授 Torralba、Isola 和 Freeman 合著的《计算机视觉基础》开放免费在线阅读，全书 55 章历时 14 年写成，完整穿越深度学习革命。本书刻意不追踪 SOTA，而是强调当代方法深植于视觉与 AI 的历史脉络，从古希腊视觉理论一直讲到 NeRF。全书按问题背景、数学与信号处理、神经架构与统计建模、几何与运动、应用与研究素养五条主线编排，统一了经典视觉方法与深度学习，还包含研究方法论与社会伦理内容。作者认为它有望成为下一代 CV 标准入门教材，但不覆盖扩散模型与多模态大模型最新进展。
LLMs do not guess. They optimize. Here is the difference and the math behind it
文章阐述LLM的输出并非猜测，而是优化的结果。作者从基础数学概念讲起，介绍了优化问题的本质：找到使函数最大化或最小化的输入。文章系统梳理了几个关键优化方法：牛顿法（通过切线逼近快速求零点和极值，是现代训练算法的祖先）、黄金分割搜索（无需导数、利用黄金比例实现指数级收敛，用于超参数调优）、单纯形法（1947年Dantzig发明，通过沿多面体顶点移动求解线性规划问题）。文章解释了梯度下降作为简化版牛顿法如何训练拥有数万亿参数的语言模型，并对比了单纯形法与内点法在理论与实践性能上的差异。
Reinforcement Learning from scratch #1
本文是强化学习从零开始系列的第一篇，作者通过赌场老虎机的故事引入多臂老虎机问题。文章以通俗易懂的方式讲解了期望值、条件概率、贝叶斯定理、大数定律等基础概率统计概念，并推导出增量式价值估计 Q 的更新公式，为后续学习强化学习算法奠定基础。作者强调从最简单的问题出发、逐步增加复杂度的学习方式。
斯坦福机器人学免费课程：6个月成为机器人学习工程师的学习路径
作者整理了一份利用斯坦福免费公开课程资源、历时6个月成为机器人学习工程师的自学路径。斯坦福将大量机器人学课程发布在YouTube上，讲师包括NVIDIA自动驾驶研究高级总监、Physical Intelligence联合创始人及Tesla Optimus AI负责人。该路径包含7门课程共119讲、约95小时视频、2本免费教材、6个可在家用笔记本上完成的练习项目，以及可选的122美元机械臂。学习顺序遵循斯坦福正式课程体系：先数学基础（线性代数），再机器人物理结构、感知、规划，最后是学习方法，避免了自学时无序观看导致的低效问题。
