如何教授 AI 模型
文章通过人类学习的类比，通俗易懂地解释了 AI 模型如何学习新技能和行为。它涵盖了从预训练、监督微调到强化学习的三个阶段，以及通过基准测试评估模型和通过模型规范对齐模型行为的重要性，最后指出了当前模型在持续学习方面的局限性。
相关文档
指令微调：理解 Instruction Tuning
本文是后训练系列第二篇，介绍指令微调（SFT）。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例，说明指令微调与预训练使用相同的下一个 token 预测损失，但数据和任务不同。文章详细讲解训练五步骤：收集、格式化、掩码、训练、评测，并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识，少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限：无法补充知识、比较回答优劣或检验正确性。
Reinforcement Learning from scratch #1
本文是强化学习从零开始系列的第一篇，作者通过赌场老虎机的故事引入多臂老虎机问题。文章以通俗易懂的方式讲解了期望值、条件概率、贝叶斯定理、大数定律等基础概率统计概念，并推导出增量式价值估计 Q 的更新公式，为后续学习强化学习算法奠定基础。作者强调从最简单的问题出发、逐步增加复杂度的学习方式。
一篇文章带你祛魅算法工程师！
大厂在职算法工程师云辰 Cyan 撰文揭秘算法工程师职业真相。文章介绍了算法工程师的高薪现状：硕士校招 40-100 万，顶尖博士可超 150 万；并将岗位分为算法应用、模型推理、模型训练三个层级，指出 95% 的算法工程师从事的是'AI 赋能'类应用工作，门槛较低；而模型推理和基模训练则有较高技术壁垒。作者还提到当前校招竞争激烈（985 硕士+顶会论文+大厂实习已成标配），AI 人才供需失衡导致薪资倒挂，企业普遍存在 FOMO 心态。文章以幽默笔调对算法工程师这一职业进行了祛魅。
斯坦福机器人学免费课程：6个月成为机器人学习工程师的学习路径
作者整理了一份利用斯坦福免费公开课程资源、历时6个月成为机器人学习工程师的自学路径。斯坦福将大量机器人学课程发布在YouTube上，讲师包括NVIDIA自动驾驶研究高级总监、Physical Intelligence联合创始人及Tesla Optimus AI负责人。该路径包含7门课程共119讲、约95小时视频、2本免费教材、6个可在家用笔记本上完成的练习项目，以及可选的122美元机械臂。学习顺序遵循斯坦福正式课程体系：先数学基础（线性代数），再机器人物理结构、感知、规划，最后是学习方法，避免了自学时无序观看导致的低效问题。
CMU 秋季新课 AI Agents：OpenHands 作者亲授，从零搭 Harness、建评测、用 RL 训智能体
CMU LTI 2026 年秋季新开研究生课程 11-768: AI Agents，由 OpenHands 核心开发者 Graham Neubig 与 Daniel Fried 共同讲授。课程以"搭 harness→建评测→RL 训练→做研究"流水线为主线，涵盖工具调用、上下文管理、技能与记忆、规划、安全、框架实践等模块，密集邀请一线学者客座授课。作业要求学生在开源 LLM 之上从零实现 ReAct Agent、设计评测框架并完成 SFT/RL 训练，工程细节对标生产级 Agent 系统。期末研究项目占 50% 成绩。PPT、视频与作业仓库全部公开，是目前系统学习 LLM Agent 建造、评测与训练最完整的公开课程。
Advancing Scientific Discovery with DeepEarth: 用突破机器实现25倍能力提升
文章提出'科学突破机器'概念：无需先实现AGI，通过范围受限的自我改进循环（sub-RSI loop）即可在特定问题上模拟ASI效果。作者团队将其应用于DeepEarth——一个多模态时空世界模型，用于全球环境智能。系统通过共享记忆、快速筛选实验预算、基于不变量的验证与计分卡机制，让智能体集群自主进行假设、实验与迭代。最终将模型调和均值从0.016提升至0.407，实现约25倍的能力提升，并发现单一编码器的改进未必带来融合能力的提升，环境信号（如AlphaEarth卫星嵌入）是最大杠杆。
从 RL 到蒸馏，再到软蒸馏：Why RL Matters？
本文探讨了强化学习（RL）在大语言模型后训练阶段的作用，以及它与蒸馏（SFT）的关系。作者认为，SFT 阶段为模型提供了思维链（CoT）模式，而 RL 则帮助模型将这些模式“本土化”，找到最适合自身知识量和分词器的表达方式，并增强模型的可控性。同时，蒸馏（包括软蒸馏）可以高效地将强模型的能力迁移到弱模型，但过度依赖蒸馏会限制模型的进步。文章最后指出，领先团队应加大 RL 投入，而应用型团队则可优先选择蒸馏。
The GitHub Map: A Working Catalogue of Repositories for AI, Engineering, and Graph Engineering
本文旨在解决GitHub上海量AI仓库的导航难题，为AI工程师提供一份经过验证的仓库地图。文章按实际工作流程组织，从基础原理学习（如micrograd、nanoGPT）、本地模型运行（llama.cpp、ollama、vLLM）到图工程等专业领域，逐一介绍关键仓库，并强调许可证、入门成本和贡献机会等实用信息。
AI for Physics 全景图
文章探讨了AI在物理学领域的应用现状与瓶颈。作者将物理学研究分为解析求解、数值模拟、有效理论构造等五条路线，指出AI在受限于计算能力的领域（如分子模拟、引力波参数估计）取得了显著的“化解”与“新能力”突破；但在依赖概念创新和理论构造的领域，AI仍进展甚微。文章通过重新梳理物理学家的工作方式，提供了一个评估AI实际价值的新视角。
Why Software Factories Fail
文章探讨了AI驱动的软件工厂模式面临的挑战。作者指出，尽管AI编码工具看似能提高效率，但实际应用中往往导致代码质量下降、Bug增多和事故频发。问题不在于技术技能不足，而是模型训练的根本性限制。
如何从头构建一个 RL 环境：以 Othello 游戏为例
本文介绍了如何使用 Prime Intellect 的 Verifiers 框架从零开始构建一个用于强化学习（RL）的 Othello（黑白棋）游戏环境。文章解释了 RL 循环的基本组成部分（状态、动作、奖励、环境），并利用 GRPO 算法替代传统的人工偏好模型。文中详细展示了技术栈、游戏循环逻辑以及内置的 Minimax 对手引擎代码，旨在帮助开发者理解并掌握构建模型无关的 RL 环境的核心方法。
人工智能/机器学习数学基础与学习路径
文章详细阐述了掌握人工智能和机器学习所需的三大数学支柱：统计学与概率、线性代数以及微积分。作者不仅解释了每个领域的核心概念（如贝叶斯定理、矩阵分解和梯度优化），还强调了它们在 AI 模型（如神经网络、回归）中的实际应用。最后，作者分享了一条个性化的学习路线图，推荐了 3Blue1Brown、Coursera 课程及《统计学习导论》等优质资源，帮助读者从直观理解过渡到理论实践。
