机器学习的方法论总论
本文提出了一套机器学习方法论的统一框架，将学习算法拆解为十八个节点、四大块，以回答PCA、Transformer等不同方法在方法论上的异同。作者指出传统教科书定义、CRISP-DM流程和Domingos三元组的不足，特别是将“优化”作为第三列命名的问题，并引入闭式解、特征分解、积分等七种参数确定方式。文章详细阐述了定题与构造的前九个节点，包括三层代理（W/M/L）、目标与数据顺序、函数族、归纳偏置、参数化形态等，强调组合视角和归纳偏置的重要性。
相关文档
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
LLMs do not guess. They optimize. Here is the difference and the math behind it
文章阐述LLM的输出并非猜测，而是优化的结果。作者从基础数学概念讲起，介绍了优化问题的本质：找到使函数最大化或最小化的输入。文章系统梳理了几个关键优化方法：牛顿法（通过切线逼近快速求零点和极值，是现代训练算法的祖先）、黄金分割搜索（无需导数、利用黄金比例实现指数级收敛，用于超参数调优）、单纯形法（1947年Dantzig发明，通过沿多面体顶点移动求解线性规划问题）。文章解释了梯度下降作为简化版牛顿法如何训练拥有数万亿参数的语言模型，并对比了单纯形法与内点法在理论与实践性能上的差异。
AI 眼里根本没有猫，那它到底是怎么认出猫的？｜从 0 开始理解大模型底层
本文从最简单的线性模型 y=wx+b 出发，逐步拆解神经网络识别图片的原理。作者解释了为何单层线性计算表达能力不足，堆叠多层也仍会退化为一次线性变换，因此需要 ReLU 等激活函数引入非线性。随后说明图像如何从原始像素经多层计算被加工成适合任务的内部表示，并澄清了'第一层看线条、第二层看耳朵'的常见误解。文章还介绍了万能逼近定理的含义与局限、CNN 与 Transformer 的关系，以及模型为何是黑箱与机制可解释性，最后引出过拟合问题，为下一篇泛化主题做铺垫。
AI 的演进：从规则执行到自主行动
文章系统梳理了人工智能从1950年代至今的发展历程：萌芽探索期（图灵之问与达特茅斯会议）、知识驱动期（符号主义与专家系统）、统计学习期（机器学习与特征工程）、深度学习突破期（AlexNet与神经网络）、大模型时代（Transformer、GPT-3、ChatGPT与多模态）。作者指出AI处理信息的方式从人类编写规则，到机器从数据中学习，再到模型理解目标并自主完成任务。未来AI将从大模型走向智能体（Agent），能够拆解任务、制定计划、调用工具，实现从被动响应到自主行动的转变。
AI for Physics 全景图
文章探讨了AI在物理学领域的应用现状与瓶颈。作者将物理学研究分为解析求解、数值模拟、有效理论构造等五条路线，指出AI在受限于计算能力的领域（如分子模拟、引力波参数估计）取得了显著的“化解”与“新能力”突破；但在依赖概念创新和理论构造的领域，AI仍进展甚微。文章通过重新梳理物理学家的工作方式，提供了一个评估AI实际价值的新视角。
Math Behind Large Language Model
本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。
如何从零开始构建自己的大语言模型 (LLM)
文章揭秘了 GPT、Claude 等 LLM 背后通用的五阶段构建流程，指出数据质量而非架构才是核心。作者详细阐述了数据清洗、分词、训练目标（预测下一个 Token）及 Transformer 架构实现，并提供了包含 Tokenizer 和 PyTorch 模型的代码示例。
当物理遇上AI：深度学习里的物理元素（上）
文章探讨了物理学与人工智能（特别是深度学习）之间的深刻联系。作者指出，神经网络本质上是一个类似于物理学中的“多体系统”，因此统计力学的语言天然适用于描述AI。文章详细拆解了能量最小化、Softmax（玻尔兹曼分布）、交叉熵（信息熵）、VAE（自由能）以及最大熵原理等核心AI概念背后的物理学渊源，揭示了从蒸汽机到神经网络的知识传承。
LoRA - LLMs 的低秩适配详解
文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。
Mixture of Experts (MoE): Scaling AI with Specialized Models
文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。
LLM 优化面试笔记：训练与推理核心技术
这是一份针对 AI 实验室面试准备的笔记，涵盖了高效训练和部署大语言模型（LLM）的核心优化策略。内容主要分为三部分：内存优化（如 Flash Attention、MQA/GQA、激活检查点）、计算优化（序列打包、高效变体 Transformer）以及推理优化（KV 缓存、投机解码、量化技术）。文章旨在总结在大规模模型开发中应对算力和内存瓶颈的关键技术。
Recursive Agent Optimization Actually Works
文章介绍了 HALO（分层 Agent 循环优化），一种构建递归自改进 Agent 框架的方法论。通过专门的递归语言模型（RLM）分析追踪数据并诊断问题，利用编码 Agent 修复漏洞并重新部署。在 AppWorld 基准测试中，经过 5 个循环优化，场景目标完成率从 73.7% 提升至 89.5%。该实验证明，利用 AI 审视自身追踪数据的“鸟瞰视角”能有效识别幻觉模式、工具调用错误及配置缺陷，为未来的框架设计提供了新的优化范式。
