🏷️ 机器学习

Math Behind Large Language Model

本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。

Trajectory: Agent 经验数据的标准格式

文章介绍了 Trajectory，一个开源的数据格式标准化工具，旨在统一不同编码代理会话（如 Claude Code、Codex 等）的数据格式。该格式注重令牌效率，便于代理从过去的经验中学习，解决跨平台数据碎片化问题。

如何教授 AI 模型

文章通过人类学习的类比，通俗易懂地解释了 AI 模型如何学习新技能和行为。它涵盖了从预训练、监督微调到强化学习的三个阶段，以及通过基准测试评估模型和通过模型规范对齐模型行为的重要性，最后指出了当前模型在持续学习方面的局限性。

国外名校量化金融免费公开课完整指南（2026最新版）

本文是一份2026年最新的量化金融免费学习资源指南。作者整理了来自MIT、Columbia、Stanford等顶尖名校的公开课资源，涵盖了数学基础、金融工程、风险管理和机器学习等核心领域。文章详细列出了完全免费的OpenCourseWare课程、免费旁听的MOOC、大数据资源以及WorldQuant University的免费硕士项目，并规划了从基础到进阶的实用学习路径，建议配合Python项目进行实战练习。

人工智能/机器学习数学基础与学习路径

文章详细阐述了掌握人工智能和机器学习所需的三大数学支柱：统计学与概率、线性代数以及微积分。作者不仅解释了每个领域的核心概念（如贝叶斯定理、矩阵分解和梯度优化），还强调了它们在 AI 模型（如神经网络、回归）中的实际应用。最后，作者分享了一条个性化的学习路线图，推荐了 3Blue1Brown、Coursera 课程及《统计学习导论》等优质资源，帮助读者从直观理解过渡到理论实践。

PyTorch 训练流程速查表

这是一份关于 PyTorch 训练流程的单页速查表。文章通过代码示例和原理解析，深入浅出地讲解了张量的核心概念、矩阵乘法、自动求导机制、反向传播以及梯度下降优化过程。同时涵盖了 `nn.Module` 常用组件如 Linear、ReLU 和 GELU 的使用，旨在帮助开发者快速理解深度学习引擎的运作原理。

GitHub 开源宝藏：线性代数可视化教材与 3D 交互教学工具

文章推荐了两个 GitHub 上的优质开源教育资源。一是《线性代数不难》，这是一套通过几何可视化、动画和配套 .ipynb 笔记本将抽象概念直观化的开源教材，适合机器学习入门。二是 AetherViz Master，一个利用 Three.js + SVG 自动生成 3D 交互式教学网页的工具，能帮助教师将复杂的物理、数学等知识点转化为可视化的互动演示。

构建递归智能体系统：扩展 Composer 训练规模

本文介绍了 Cursor 如何构建一个包含数千个 Agent 的递归系统，以加速 Composer 模型的训练。系统通过主 Agent 管理子 Agent 的“健康”状态，实现并行实验的自动化监控与故障修复。该架构将研究员的效能提升了数量级，使大量计算资源能像企业组织一样协同工作。

当物理遇上AI：深度学习里的物理元素（上）

文章探讨了物理学与人工智能（特别是深度学习）之间的深刻联系。作者指出，神经网络本质上是一个类似于物理学中的“多体系统”，因此统计力学的语言天然适用于描述AI。文章详细拆解了能量最小化、Softmax（玻尔兹曼分布）、交叉熵（信息熵）、VAE（自由能）以及最大熵原理等核心AI概念背后的物理学渊源，揭示了从蒸汽机到神经网络的知识传承。

什么是 Diffusion Model？图片视频生成模型全网最详细介绍

本文详细介绍了AI图像与视频生成背后的核心技术——扩散模型（Diffusion Model）。文章通过通俗易懂的语言，解释了其物理起源、从加噪到去噪的运作原理，以及它如何凭借稳定性优势逐渐取代GAN成为生成式AI的主流范式。

从零到 AI 工程师——没人真正讲清楚的路线图

本文为 AI 初学者提供了一份为期 14 周的实战路线图，旨在通过免费资源将新手培养成具备构建生产级 AI 系统能力的工程师。路线图包含六个阶段：环境搭建、AI 基础、机器学习基础、深度学习、现代 LLM 工程以及 Agent 与部署。文章强调动手实践，推荐了 OpenAI、Anthropic 官方教程及 GitHub 优质开源仓库，帮助学习者避开盲目刷证书的误区，真正掌握 AI 开发技能。

Zero to AI Engineer — The Roadmap Nobody Explains Properly

本文提供了一个为期14周的实战型AI工程师学习路线图，旨在解决初学者“只学不做”的困境。文章从环境搭建开始，详细列出了从AI基础、机器学习、深度学习到现代LLM工程及Agent开发的最佳免费资源（如OpenAI/Anthropic官方课程、Karpathy的教程等）。路线强调通过GitHub项目实践来理解原理，最终掌握部署与评估技能，真正从零开始构建可用的AI系统。

LoRA - LLMs 的低秩适配详解

文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。

Mixture of Experts (MoE): Scaling AI with Specialized Models

文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。

如何利用神经网络在交易中获得优势：量化交易框架指南

文章深入探讨了如何利用神经网络构建量化交易系统。作者解释了对冲基金如何利用机器学习提取交易优势，揭示了神经网络计算条件期望的数学本质，而非直接预测未来。文中分析了为何直接预测价格会失败，并提出了正确的数据处理方法和架构选择，旨在为交易者提供一个从数据准备到信号部署的完整实施框架。

AI/ML 所需的线性代数知识（完整路线图）

本文旨在消除从事 AI/ML 工作对数学博士学位的恐惧，提供了一份精准的线性代数学习路线图。文章分为五个阶段：从标量、向量、矩阵等基础概念，到特征值、SVD（奇异值分解）等核心机器学习数学工具，再到连接微积分的梯度与雅可比矩阵。作者强调了掌握这些概念对于理解神经网络、PCA、推荐系统及 LoRA 微调等技术的重要性。

超越直觉：基于多层数据的 NBA 比分预测系统技术指南

本文详细介绍了一个构建 NBA 预测系统的完整技术方案。该系统通过 Python 整合了三大概率层：传统体育博彩数据、区块链预测市场 Polymarket 数据，以及基于 XGBoost 的自定义机器学习模型。文章深入讲解了从数据采集、特征工程（包括四要素、ELO 评级和疲劳因子）、到模型训练与回测的全过程，并展示了如何利用 Claude API 分析市场分歧差异点，旨在通过量化手段捕捉人类直觉无法识别的比赛赢面规律。

Paper List for AI beginners

这是一份针对计算机科学和数学专业大二学生的机器学习（ML）与强化学习（RL）入门阅读清单。清单分为四个部分：基础（如ResNet、Attention）、AI基础设施（如VAE、BERT、LoRA、Agent）、推理加速（如Linear Attention、Speculative Decoding）以及强化学习（如PPO、DPO、RLHF）。该列表由导师 Mingyang Yi 推荐，旨在帮助本科生构建系统的 AI 知识体系。

图解 Transformer 架构：从原理到细节的全面解析

本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。

一键运行 Karpathy 的 autoresearch 并追踪实验

本文介绍了作者尝试使用 Andrej Karpathy 发布的 autoresearch 工具，通过定义 program.md 让 AI Agent 自动编写代码、运行实验并迭代结果。为了简化流程，作者开源了 autoresearch-gen 工具，利用 LLM 生成脚手架代码并配备 Streamlit 仪表盘来追踪实验。文章还探讨了 AI 研究自动化趋势及其面临的上下文记忆和状态管理挑战。

AI 工程师必读的 10 本 LLM 与 AI 工程书籍推荐

作者阅读了 20 多本 AI 和 LLM 工程相关书籍，筛选出了 10 本最值得推荐的书单。这些书旨在帮助开发者从理论走向实践，掌握构建、部署和维护生产级 AI 系统的技能。书单涵盖了 Chip Huyen 的《AI Engineering》、RAG 与微调实战手册、从零构建 LLM 以及 Prompt Engineering 等核心领域，适合希望转型或进阶为 AI 工程师的技术人员阅读。

如何成为一名机器学习工程师：完全指南

本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。

斯坦福 AI & ML 课程清单：从入门到大模型

本文列举了斯坦福大学关于人工智能与机器学习的 10 门顶级课程，涵盖了人工智能基础、机器学习、深度学习、强化学习、自然语言处理（NLP）、计算机视觉（CV）、大语言模型（LLMs）及深度生成模型等核心领域，旨在帮助学习者掌握 AI 第一性原理。