关于 Inkling 的数学思考
本文从深度流形视角分析 Thinking Machines 的多模态模型 Inkling。探讨了模态早期耦合、放弃 RoPE 的几何意义、Muon 的归一化作用以及大规模强化学习对流形同调的影响，提出了关于数据耦合和训练稳定性的开放问题。
相关文档
Math Behind Large Language Model
本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。
Paper List for AI beginners
这是一份针对计算机科学和数学专业大二学生的机器学习（ML）与强化学习（RL）入门阅读清单。清单分为四个部分：基础（如ResNet、Attention）、AI基础设施（如VAE、BERT、LoRA、Agent）、推理加速（如Linear Attention、Speculative Decoding）以及强化学习（如PPO、DPO、RLHF）。该列表由导师 Mingyang Yi 推荐，旨在帮助本科生构建系统的 AI 知识体系。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
免费的AI课程全指南：350+课程、5000+讲座替代你的学位
作者因厌倦在YouTube、Google和大学网站间费力搜寻AI学习资源，整理了一份完全免费的AI课程大全，涵盖350多门课程和5000多个讲座。内容按主题分类，包括深度学习、机器学习基础、优化、强化学习、概率图模型、贝叶斯深度学习、医学影像、图神经网络、NLP、语音识别、计算机视觉等14个方向。课程来源包括Geoffrey Hinton、Andrew Ng、Andrej Karpathy、Richard Socher等名师在多伦多大学、斯坦福、牛津、MIT、CMU、DeepMind等机构的经典课程，并附有课件和视频链接。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
AI 眼里根本没有猫，那它到底是怎么认出猫的？｜从 0 开始理解大模型底层
本文从最简单的线性模型 y=wx+b 出发，逐步拆解神经网络识别图片的原理。作者解释了为何单层线性计算表达能力不足，堆叠多层也仍会退化为一次线性变换，因此需要 ReLU 等激活函数引入非线性。随后说明图像如何从原始像素经多层计算被加工成适合任务的内部表示，并澄清了'第一层看线条、第二层看耳朵'的常见误解。文章还介绍了万能逼近定理的含义与局限、CNN 与 Transformer 的关系，以及模型为何是黑箱与机制可解释性，最后引出过拟合问题，为下一篇泛化主题做铺垫。
万字长文：通宵评测Qwen-Image-2.1
作者在48GB的4090上对Qwen-Image-2.1进行了13组实验、196张图的深度评测。模型视觉生成为7B DiT架构，配Qwen3-VL编码指令与参考图，支持原生RGBA透明。评测发现其强项为中文排版、原生透明通道和多图身份保持，弱项是「替换」语义常退化为「添加」、编辑具有非局部性、缺乏时间维度建模。文章详细测试了文字渲染阈值、透明度真实性、指令遵循、编辑精度、多图参考及性能表现，并给出KV cache与显存的权衡策略。最后作者通过360°转台动画实验，揭示了条件图下seed敏感性等反直觉发现，定位其为关键帧生成器而非视频模型。
斯坦福新课 CME 295：9 讲走完 Transformer → RLHF → AI Agent → Diffusion LLM 全部知识地图
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
我用Ling-3.0-flash-VL把学习视频拆成能可动手的实验
作者利用蚂蚁百灵多模态大模型Ling-3.0-flash-VL开发了Course Rebuilder，将B站收藏的《从函数到Transformer架构》网课重构为10个可交互实验，涵盖从函数拟合到Transformer组装的完整因果链。模型能精准解析视频片段，提取讲解概念、画面证据和先修知识，并给出交互改造建议，推理延迟仅1.1-1.3秒。该工具将被动听课转化为主动探索，支持跳转原片和AI助教答疑，显著提升学习吸收率。
把Transformer底裤扒光，从Transformer到大模型
本文从零开始，深入浅出地讲解了Transformer的原理及其如何演变为大语言模型。文章首先介绍大模型的目标是预测下一个词，然后详细解释了如何将文字转换为数字，包括Token、Token ID、Embedding Matrix等概念。接着，重点剖析了Transformer的核心——注意力机制（Q、K、V）、多头注意力、位置编码、FFN以及残差连接等组件，最后概述了模型的训练过程。全文无需前置知识，适合初学者理解大模型的基础架构。
小白必看：从词向量到Transformer，一口气搞懂自然语言NLP技术发展
文章以一个趣味猜词游戏切入，通俗易懂地讲解NLP技术的演进历程。首先介绍基于统计的N-gram模型及其在组合爆炸和语义理解上的局限；接着引出词向量（Word Embedding），通过高维空间中的坐标表示词语含义，使模型具备泛化能力；然后讲解前馈神经网络如何利用词向量进行预测；再介绍RNN通过隐藏状态机制处理任意长度文本，实现记忆功能；最后指出RNN存在长期依赖问题，为LSTM等改进方案做铺垫。全文循序渐进，用生活化例子帮助读者理解语言模型预测下一个词的基本原理。
一口气搞懂 Transformer：注意力、QKV、残差连接全讲透
本文是 Transformer 架构的科普长文，作者轩辕之风回顾了从 N-gram、词向量、RNN 到 LSTM 的语言模型发展历程，指出 LSTM 串行计算和远距离信息传递的两大痛点。随后详细讲解注意力机制的核心思想，深入解释 Query、Key、Value 三者的作用与计算方式（点积、Softmax、缩放因子），以及多头注意力如何从多个角度捕捉指代、语法等不同关系。文章还介绍了位置编码解决并行计算丢失顺序信息的问题，并通过'苹果'的例子说明 Attention 负责信息收集、FFN 负责特征消化组合的分工。