本文从零开始，深入浅出地讲解了Transformer的原理及其如何演变为大语言模型。文章首先介绍大模型的目标是预测下一个词，然后详细解释了如何将文字转换为数字，包括Token、Token ID、Embedding Matrix等概念。接着，重点剖析了Transformer的核心——注意力机制（Q、K、V）、多头注意力、位置编码、FFN以及残差连接等组件，最后概述了模型的训练过程。全文无需前置知识，适合初学者理解大模型的基础架构。
本文是 Transformer 架构的科普长文，作者轩辕之风回顾了从 N-gram、词向量、RNN 到 LSTM 的语言模型发展历程，指出 LSTM 串行计算和远距离信息传递的两大痛点。随后详细讲解注意力机制的核心思想，深入解释 Query、Key、Value 三者的作用与计算方式（点积、Softmax、缩放因子），以及多头注意力如何从多个角度捕捉指代、语法等不同关系。文章还介绍了位置编码解决并行计算丢失顺序信息的问题，并通过'苹果'的例子说明 Attention 负责信息收集、FFN 负责特征消化组合的分工。
文章以第一人称视角（Token），生动通俗地讲解了 Token 在大模型中的“一生”。内容涵盖 Token 的定义、分词方式（如 Byte-level BPE）、向量化原理、训练赋予语义的过程，以及在 Transformer 架构中通过 Q、K、V 和注意力机制进行指令处理与输出生成的完整技术链路。
文章讲述了前豆瓣产品经理谢青池通过阅读200多篇AI论文，梳理出理解大模型发展的历史视角。他通过分析从GPU、AlexNet到Transformer等关键技术节点的演进逻辑，指出产品经理需在边界变化中寻找最优解。读论文不仅消除了他对AI发展的焦虑，也让他能更精准地预判技术趋势。
文章回顾 Andrej Karpathy 在 OpenAI 七年间见证 GPT 从 1.17 亿参数增长到万亿参数的历程，强调 Transformer 是近 50 年计算领域最重要的架构。内容深入浅出地讲解 LLM 内部机制：文本被切分为 token 并映射为高维嵌入向量，模型通过注意力机制（Q、K、V 矩阵）学习上下文语义；Kaplan 提出的缩放定律证明性能随参数规模可预测提升；大模型还涌现出上下文学习、思维链推理等未显式编程的能力。作者指出 LLM 不是工具而是基础设施，真正赚钱的是理解底层架构并在此基础上构建的人。
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
文章以 DeepSeek 开源的 V4-Flash-Vision-Exp 为例，深入浅出地讲解大模型的本质：一个做矩阵运算的超大函数。作者介绍了模型文件结构（权重分片、config.json、tokenizer.json），并详细解析输入输出处理流程，包括文本分词、BPE 算法、Embedding、MoE 混合专家架构、概率性输出与自回归生成机制。此外还逐项解读了核心参数，如词表大小、网络层数、注意力头数、YaRN 长上下文伸缩、视觉模块和 FP8/FP4 低精度量化等，帮助读者建立对大模型原理的整体认知。
文章系统梳理了人工智能从1950年代至今的发展历程：萌芽探索期（图灵之问与达特茅斯会议）、知识驱动期（符号主义与专家系统）、统计学习期（机器学习与特征工程）、深度学习突破期（AlexNet与神经网络）、大模型时代（Transformer、GPT-3、ChatGPT与多模态）。作者指出AI处理信息的方式从人类编写规则，到机器从数据中学习，再到模型理解目标并自主完成任务。未来AI将从大模型走向智能体（Agent），能够拆解任务、制定计划、调用工具，实现从被动响应到自主行动的转变。
本文系统科普了主流LLM的注意力机制，指出其并非简单的单线升级，而是可组合的四个维度：KV缓存表示、注意力连接范围、序列混合器及位置稳定化技术。文章详细解析了MHA、MQA、GQA、MLA等机制对显存带宽的影响，以及全注意力、稀疏注意力、线性注意力等在降低长序列计算复杂度上的权衡。最后通过对比DeepSeek、Qwen、Kimi等代表模型，澄清了常见误区，为机制选择提供了准确的技术指导。
这是一份按主题编排的AI领域人物小传（上篇），涵盖了从深度学习奠基者、大模型实验室领袖、Transformer论文作者到顶尖学术研究者的75位关键人物。文章详细介绍了每个人的背景、核心贡献及当前动态，包括Hinton、LeCun、Altman等业界巨擘。
文章深入解析了具身智能的定义、历史渊源及发展现状。作者区分了具身智能与传统机器人，指出其核心在于感知-行动闭环与物理世界的实时交互。文章回顾了从符号主义、行为主义到深度学习、Transformer时代的技术演进，分析了VLA模型如何继承大模型能力来突破泛化难题，探讨其与AI的本质关系及未来前景。
文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。
这是一份针对计算机科学和数学专业大二学生的机器学习（ML）与强化学习（RL）入门阅读清单。清单分为四个部分：基础（如ResNet、Attention）、AI基础设施（如VAE、BERT、LoRA、Agent）、推理加速（如Linear Attention、Speculative Decoding）以及强化学习（如PPO、DPO、RLHF）。该列表由导师 Mingyang Yi 推荐，旨在帮助本科生构建系统的 AI 知识体系。
