分享点自研的NLP的学习资料
作者分享了自研的NLP学习资料，包括沿神经网络发展线整理的学习材料和可交互的Transformer课程，帮助深入理解语言模型内部机制。
相关文档
小白必看：从词向量到Transformer，一口气搞懂自然语言NLP技术发展
文章以一个趣味猜词游戏切入，通俗易懂地讲解NLP技术的演进历程。首先介绍基于统计的N-gram模型及其在组合爆炸和语义理解上的局限；接着引出词向量（Word Embedding），通过高维空间中的坐标表示词语含义，使模型具备泛化能力；然后讲解前馈神经网络如何利用词向量进行预测；再介绍RNN通过隐藏状态机制处理任意长度文本，实现记忆功能；最后指出RNN存在长期依赖问题，为LSTM等改进方案做铺垫。全文循序渐进，用生活化例子帮助读者理解语言模型预测下一个词的基本原理。
国庆假期我花了1.9亿Token攒了一个PPT skill，开源了
作者萝卜哥开源了一款免费 PPT skill，可对已有 PPT 进行美化（文字一字不动，仅换配色、版式、图标与插画），也能将文章直接生成带口播备注的完整演示文稿。该 skill 支持公式转文字保证兼容性，内置时间线、漏斗、2x2 矩阵、SWOT 等原生可编辑版式，并提供 14 套预设风格。作者借鉴了 dashi-ppt-skill 的容量控制、273 款设计模板提炼的视觉规则，以及 open-design 的排版检查与五维评审机制，并经过 Claude Code 和 WorkBuddy 多模型实测。安装脚本支持 Claude、Codex、Cursor 等主流 Agent，项目已开源在 GitHub。
AI 眼里根本没有猫，那它到底是怎么认出猫的？｜从 0 开始理解大模型底层
本文从最简单的线性模型 y=wx+b 出发，逐步拆解神经网络识别图片的原理。作者解释了为何单层线性计算表达能力不足，堆叠多层也仍会退化为一次线性变换，因此需要 ReLU 等激活函数引入非线性。随后说明图像如何从原始像素经多层计算被加工成适合任务的内部表示，并澄清了'第一层看线条、第二层看耳朵'的常见误解。文章还介绍了万能逼近定理的含义与局限、CNN 与 Transformer 的关系，以及模型为何是黑箱与机制可解释性，最后引出过拟合问题，为下一篇泛化主题做铺垫。
LLM 为什么缓存 K 和 V，却通常不缓存 Q？
本文深入浅出地讲解了 LLM 推理中 KV cache 的原理。作者以长文档问答为场景，说明模型生成每个 token 时无需重复计算全部历史状态，解释了为什么缓存 K/V 而不需要缓存 Q：历史 Q 已完成对应位置计算，而 K/V 需供后续新位置读取。文章还讨论了 causal attention 的信息方向如何决定 cache 失效条件、KV cache 的显存开销计算、prefix caching 复用共同前缀的策略，以及 DeepSeek-V4.1-Flash 中 causal encoder-decoder、跨层 KV 共享与 shared KV representation 等架构优化。
把Transformer底裤扒光，从Transformer到大模型
本文从零开始，深入浅出地讲解了Transformer的原理及其如何演变为大语言模型。文章首先介绍大模型的目标是预测下一个词，然后详细解释了如何将文字转换为数字，包括Token、Token ID、Embedding Matrix等概念。接着，重点剖析了Transformer的核心——注意力机制（Q、K、V）、多头注意力、位置编码、FFN以及残差连接等组件，最后概述了模型的训练过程。全文无需前置知识，适合初学者理解大模型的基础架构。
一口气搞懂 Transformer：注意力、QKV、残差连接全讲透
本文是 Transformer 架构的科普长文，作者轩辕之风回顾了从 N-gram、词向量、RNN 到 LSTM 的语言模型发展历程，指出 LSTM 串行计算和远距离信息传递的两大痛点。随后详细讲解注意力机制的核心思想，深入解释 Query、Key、Value 三者的作用与计算方式（点积、Softmax、缩放因子），以及多头注意力如何从多个角度捕捉指代、语法等不同关系。文章还介绍了位置编码解决并行计算丢失顺序信息的问题，并通过'苹果'的例子说明 Attention 负责信息收集、FFN 负责特征消化组合的分工。
Karpathy GitHub 上最重要的 5 个仓库：从零学习 AI 基础
本文介绍了 Andrej Karpathy 的 GitHub 上五个最具教育价值的仓库：micrograd、nanoGPT、minGPT、llm.c 和 nanochat。这些仓库以极简和清晰著称，帮助学习者从零理解神经网络、反向传播、GPT 架构、底层实现和完整的 LLM 系统。文章强调了主动学习的重要性，并提供了实践学习路径，帮助读者从基础原理到实际应用建立直觉。
MiniMax H3: 打破任务与模态界限的开源多模态生成模型
MiniMax 发布通用多模态生成模型 H3，支持文本、图像、视频和音频的统一理解与生成。H3 可生成原生立体声的 2K 分辨率视频，具备优异的指令遵循和精准编辑能力，并计划近期开源模型权重，旨在打破任务边界，降低成本，加速商业化内容创作。
Math Behind Large Language Model
本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。
From GPT2 to Kimi3, Explained
文章回顾了从 GPT-2 (2019) 到 KimiK3 (2026) 的大语言模型架构演进，重点对比了参数规模从 1.24 亿到 2.8 万亿的巨大跨越。深入解析了 GPT-2 的 Transformer 解码器结构、KV 缓存机制，并探讨了线性注意力机制在降低计算复杂度方面的原理与权衡。
Step-By-Step LLM Engineering Projects (2026 Edition)
文章提出了一个基于项目的 2026 年 LLM 工程学习路线图。作者主张通过从零构建系统来掌握技术栈，路径涵盖从基础的 Tokenizer、Embedding、Positional Encoding、Attention 机制，到 Transformer 模块构建、训练循环、KV Cache、MoE、量化、服务部署、RAG 及 Agent 等高级系统。该指南强调“实现、绘制、破坏、解释”的学习闭环，旨在帮助读者深入理解大模型原理并具备工程构建能力。
20 张手绘图讲透 AI 核心概念
本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图，涵盖从神经网络、Transformer 架构到大语言模型（LLM）的 20 个核心概念。作者不仅解释了 AI 底层运作原理（如分词、注意力机制），还介绍了模型优化手段（如微调、RLHF）及前沿应用架构（如 RAG、Agent、思维链），是一份简洁全面的 AI 技术入门指南。
