📚 Wiki 知识库

一个 Token 的自我解剖：从分词到输出生成的全流程解析

✍ 程序员Left🕐 2026-04-16📦 14.7 KB 🟢 已读 𝕏 文章列表

文章以第一人称视角（Token），生动通俗地讲解了 Token 在大模型中的“一生”。内容涵盖 Token 的定义、分词方式（如 Byte-level BPE）、向量化原理、训练赋予语义的过程，以及在 Transformer 架构中通过 Q、K、V 和注意力机制进行指令处理与输出生成的完整技术链路。

大模型Token分词Transformer注意力机制Embedding向量技术原理

🔗 相关文档

什么是具身智能？它跟 AI 的关系是什么？

文章深入解析了具身智能的定义、历史渊源及发展现状。作者区分了具身智能与传统机器人，指出其核心在于感知-行动闭环与物理世界的实时交互。文章回顾了从符号主义、行为主义到深度学习、Transformer时代的技术演进，分析了VLA模型如何继承大模型能力来突破泛化难题，探讨其与AI的本质关系及未来前景。

技术 › LLM ✍ snowboat🕐 2026-06-17
具身智能VLA机器人Transformer人工智能AI技术原理深度学习大模型

LLM 推理原理：从 Prompt 到流式响应的全流程解析

文章深入剖析了大语言模型（LLM）的推理过程。首先介绍了文本如何通过分词和嵌入转换为向量，接着详细解释了 Transformer 层中的自注意力机制与前馈网络如何协同工作。文章重点揭示了推理过程的两个不同阶段：处理输入时的“预填充”阶段受算力限制，而生成输出时的“解码”阶段受内存带宽限制，这种性能差异导致了首个token与后续token生成速度的不同。

技术 › LLM ✍ Akshay🕐 2026-05-03
LLM推理Transformer分词向量嵌入自注意力机制KV缓存预填充解码技术原理生成式AI

LLM 中的 KV 缓存机制详解

文章深入解释了大型语言模型（LLM）中的 KV 缓存技术。作者指出，LLM 生成文本时首个令牌较慢而后续令牌迅速的现象，归功于 KV 缓存的工程优化。该技术通过存储已计算键值向量，避免在自回归生成过程中的冗余计算，以 GPU 内存为代价换取显著的计算加速。文中详细解析了注意力机制的冗余问题、KV 缓存的工作原理、首令牌延迟（TTFT）的产生原因，以及内存与计算资源之间的权衡取舍。

技术 › LLM ✍ Avi Chawla🕐 2026-03-22
KV缓存注意力机制Transformer模型推理LLM性能优化GPU内存预填充TTC大模型

How to Build LLM Architectures From Scratch

本文是一篇关于从零构建大型语言模型（LLM）架构的深度指南。文章详细解释了 LLM 的工作原理，包括从原始数据收集、清洗、分词，到 Transformer 架构的核心组件（如自注意力机制、位置编码）。同时涵盖了预训练、微调、基于人类反馈的强化学习（RLHF）以及推理优化等关键技术环节，旨在帮助读者理解 ChatGPT 和 Claude 等模型背后的系统构建全流程。

技术 › LLM ✍ Shabnam Parveen🕐 2026-05-25
LLMTransformer架构设计RLHF深度学习人工智能模型训练OpenAIChatGPT技术原理

终极指南：Attention 机制、QKV 与 KV Cache

本文深入剖析了 AI 领域核心的注意力机制。文章回顾了 Attention 从早期神经机器翻译到 Transformer 架构的演变历史，详细解析了其解决固定长度向量瓶颈的原理。同时，通过图文并茂的方式，逐步拆解了从 Embedding 到上下文表示的过程，重点阐述了 Queries、Keys、Values (QKV) 机制的运作逻辑及其在现代大模型中的关键作用。

技术 › LLM ✍ Turing Post🕐 2026-05-15
Attention机制TransformerQKVDeepLearning技术原理人工智能神经网络LLM

Mixture of Experts (MoE): Scaling AI with Specialized Models

文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。

技术 › LLM ✍ Jayanth🕐 2026-05-07
MoE混合专家大模型架构设计Transformer稀疏路由AI深度学习模型扩展机器学习

如何精通 RAG 并构建拥有完美记忆的 AI Agent (全流程教程)

本文是一篇关于检索增强生成（RAG）技术的完整教程。文章指出，大多数 AI Agent 难以落地的原因在于模型无法获取企业私有数据。RAG 通过将外部知识库与大模型结合，解决了这一痛点。作者详细拆解了构建 RAG 系统的五个核心阶段：文档摄取与分块、文本嵌入、向量存储、信息检索以及最终生成，并提供了关于分块策略、嵌入模型选择及混合检索的实战建议。

技术 › LLM ✍ Khairallah AL-Awady🕐 2026-05-01
RAGAgent教程向量数据库Embedding知识库ClaudeOpenAI大模型开发指南

Paper List for AI beginners

这是一份针对计算机科学和数学专业大二学生的机器学习（ML）与强化学习（RL）入门阅读清单。清单分为四个部分：基础（如ResNet、Attention）、AI基础设施（如VAE、BERT、LoRA、Agent）、推理加速（如Linear Attention、Speculative Decoding）以及强化学习（如PPO、DPO、RLHF）。该列表由导师 Mingyang Yi 推荐，旨在帮助本科生构建系统的 AI 知识体系。

技术 › LLM ✍ Xiuyu Li🕐 2026-04-18
论文推荐机器学习深度学习强化学习大模型RLHFAgent推理加速学习指南Transformer

图解 Transformer 架构：从原理到细节的全面解析

本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。

技术 › LLM ✍ Amit Shekhar🕐 2026-04-18
Transformer架构解析注意力机制深度学习AILLM编码器解码器机器学习教程