📚 Wiki 知识库

Math Behind Large Language Model

✍ Amit Shekhar🕐 2026-07-30📦 5.8 KB 🟢 已读 𝕏 文章列表

本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。

LLM数学原理AttentionTransformer机器学习深度学习梯度下降反向传播RoPERMSNorm

🔗 相关文档

Step-By-Step LLM Engineering Projects (2026 Edition)

文章提出了一个基于项目的 2026 年 LLM 工程学习路线图。作者主张通过从零构建系统来掌握技术栈，路径涵盖从基础的 Tokenizer、Embedding、Positional Encoding、Attention 机制，到 Transformer 模块构建、训练循环、KV Cache、MoE、量化、服务部署、RAG 及 Agent 等高级系统。该指南强调“实现、绘制、破坏、解释”的学习闭环，旨在帮助读者深入理解大模型原理并具备工程构建能力。

技术 › LLM ✍ Ahmad🕐 2026-05-25
LLMTransformer工程实践AI架构TokenizationAttentionRoPE模型训练Deep Learning学习路线

LoRA - LLMs 的低秩适配详解

文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。

技术 › LLM ✍ Amit Shekhar🕐 2026-05-08
LLMLoRA微调深度学习Transformer模型优化低秩适配AI机器学习Parameter Efficient

图解 Transformer 架构：从原理到细节的全面解析

本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。

技术 › LLM ✍ Amit Shekhar🕐 2026-04-18
Transformer架构解析注意力机制深度学习AILLM编码器解码器机器学习教程

如何成为一名机器学习工程师：完全指南

本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。

技术 › 机器学习 ✍ Arman Hezarkhani🕐 2026-01-21
机器学习学习路径神经网络Transformer深度学习职业发展LLM3Blue1BrownKarpathy教程

PyTorch 训练流程速查表

这是一份关于 PyTorch 训练流程的单页速查表。文章通过代码示例和原理解析，深入浅出地讲解了张量的核心概念、矩阵乘法、自动求导机制、反向传播以及梯度下降优化过程。同时涵盖了 `nn.Module` 常用组件如 Linear、ReLU 和 GELU 的使用，旨在帮助开发者快速理解深度学习引擎的运作原理。

技术 › 编程语言 ✍ kozue🕐 2026-07-03
PyTorch深度学习教程张量Autograd机器学习速查表矩阵乘法反向传播Python

How to Build LLM Architectures From Scratch

本文是一篇关于从零构建大型语言模型（LLM）架构的深度指南。文章详细解释了 LLM 的工作原理，包括从原始数据收集、清洗、分词，到 Transformer 架构的核心组件（如自注意力机制、位置编码）。同时涵盖了预训练、微调、基于人类反馈的强化学习（RLHF）以及推理优化等关键技术环节，旨在帮助读者理解 ChatGPT 和 Claude 等模型背后的系统构建全流程。

技术 › LLM ✍ Shabnam Parveen🕐 2026-05-25
LLMTransformer架构设计RLHF深度学习人工智能模型训练OpenAIChatGPT技术原理

20 张手绘图讲透 AI 核心概念

本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图，涵盖从神经网络、Transformer 架构到大语言模型（LLM）的 20 个核心概念。作者不仅解释了 AI 底层运作原理（如分词、注意力机制），还介绍了模型优化手段（如微调、RLHF）及前沿应用架构（如 RAG、Agent、思维链），是一份简洁全面的 AI 技术入门指南。

技术 › LLM ✍ Jason Zhu🕐 2026-05-25
AI神经网络TransformerLLMAgentRAGRLHF科普手绘图深度学习

LLM 原理与实践指南 (2026 版)

这是一份关于大语言模型（LLM）的实践指南。文章从基础循环机制出发，详细解释了文本如何转化为 Token，以及 Transformer、注意力机制、KV Cache 和 RoPE 等核心概念的工作原理。作者强调理解模型内部的推理机制（如 Prefill 和 Decode 阶段）对于硬件选型、显存估算和本地部署的重要性。文章涵盖了 Token 化、上下文窗口、量化、模型服务及本地 AI 硬件数学计算等关键主题，旨在为深入理解 LLM 提供直观的基础。

技术 › LLM ✍ Ahmad🕐 2026-05-23
LLMTransformer本地部署Tokenization推理Attention硬件教程KV Cache

从零到 AI 工程师——没人真正讲清楚的路线图

本文为 AI 初学者提供了一份为期 14 周的实战路线图，旨在通过免费资源将新手培养成具备构建生产级 AI 系统能力的工程师。路线图包含六个阶段：环境搭建、AI 基础、机器学习基础、深度学习、现代 LLM 工程以及 Agent 与部署。文章强调动手实践，推荐了 OpenAI、Anthropic 官方教程及 GitHub 优质开源仓库，帮助学习者避开盲目刷证书的误区，真正掌握 AI 开发技能。

技术 › LLM ✍ 土豆本豆🕐 2026-05-18
AI工程师学习路线图LLMAgent深度学习RAGPython实战教程机器学习AI基础