📚 Wiki 知识库

大语言模型训练与服务背后的数学原理

✍ Saito🕐 2026-05-01📦 8.1 KB 🟢 已读 𝕏 文章列表

本文基于 Reiner Pope 的播客内容，深入剖析了大模型在集群中的运行机制。文章通过 Roofline 分析和 KV Cache 等核心概念，解释了推理延迟、Batch Size、API 定价策略及 MoE 架构背后的物理与经济逻辑，揭示了硬件限制如何塑造 AI 进展。

LLM推理架构设计数学原理MoEAPI定价性能优化Transformer

🔗 相关文档

LLM 推理原理详解：从 Prefill 到 Decode

本文深入解析了大语言模型（LLM）推理的计算流程。文章指出，LLM 推理主要包含 Prefill（处理提示词，计算密集型）和 Decode（逐词生成，显存带宽密集型）两个阶段。作者详细阐述了分词、Embedding、Transformer 层及 KV Cache 的工作原理，并分析了 KV Cache 带来的内存挑战及 vLLM 的优化方案。最后，探讨了 DeepSeek-V4 等新架构通过重新设计注意力机制来从根本上压缩 KV Cache 的创新思路。

技术 › LLM ✍ Avi Chawla🕐 2026-06-29
LLM推理KV CachePrefillDecodeDeepSeekTransformer性能优化

LLM 优化面试笔记：训练与推理核心技术

这是一份针对 AI 实验室面试准备的笔记，涵盖了高效训练和部署大语言模型（LLM）的核心优化策略。内容主要分为三部分：内存优化（如 Flash Attention、MQA/GQA、激活检查点）、计算优化（序列打包、高效变体 Transformer）以及推理优化（KV 缓存、投机解码、量化技术）。文章旨在总结在大规模模型开发中应对算力和内存瓶颈的关键技术。

技术 › LLM ✍ Gauri Gupta🕐 2026-05-06
LLM优化推理训练Flash AttentionKV Cache量化面试Transformer性能优化

构建优秀的垂直领域 Agent：以 Shortcut 为例

本文探讨了如何构建一个在实际应用中表现卓越的垂直领域 Agent。作者结合开发 Shortcut 电子表格 Agent 的经验，提出核心原则是“对任务分布的忠实压缩”。文章详细介绍了“分层缓存”架构，将上下文分为 L1（常驻核心）、L2（按需规格）和 L3（兜底参考），以平衡效率与准确性。同时强调了“单工具优于多工具”的策略，主张通过代码执行来统一能力，降低模型决策复杂度，从而在长尾任务中实现高准确率。

技术 › Agent ✍ Peter Wang🕐 2026-06-12
AgentLLM架构设计上下文管理垂直领域性能优化Tool Use代码执行缓存策略

How to Build LLM Architectures From Scratch

本文是一篇关于从零构建大型语言模型（LLM）架构的深度指南。文章详细解释了 LLM 的工作原理，包括从原始数据收集、清洗、分词，到 Transformer 架构的核心组件（如自注意力机制、位置编码）。同时涵盖了预训练、微调、基于人类反馈的强化学习（RLHF）以及推理优化等关键技术环节，旨在帮助读者理解 ChatGPT 和 Claude 等模型背后的系统构建全流程。

技术 › LLM ✍ Shabnam Parveen🕐 2026-05-25
LLMTransformer架构设计RLHF深度学习人工智能模型训练OpenAIChatGPT技术原理

LLM 原理与实践指南 (2026 版)

这是一份关于大语言模型（LLM）的实践指南。文章从基础循环机制出发，详细解释了文本如何转化为 Token，以及 Transformer、注意力机制、KV Cache 和 RoPE 等核心概念的工作原理。作者强调理解模型内部的推理机制（如 Prefill 和 Decode 阶段）对于硬件选型、显存估算和本地部署的重要性。文章涵盖了 Token 化、上下文窗口、量化、模型服务及本地 AI 硬件数学计算等关键主题，旨在为深入理解 LLM 提供直观的基础。

技术 › LLM ✍ Ahmad🕐 2026-05-23
LLMTransformer本地部署Tokenization推理Attention硬件教程KV Cache

下一代 LLM 推理网络：ZCube 如何缓解网络瓶颈

文章探讨了随着长上下文推理和 Prefill-Decode 解耦成为主流，网络如何成为 LLM 推理集群吞吐量和延迟的关键瓶颈。Z.ai、Harnets.AI 和清华大学联合开发了 ZCube 网络架构，通过扁平化拓扑和混合轨道设计，有效解决了传统 ROFT 架构下的流量负载不均衡问题。生产环境基准测试显示，ZCube 仅通过架构优化便实现了交换机成本降低 33%、吞吐量提升 15% 以及 TTFT 延迟降低 40.6% 的显著收益。

技术 › DevOps ✍ Z.ai🕐 2026-05-21
LLM推理网络架构ZCube性能优化Prefill-Decode负载均衡ROFT基础设施清华大学

Mixture of Experts (MoE): Scaling AI with Specialized Models

文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。

技术 › LLM ✍ Jayanth🕐 2026-05-07
MoE混合专家大模型架构设计Transformer稀疏路由AI深度学习模型扩展机器学习

LLM 中的 KV 缓存机制详解

文章深入解释了大型语言模型（LLM）中的 KV 缓存技术。作者指出，LLM 生成文本时首个令牌较慢而后续令牌迅速的现象，归功于 KV 缓存的工程优化。该技术通过存储已计算键值向量，避免在自回归生成过程中的冗余计算，以 GPU 内存为代价换取显著的计算加速。文中详细解析了注意力机制的冗余问题、KV 缓存的工作原理、首令牌延迟（TTFT）的产生原因，以及内存与计算资源之间的权衡取舍。

技术 › LLM ✍ Avi Chawla🕐 2026-03-22
KV缓存注意力机制Transformer模型推理LLM性能优化GPU内存预填充TTC大模型

Run Your Harness Outside of the Sandbox (Why and How)

本文探讨了2026年以来关于Agent运行位置的争论，指出行业趋势是将Agent运行在沙箱之外。作者详细解释了沙箱内运行的三个主要问题：爆炸半径、信任边界和沙箱的间歇性运行，并提出了将沙箱作为工具暴露的正确架构，最后提供了基于Vercel AI SDK的实现示例和生产环境中的挑战。

技术 › Agent ✍ Nathan Flurry🕐 2026-07-28
Agent沙箱架构设计DevOps后端LLM安全性生产环境Vercel AI SDK状态管理