AI 工程师需要了解的 GPU 全部知识
本文面向 AI 工程师系统讲解 GPU 硬件知识：GPU 的三种类型（数据中心、工作站、个人级），内部结构（SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存），并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例，用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异，以及训练与推理对 GPU 使用的不同需求，帮助工程师做出租用 GPU、模型部署等实际决策。
全部文档 / 作者: Karan
4 篇
LLM Inference After Training: Prefill, Decode, KV Cache
本文系统讲解 LLM 推理阶段的核心原理。作者指出推理与训练不同，分为 prefill 和 decode 两个阶段：prefill 并行处理整个提示词、计算密集型、决定首 token 延迟（TTFT）；decode 逐 token 生成、受 HBM 内存带宽限制、决定 token 间延迟（ITL）。文章介绍了 GPU 关键硬件概念（Tensor Core FLOPS、HBM、SRAM），逐步演示一个请求的完整流程（分词、采样、KV cache 机制），并将 FlashAttention、PagedAttention、continuous batching、RadixAttention 等优化技术归位到这两个阶段中，帮助读者理解推理瓶颈与优化方向。
Designing the Backend for Agent Systems (Part 2)
本文是 Agent 系统后端设计三部曲的第二篇，提供一套可参考的 Agent 应用后端架构模板，涵盖 API、队列、Worker、流式输出、结构化输出、会话管理及成本限制等八层设计。文章批判了在 HTTP 请求中同步执行 Agent 的做法，强调应先持久化再入队、引入幂等键防止重复计费、使用显式任务状态机（含 awaiting_input 人工介入状态）和取消机制，并强调租户身份隔离、UUID 任务 ID、Pydantic 输入校验等安全与成本控制实践。
System Design for Agent Systems (Part 1)
本文深入探讨了代理系统设计的基础与核心组件。作者指出，将前沿模型放入设计糟糕的代理系统只会得到更清晰的失败，因此工程重点应放在模型之外的代理框架（harness）上。文章首先对比了代理工作负载与传统Web请求的差异，强调代理任务耗时、I/O密集、非确定性和高边际成本，并由此推导出架构设计原则。随后，文章详细介绍了代理框架的四个关键组件：工具（Tools）的设计契约与最佳实践、提示词工程（Prompt Engineering）的结构化方法与版本管理、记忆（Memory）的短期与长期区分及上下文管理，以及多代理编排（Orchestration）的并行与顺序模式。所有内容均基于一个真实的五代理系统DevVoice，提供了实用的设计决策与代码示例。