本文深度解读斯坦福 2026 秋季课程 CS329Z 第二讲「LLMs for Builders」讲义，面向 Agent 工程师系统讲解 LLM 底层原理。内容涵盖：自回归概率分解与解码采样策略；从 RNN 到 Transformer、线性注意力的架构演进及其工程取舍；预训练、中期训练与后训练（RLHF、RLVR）管线；推理阶段的 Prefill/Decode、KV Cache、投机解码与推理时扩展；最后落脚到 Agent 开发的结构化 I/O 与上下文工程实践，强调'设计决策→局限→应用策略'的因果链。
本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图，涵盖从神经网络、Transformer 架构到大语言模型（LLM）的 20 个核心概念。作者不仅解释了 AI 底层运作原理（如分词、注意力机制），还介绍了模型优化手段（如微调、RLHF）及前沿应用架构（如 RAG、Agent、思维链），是一份简洁全面的 AI 技术入门指南。
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
文章总结了 Claude Code 中十二种可复用的代理 Harness 设计模式，分为四大类：记忆与上下文（持久指令文件、范围化上下文组装、分层记忆、空闲整理、渐进式上下文压缩）、工作流与编排（探索-计划-执行循环、上下文隔离子代理、分叉-合并并行）、工具与权限（渐进式工具扩展、命令风险分类、单一职责工具设计）以及自动化（确定性生命周期钩子）。作者强调这些是架构层面的决策而非临时提示技巧，即使模型能力提升仍具价值。
本文提出了2026年LLM工程路线图，指出与LLM工作不只是提示词，生产级系统需要对LLM的工程化、部署和优化有深入理解。文章总结八大支柱：提示工程（将prompt当作代码管理）、RAG系统（嵌入、检索、重排）、上下文工程（管理上下文窗口中各类信息的取舍）、微调（LoRA/QLoRA等技术）、Agent（工具调用循环与编排、状态管理、重试逻辑），并为每个领域提供了大量免费开源学习资源，如Anthropic、OpenAI官方指南及多个GitHub教程仓库。
文章指出 Agent 记忆系统的核心问题不是检索而是上下文组织。跨 15 个模型、20 万模拟对话的研究显示，任务拆分为多轮会使准确率平均下降 39%，而合并为单轮可恢复大部分损失。文章回顾了 Agent 记忆的四个发展阶段（全量历史、滚动摘要、向量检索、知识图谱），批评语义/情景/程序性记忆分类无法指导检索决策，并主张按六种问题类型构建六种上下文形态。作者基于开源 Graphiti 引擎，以客户历史为例实操演示如何让记忆系统在模型运行前正确组织上下文，避免基于过时信息的自信回答。
文章介绍了TypeSafe AI于2026年9月发布的Jev模型，一个不做文本生成、只做封闭判断的“System One Model”。它提供三种能力：Choice（选项选择）、Score（等级打分）和Noul（真假概率判断），直接返回类型化结果和概率，省去生成文本的延迟和成本。文章分析了Jev与生成式模型的本质区别，指出类型安全只保证接口格式而非事实正确，概率不等于正确率，并详细说明其在缺陷分诊、Agent路由、发布说明审核等真实场景中的应用方法，以及官方Agent Skill倡导的AI工作流拆分法：代码负责计算和规则，模型只做清楚的语义判断。
文章介绍如何将开源 LLM 变成快速、本地的决策引擎，而无需重新训练。核心思想是：当应用已知所有可能的答案时，不必让模型生成文本或 JSON，而是通过 next-token scoring 一次性为每个候选答案返回分数和概率分布。作者讲解了固定答案打分与结构化输出的区别、LLM 第一个输出 token 的生成原理，并使用 SGLang 的 /v1/score 接口，结合 Qwen 和 DeepSeek 模型进行实测，与普通文本生成进行了基准对比。文中还提到概率的含义与校准问题。
本文系统讲解 MoE（混合专家）模型的推理服务工程原理。从稠密 Transformer 的 FFN 与 MoE 层的区别入手，介绍路由器如何为每个 token 选择专家、dispatch 和 combine 过程如何将路由决策聚合成专家专属矩阵，以及 grouped GEMM 如何减少内核启动开销。文章还涵盖专家并行、拓扑感知部署、显存需求（常驻参数 vs 激活参数）、负载不均衡、容量限制和量化等话题，并分析计算、显存带宽与互连流量之间的性能瓶颈权衡，以 Qwen3-30B-A3B 为实例说明。
文章介绍了 TypeSafe 于 2026 年 9 月发布的 Jev 模型——一个专注于快速、低成本语义决策的"系统一"模型。传统 LLM 在智能体循环中处理大量小型判断（如工单分类、命令风险评估）时逐 token 生成，速度慢且成本高。Jev 通过三种原语（Choice、Score、Noul）接受非结构化输入，返回带概率的类型化答案，端到端延迟 70-500 毫秒，输入价格仅为 LLM 的一小部分。文章分析了概率置信度在自动决策中的作用、RLCD 校准训练方法，并澄清"无法幻觉"的说法：Jev 不会打破输出 schema，但仍可能自信地选错选项，适合与 LLM 配合而非替代。
Jev 是由 ChatGPT 联合创造者、RLHF 联合发明人 Diogo Almeida 在隐身两年后推出的决策型 AI 模型。它不做对话生成，而是为软件提供快速决策：选择题、评分、是/否判断，号称比前沿 LLM 快约 200 倍、便宜 400 倍，响应仅需几十毫秒。文章盘点了社区基于 Jev 构建的 9 个实际应用，包括 7 秒找机票的浏览器代理、上下文即时压缩工具、编码代理安全审查器、模型路由中间件等。其命名源自 19 世纪经济学家 Jevons，暗喻资源越便宜消耗越多的悖论。
本文整理了 Hamel Husain 的 Maven 课程「AI Product Engineering」13 场讲座（共 9.5 小时）的笔记精华，按 Evals、Context、Systems 三大主题组织。核心结论是 AI 产品优化的顺序：先优化检索与上下文（投入产出比最高），再改进系统与执行框架，最后才考虑 post-training。Evals 贯穿一切改进，是判断优化效果的前提。文章涵盖数据 Agent 评测、模型级联降本、自动化错误分析、多向量检索、嵌入模型优化、OCR 选型、推理延迟调试、开源模型经济学等具体实践，强调评测环境应反映生产环境的真实脏乱，模型推理能力往往远超其所得的检索质量。
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
