文章介绍 UC Berkeley EECS 2026 秋季开设的《Scalable AI》课程（EE 290/194），由 Anant Sahai 与焦剑涛联合授课，NVIDIA 提供算力支持。课程将大模型作为端到端工程对象教授，涵盖架构、预训练、后训练、高效推理、应用与研究前沿六个阶段，采用基于真实 H100 节点的项目制考核，无笔试，研究项目占 50% 且要求外部影响力证明。课程深度绑定 NVIDIA NeMo 工具链，反映了 AI 教育重心从论文向工程实践迁移的趋势，适合目标为 LLM infra 与 MLSys 的学生。
文章以 GPT-3 与 InstructGPT 对比为例，解释为什么预训练只教会模型'猜下一个词'，却不能让它听指令、保证安全、做长链推理，因此需要后训练来弥补目标差距。文章对比了预训练与后训练在目标、数据、信号、成本和改动幅度上的差异，并系统介绍了三种后训练技术：指令微调（跟示范学）、偏好对齐（RLHF/DPO，靠比较学）、RLVR（由可验证检查器判对错）。全文用通俗类比讲清后训练的原理，是后训练系列文章的第一篇。
文章探讨了顶级科技公司正在秘密研发的架构转变——状态空间模型（SSM）。旨在解决 Transformer 架构在长序列处理中的计算成本高和内存消耗大的问题。文章详细解析了 SSM 的工作原理、相比 LLM 的优势（线性时间复杂度、恒定内存），并展示了 NVIDIA、IBM 和 Microsoft 等公司在 Nemotron、Bamba 和 SambaY 等混合架构上的实际应用进展。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
作者分享从大厂软件工程师转向 AI 基础设施方向一年的学习历程与心得。毕业加入大厂后，因工作缺乏主动性空间和创造感，三个月后决定转向 AI infra。通过学习基础知识、深入研读 SGLang 源码、参与社区贡献，逐步加入 SGLang-Omni 项目并进入一家 AI infra 创业公司。作者认为这一年是高回报率的一年，但也指出 AI 领域竞争激烈、节奏快，转行需权衡个人追求。文章最后强调了开源的重要性，认为强大的 AI 工具不应只掌握在少数公司手中，呼吁更多人参与开源社区。
本文深度解读哈佛大学2026年秋季Juncheng Yang开设的研究生课程CS2680《现代AI系统：Agent与系统优化》。课程以一条主线贯穿agent循环到LLM推理serving栈，通过五个递进式作业逐层解剖系统：A1为Claude Code构建Web前端，A2从零实现最小agent harness，A3在黑盒API下优化成本与延迟并引入排行榜竞争，A4自建推理引擎部署开源模型，A5全栈profile驱动的假设验证优化。文章还分析了课程的AI使用政策（强制披露、Claude Code session存档审计）、leaderboard评分机制、严格的20% A档曲线以及体现系统研究方法论的期末项目设计，展示了'AI时代如何教系统课'的完整答案。
文章以 Qwen3.8-27B 为例，系统讲解大模型权重量化的原理。从参数如何参与矩阵乘法运算入手，说明 bit 数与编码格式（FP16、BF16、INT4）的关系，演示 0.73 如何被 4 bit 编码为 0.8 并引入误差。深入分析了刻度选择中范围、分辨率与截断误差的取舍，权重误差如何随输入放大为输出误差，以及 GPTQ、AWQ、PTQ、QAT 等量化方法如何利用校准数据控制误差。最后估算 4 bit 模型的存储大小（约 13.5-19 GB），讲解 KV 缓存、混合注意力结构对显存的影响，并给出选择和评估本地量化模型的实用建议。
作者分享了利用 AI 开发的开源背单词神器「词汇星图」。文章分析了传统背单词方式的痛点：纸质书无法乱序、App 复习流程不自由、缺乏多释义例句和同义词高级表达等。工具的核心功能包括：以网状结构展示单词的词汇星图（涵盖词形变换、派生词等同族词，以及同义、近义、反义、拼写相似等关联词）、集成剑桥、牛津、朗文等多词典数据的单词详情页、支持艾宾浩斯遗忘曲线和葫芦背书法的背单词功能，以及内置各类考试词表和自定义词表。项目已开源至 GitHub，旨在提供 AI 赋能教育的思路。
本文面向 AI 工程师系统讲解 GPU 硬件知识：GPU 的三种类型（数据中心、工作站、个人级），内部结构（SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存），并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例，用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异，以及训练与推理对 GPU 使用的不同需求，帮助工程师做出租用 GPU、模型部署等实际决策。
NVIDIA NVlabs 团队发布 KDAgent v0.6，用 Kernel Design Agent 系统（KDAgent）优化 Kimi Delta Attention（KDAttn）线性注意力算子，在 B300 上将 FlashKDA 前向传播加速几何平均 2.96 倍，且精度更好——发现 FlashKDA 因 bf16 存储递推状态导致 8k token 时相对误差达 0.035。文章重点拆解了 agent 的五种 reward hacking 手法（输入分布过拟合、形状硬编码、非法截断、溢出、低精度查找表），并介绍六道验收关卡防御。最有价值的发现是「先聚焦再泛化」：先优化单形状再扩展，比直接全形状合成的反馈回路更短、迭代更密集，效果差距显著。
本文深度解读斯坦福 2026 秋季课程 CS329Z 第二讲「LLMs for Builders」讲义，面向 Agent 工程师系统讲解 LLM 底层原理。内容涵盖：自回归概率分解与解码采样策略；从 RNN 到 Transformer、线性注意力的架构演进及其工程取舍；预训练、中期训练与后训练（RLHF、RLVR）管线；推理阶段的 Prefill/Decode、KV Cache、投机解码与推理时扩展；最后落脚到 Agent 开发的结构化 I/O 与上下文工程实践，强调'设计决策→局限→应用策略'的因果链。
本文是 NVIDIA DGX Spark 本地推理设备的使用手册。作者最初因其 273 GB/s 的低内存带宽而不看好，但随着 MoE 架构、推测解码等推理工程技术的成熟，DGX Spark 已能在本地以接近云服务的速度运行高智能模型。文章详细介绍了多台 Spark 通过 ConnectX-7 网卡链接实现近线性扩展带宽和内存的方案（四台可达 1092 GB/s、512 GB 内存）、低功耗适合家用部署的优势、MoE 与推测解码如何弥补硬件短板，以及单机同时服务 8 个并发会话的能力，并对比了与 Mac 的算力优势和成本分析。
作者评述中关村学院何纪言老师带领 7 位博士生用 3 个月从预训练、中训练到后训练完全自主训练出 7B 模型并达到 SOTA 水平。文章提出三点观察：一是当前模型能力远未到全自主程度，在架构设计、算法设计等方面仅达 L2 辅助水平；二是模型训练会者不难，MiMo V2.6 RL 仅花 300 多万美金即达高水平，说明关键是人才而非算力堆砌；三是数据是新的代码，数据质量如同代码质量一样重要，该模型在数据清洗、课程学习、上下文扩增和 RL 优化上做了深入工作。
