个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
本文深度解读哈佛大学2026年秋季Juncheng Yang开设的研究生课程CS2680《现代AI系统：Agent与系统优化》。课程以一条主线贯穿agent循环到LLM推理serving栈，通过五个递进式作业逐层解剖系统：A1为Claude Code构建Web前端，A2从零实现最小agent harness，A3在黑盒API下优化成本与延迟并引入排行榜竞争，A4自建推理引擎部署开源模型，A5全栈profile驱动的假设验证优化。文章还分析了课程的AI使用政策（强制披露、Claude Code session存档审计）、leaderboard评分机制、严格的20% A档曲线以及体现系统研究方法论的期末项目设计，展示了'AI时代如何教系统课'的完整答案。
作者详细记录了用两张二手 V100（各 3000 元）运行 Qwen3.8-27B 大模型的完整优化过程。V100 是 2017 年的数据中心显卡，HBM 显存带宽实测达 1004GB/s，甚至高于 4090。文章先建立测试口径与性能分析框架（读权重与读 KV 缓存两笔账），逐步排查瓶颈：验证带宽不是问题、测试双卡张量并行、分析 PCIe 延迟与 NCCL 版本坑，最终通过重写推理引擎内核、添加双卡支持，将长上下文生成速度从 36 tok/s 提升到 100 tok/s 以上，代码生成速度超过 3 万元的 4090 48G，并成功上线生产环境。文中深入浅出讲解了推测解码、CUDA Graph、内核优化等技术细节。
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
文章推荐 B 站播客《创见》对 OpenAI ML Infra 工程师赵迪的访谈。赵迪曾在 Twitter/X 工作近 7 年，评价马斯克是'最大的混蛋'但依然令人敬佩，因为其遵循第一性原理，将工程师从 3000 人裁到 100 人仍能运转。他分享了用 Rust 编写的推理引擎 Navi 为 X 节省数百万美元的经历，认为 ChatGPT 3.5 是 AGI 从 0 到 1 的关键，现在已非常接近 AGI。他还谈到智能可能成为区分阶级的工具、模型能力是核心壁垒、以及工程师价值不再在于写代码量等犀利观点。
作者在一台单通道 16GB 内存、无独显的 Ryzen 5 5600G 台式机上，使用 llama.cpp 官方版部署 Ling-3.0-tiny（Q4KM 量化），实测生成速度 21.70 tok/s，比配置更强的 64GB+3090 机器快近 4 倍。经排查，差异源于推理引擎版本而非硬件。文章还分析了该模型线性注意力架构带来的超低上下文内存开销（约 6.79 KiB/token），总结了思考模式、Windows 编码、线程设置三个实践坑，并给出三步部署教程，证明普通电脑即可流畅本地运行该模型。
本文深入探讨了构建高效 Agent Harness 框架时，理解底层模型推理基础设施（Model Infra）的重要性。作者指出，许多 Harness 将模型 API 视为黑盒，导致在应用层的优化可能破坏 KV 缓存、增加成本并降低解析可靠性。文章详细分析了缓存机制（GPU/CPU/SSD）、影响缓存命中的因素（如动态 system prompt、工具 schema 变化）、本地执行耗时对缓存窗口的消耗，以及解析一致性问题。最后，作者提出了稳定前缀、异步工具执行、不可变历史等实践原则，并建议通过监控缓存命中率、一致性等指标来评估 Harness 质量。
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
本文探讨了 Test-Time Compute Engineering，即通过将算力从预训练转移到推理阶段，利用动态预算分配、搜索树拓扑、过程奖励模型验证和剪枝策略，构建在回复前进行自主推理的 AI 引擎，以突破预训练规模定律的限制并提高复杂任务的准确性。
文章介绍了盛颖在 xAI 和 RadixArk 的工作，重点讲解了 SGLang 的核心技术 RadixAttention 和结构化输出，以及 AI Infra 的工程实践和开源价值。
文章讲述了 vLLM 项目从开源起步到成立公司 Inferact 的历程。联合创始人游凯超分享了团队拒绝高薪Offer、坚守开源的初心，以及 DeepSeek 在 Infra 领域的领先优势。文章还探讨了开源治理、模型与 Infra 的协同设计，以及 vLLM 如何应对社区噪音并实现商业化落地。
vLLM 宣布对 Kimi K3 模型提供首日支持。K3 是拥有 2.8 万亿参数的 MoE 模型，支持 100 万上下文窗口。vLLM 通过 DSpark 推测解码将吞吐量提升至 370 tok/s，并支持架构创新的混合缓存管理、预填充/解码分离及智能体服务，确保生产环境下的高性能与低延迟。
文章阐述了选择 LLM 推理引擎的正确逻辑：先确定硬件策略、负载形态和服务模式，再选引擎。文章解析了推理引擎的核心功能（调度、内存管理、批处理）及性能瓶颈（显存带宽、KV Cache、互联），并详细对比了 llama.cpp、MLX、ExLlama、vLLM、TensorRT-LLM 等主流引擎的适用场景与优缺点。
