LLM 推理引擎与本地硬件指南 (2026 版)
文章阐述了选择 LLM 推理引擎的正确逻辑：先确定硬件策略、负载形态和服务模式，再选引擎。文章解析了推理引擎的核心功能（调度、内存管理、批处理）及性能瓶颈（显存带宽、KV Cache、互联），并详细对比了 llama.cpp、MLX、ExLlama、vLLM、TensorRT-LLM 等主流引擎的适用场景与优缺点。
相关文档
一个人十天写出的引擎，让 12GB 显卡跑起 1250 亿参数模型
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
DeepSeek V4.1 Flash 大规模推理部署实践
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
从 Agent Loop 到推理引擎：哈佛 CS2680 现代AI系统课程深度解读
本文深度解读哈佛大学2026年秋季Juncheng Yang开设的研究生课程CS2680《现代AI系统：Agent与系统优化》。课程以一条主线贯穿agent循环到LLM推理serving栈，通过五个递进式作业逐层解剖系统：A1为Claude Code构建Web前端，A2从零实现最小agent harness，A3在黑盒API下优化成本与延迟并引入排行榜竞争，A4自建推理引擎部署开源模型，A5全栈profile驱动的假设验证优化。文章还分析了课程的AI使用政策（强制披露、Claude Code session存档审计）、leaderboard评分机制、严格的20% A档曲线以及体现系统研究方法论的期末项目设计，展示了'AI时代如何教系统课'的完整答案。
读 2.83% 的 key 就够了
一位18岁大学生仅用iPhone 16e和Kaggle笔记本，开发出稀疏注意力机制ALHR（Adaptive Learnable Hierarchical Routing）。该方法通过给key矩阵构建静态二叉树，配合预算预测器、邻居搜索和树下降三步推理，让每个query只读取所需key。在1024 token的MQAR测试中，仅读取2.83%的key即可达到92.1%准确率（稠密基线94.9%），KV压缩35.3倍。训练分三段：先训稠密教师模型，再用其注意力矩阵标注top-k key训练树模块，最后无教师联合训练。目前因未做kernel优化比稠密注意力慢约10倍，代码由Claude Sonnet 5.5生成，Apache-2.0开源。
DGX Spark Handbook
本文是 NVIDIA DGX Spark 本地推理设备的使用手册。作者最初因其 273 GB/s 的低内存带宽而不看好，但随着 MoE 架构、推测解码等推理工程技术的成熟，DGX Spark 已能在本地以接近云服务的速度运行高智能模型。文章详细介绍了多台 Spark 通过 ConnectX-7 网卡链接实现近线性扩展带宽和内存的方案（四台可达 1092 GB/s、512 GB 内存）、低功耗适合家用部署的优势、MoE 与推测解码如何弥补硬件短板，以及单机同时服务 8 个并发会话的能力，并对比了与 Mac 的算力优势和成本分析。
LLM 推理引擎到底是怎么工作的：从 token 到 KV 缓存、连续批处理，再到 Agent Loop
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
The Inference Engineering Skills Map
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
大模型本地部署完整指南：用 Ling-3.0-flash 搭建自己的 Agent 工作流
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
vLLM 背后的人：一个开源项目如何长成一家公司
文章讲述了 vLLM 项目从开源起步到成立公司 Inferact 的历程。联合创始人游凯超分享了团队拒绝高薪Offer、坚守开源的初心，以及 DeepSeek 在 Infra 领域的领先优势。文章还探讨了开源治理、模型与 Infra 的协同设计，以及 vLLM 如何应对社区噪音并实现商业化落地。
LLM 原理与实践指南 (2026 版)
这是一份关于大语言模型（LLM）的实践指南。文章从基础循环机制出发，详细解释了文本如何转化为 Token，以及 Transformer、注意力机制、KV Cache 和 RoPE 等核心概念的工作原理。作者强调理解模型内部的推理机制（如 Prefill 和 Decode 阶段）对于硬件选型、显存估算和本地部署的重要性。文章涵盖了 Token 化、上下文窗口、量化、模型服务及本地 AI 硬件数学计算等关键主题，旨在为深入理解 LLM 提供直观的基础。
Claude Skills 构建指南精华解读：打造专属 AI 技能
本文深入解读了 Anthropic 官方发布的 Claude Skills 构建指南。文章指出，Skills 允许用户将重复的指令、工作流和规范打包成文件夹，让 Claude 学会并长期复用。核心结构包含 SKILL.md 说明书及可选资源。文中详细介绍了三层加载机制、三大典型用法（文档生成、流程自动化、MCP 增强）以及从零创建 Skill 的实操建议，旨在通过封装经验提升 AI 交互效率。
AI 用 24 天让计算机核对完数学史上最长的证明
Axiom 数学公司用几十个 AI agent 花费 24 天，将约 1.5 万页、500 多篇论文构成的"有限单群分类定理"（巨大定理）证明完整改写为 Lean 可检查代码并全部通过核查。定理结论成立，但发现 John Walter 1986 年关于"不平衡群定理"的证明存在漏洞，AI 借助 Solomon 1976 年思路写出新证法并通过检查。项目共产出约 4310 万行代码，AI 与人类数学家分工协作。Lean 可保证每步推导正确，但定理陈述的翻译准确性仍需人工核查，目前尚无外部独立验证。
