Test-Time Compute Engineering: 构建推理引擎
本文探讨了 Test-Time Compute Engineering，即通过将算力从预训练转移到推理阶段，利用动态预算分配、搜索树拓扑、过程奖励模型验证和剪枝策略，构建在回复前进行自主推理的 AI 引擎，以突破预训练规模定律的限制并提高复杂任务的准确性。
相关文档
一个人十天写出的引擎，让 12GB 显卡跑起 1250 亿参数模型
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
DeepSeek V4.1 Flash 大规模推理部署实践
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
从 Agent Loop 到推理引擎：哈佛 CS2680 现代AI系统课程深度解读
本文深度解读哈佛大学2026年秋季Juncheng Yang开设的研究生课程CS2680《现代AI系统：Agent与系统优化》。课程以一条主线贯穿agent循环到LLM推理serving栈，通过五个递进式作业逐层解剖系统：A1为Claude Code构建Web前端，A2从零实现最小agent harness，A3在黑盒API下优化成本与延迟并引入排行榜竞争，A4自建推理引擎部署开源模型，A5全栈profile驱动的假设验证优化。文章还分析了课程的AI使用政策（强制披露、Claude Code session存档审计）、leaderboard评分机制、严格的20% A档曲线以及体现系统研究方法论的期末项目设计，展示了'AI时代如何教系统课'的完整答案。
普通人如何做GEO：AI时代的搜索引擎优化实战
作者认为随着用户解决问题习惯从搜索引擎转向AI问答，AI答案已成为新的黄金广告位，当前正处于企业预算尚未跟上的窗口期。文章记录了作者实操GEO项目的全过程：通过电话营销获客碰壁后转型老客户成交，并详细介绍了GEO交付方式，推荐在十二个国内内容平台分发利于AI收录的营销内容。作者测试发现不同AI（文心一言、豆包、DeepSeek等）优先信任的内容源不同，通过编写提示词批量生产内容，第五天即见到收录效果，验证了7-15天见效承诺可行。
万字爆肝长文丨两张 3000 块老卡跑赢 3 万块 4090 48G：一次讲透怎么老显卡把 Qwen3.8-27B /NInfer跑到极致
作者详细记录了用两张二手 V100（各 3000 元）运行 Qwen3.8-27B 大模型的完整优化过程。V100 是 2017 年的数据中心显卡，HBM 显存带宽实测达 1004GB/s，甚至高于 4090。文章先建立测试口径与性能分析框架（读权重与读 KV 缓存两笔账），逐步排查瓶颈：验证带宽不是问题、测试双卡张量并行、分析 PCIe 延迟与 NCCL 版本坑，最终通过重写推理引擎内核、添加双卡支持，将长上下文生成速度从 36 tok/s 提升到 100 tok/s 以上，代码生成速度超过 3 万元的 4090 48G，并成功上线生产环境。文中深入浅出讲解了推测解码、CUDA Graph、内核优化等技术细节。
Is ENGRAM free lunch? Does it not impact AI model quality?
文章深入分析Engram技术：将序列嵌入存储到可卸载至DRAM的嵌入表中，节省HBM内存、减少FLOPs，从而降低AI推理成本。在参数和训练预算相同的对照实验中，Engram-27B相比MoE-27B不仅没有降低性能，反而显著提升（MMLU从57.4升至60.4）。作者指出Engram参数分配存在约20-25%的最优区间，过高会挤占MoE专家参数损害性能，且不能完全替代FFN（FFN负责概念运算）。结论认为Engram确实是一种'免费午餐'，DeepSeek、美团LongCat、Qwen等已采纳该技术。
图解 KV Cache——DS V4.1-Flash的制胜秘密
本文图解 DeepSeek V4.1-Flash 如何将单 token 全局 KV Cache 从 V1 的 389KB 压缩至 890 字节。文章先介绍 KV Cache 原理与显存瓶颈，再梳理 GQA、MLA、量化、稀疏注意力、跨层复用等六次关键突破，最后详解 V4.1 在架构、精度、部署三层的联合优化，包括 CED、CSA2 三模式、层级稀疏索引器与 FP4 量化，并给出 890 字节的推导过程。
LLM 推理引擎到底是怎么工作的：从 token 到 KV 缓存、连续批处理，再到 Agent Loop
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
DeepSeek V4.1 Flash：架构学习笔记
本文是 DeepSeek V4.1 Flash 的架构学习笔记。文章详细解析了其 Causal Encoder-Decoder（CED）结构，该结构通过前后半段网络的不对称计算减少长输入处理成本。核心创新在于 KV 缓存压缩：通过 CSA2 跨层共享全局 KV、FP4 量化、分层稀疏检索以及 SWA 有界回放等设计，将全局 KV 降至约 890 字节/token，持久化缓存约为上一代的 1/8。文章还讨论了这些设计如何协同工作，使长上下文在 Agent 场景下更可负担。
The Inference Engineering Skills Map
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
从 X 跳槽 OpenAI：OpenAI 工程师谈马斯克、AGI 与工程师的未来
文章推荐 B 站播客《创见》对 OpenAI ML Infra 工程师赵迪的访谈。赵迪曾在 Twitter/X 工作近 7 年，评价马斯克是'最大的混蛋'但依然令人敬佩，因为其遵循第一性原理，将工程师从 3000 人裁到 100 人仍能运转。他分享了用 Rust 编写的推理引擎 Navi 为 X 节省数百万美元的经历，认为 ChatGPT 3.5 是 AGI 从 0 到 1 的关键，现在已非常接近 AGI。他还谈到智能可能成为区分阶级的工具、模型能力是核心壁垒、以及工程师价值不再在于写代码量等犀利观点。
16GB 无独显本地部署 Ling-3.0-tiny 实测：21.7 token/s 与推理引擎版本的秘密
作者在一台单通道 16GB 内存、无独显的 Ryzen 5 5600G 台式机上，使用 llama.cpp 官方版部署 Ling-3.0-tiny（Q4KM 量化），实测生成速度 21.70 tok/s，比配置更强的 64GB+3090 机器快近 4 倍。经排查，差异源于推理引擎版本而非硬件。文章还分析了该模型线性注意力架构带来的超低上下文内存开销（约 6.79 KiB/token），总结了思考模式、Windows 编码、线程设置三个实践坑，并给出三步部署教程，证明普通电脑即可流畅本地运行该模型。
