NVIDIA专为挖矿打造的CMP 170HX矿卡，采用与A100相同的GA100芯片，但出厂通过OTP熔丝、寄存器和PCIe限制被锁死显存、算力和接口。2026年8月，研究员Jon Pry利用Falcon安全协处理器的固件校验时间窗口漏洞，通过ROP链获取执行权并修改PLM寄存器，实现纯软件解锁，开源工具CMPUnlocker可将8GB显存解锁至64GB HBM2e。解锁后带宽媲美RTX 5090，跑LLM推理性能反超4090。MiniMax H3开源引发大显存需求暴涨，卡价从三五百涨至1.4万。但文章也提醒风险：无FP8、无NVLink、驱动受限、HBM颗粒不可维修、价格窗口已关闭。
本文是 Philip Kiely 所著《Inference Engineering》的交互式伴读站点介绍，系统梳理 LLM 推理工程全貌。文章以 prefill/decode 两阶段为原子结构，按运行时、基础设施、工具链三层展开，逐章讲解模型结构（Attention、KV 缓存、MoE）、GPU 硬件选型（带宽 vs 算力）、软件栈（vLLM、SGLang、TensorRT-LLM）、五大优化技巧（量化、投机解码、缓存、并行、解耦）以及多模态与生产实践（扩缩容、路由、成本、可观测性）。核心思想是：先诊断瓶颈再优化，一切优化皆是权衡，具体知识会过期而底层约束移动缓慢。
作者赞颂 vLLM 的软件设计之美。文章首先介绍 LLM 自回归生成的基本原理，以及推理的两个阶段：计算密集的 Prefill 和带宽受限的 Decode，指出 KV Cache 动态增长与静态批处理带来的内存浪费问题。vLLM 借鉴操作系统分页思想，将 KV Cache 切分为固定大小的块并维护逻辑到物理的块表（PagedAttention），将内存浪费降至约 3%；配合 Continuous Batching 和动态调度，避免已完成的请求阻塞整个批次，让 GPU 始终保持高效。作者认为 vLLM 的成功源于借鉴已被大规模验证的成熟系统概念。
文章剖析了二手矿卡CMP 170HX（GA100芯片）企业化部署的诸多陷阱：配置单中EPYC 7402P不支持双路的硬性错误、矿卡解锁显存（8GB SKU解锁64GB、10GB SKU解锁40GB，80GB不稳定）的边界、与A100的本质差距（无ECC、无NVLink、无官方支持）、PCIe仅Gen2 x4的链路限制，以及八张卡512GB只是八个独立显存而非统一显存池。作者强调企业价值不在于容量数字，而在于可验证、可交付、可维护的工程责任，主张逐项核验硬件身份，拒绝用显存神话替代验收标准。
本文深度解读 Modular 公司开源维护的《LLM Inference Handbook》，系统梳理 LLM 推理工程的知识体系。文章提炼三大核心框架：prefill（算力受限）与 decode（带宽受限）的两阶段二分法；KV cache 作为系统中心约束的地位，围绕它的 PagedAttention、prefix caching、PD 分离等技术网络；以及“一切皆 trade-off，唯一方法论是 benchmark”的工程哲学。内容还涵盖 continuous batching、speculative decoding、GPU 内存金字塔、FlashAttention、量化与蒸馏三部曲、Agent 生态与部署运维等主题，强调推理优化的本质是围绕有状态 KV cache 做内存管理与调度。
文章深度解读 Baseten 出版的免费工程书《Inference Engineering》，系统讲解如何把 AI 模型在生产环境中跑得快、省、稳。全书以三层推理栈（运行时、基础设施、工具层）为骨架，核心分析框架是瓶颈判断：prefill 算力受限、decode 带宽受限、图像视频生成算力受限。内容涵盖模型与硬件理解（算术强度、KV cache、选卡策略）、软件栈（vLLM/SGLang/TensorRT-LLM 三大引擎对比）、五大加速技术（量化、投机解码、缓存、并行、分离部署）及其交互关系，以及生产化部署的延迟全栈账本、故障处理与成本核算，强调约束换性能、技术按组合评估等基本原则。
本文系统讲解 LLM 推理阶段的核心原理。作者指出推理与训练不同，分为 prefill 和 decode 两个阶段：prefill 并行处理整个提示词、计算密集型、决定首 token 延迟（TTFT）；decode 逐 token 生成、受 HBM 内存带宽限制、决定 token 间延迟（ITL）。文章介绍了 GPU 关键硬件概念（Tensor Core FLOPS、HBM、SRAM），逐步演示一个请求的完整流程（分词、采样、KV cache 机制），并将 FlashAttention、PagedAttention、continuous batching、RadixAttention 等优化技术归位到这两个阶段中，帮助读者理解推理瓶颈与优化方向。
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
文章从第一性原理剖析了 LLM 推理服务中三种批处理策略。现代 GPU 在 LLM 解码时受显存带宽限制，计算单元大量空闲，批处理可将权重读取成本分摊到多个序列以提升吞吐。由于自回归解码的输出长度不可知、序列间相互依赖，传统批处理存在短板：静态批处理在批开始时一次决定，受最慢成员拖累；动态批处理加入定时器，缓解入批等待但仍整批绑定；连续批处理（iteration-level scheduling）在每次前向传播后重新调度，完成的序列立即让位给排队请求，是现代推理引擎高吞吐的关键。文章还讨论了固定输出场景下静态批处理的适用性，并给出 vLLM 和 Triton 的配置示例。
本文探讨了如何在一个GPU上通过服务层高效部署多个专用模型（SLM、OCR、NER、Reranker和物体检测）。文章分析了多模型流水线面临的资源碎片化和GPU闲置成本问题，提出了通过共享GPU、动态加载和内存优化来降低成本和提升利用率的技术方案。
民间开发者破解了 NVIDIA RTX 20、30、40 三代显卡被锁定的 Tensor Core 算力，无需更换硬件、刷 BIOS 或魔改驱动，通过底层方式解除性能限制。RTX 4090 算力从 165.6 翻倍至 331.6 TFLOPS，RTX 3090 Ti BF16 提升约 80%，部分老显卡如 RTX 2080 Ti 也接近翻倍。社区已发布多个 GitHub 开源项目和安装教程，Windows 11 上也有成功复现案例。不过有用户实测发现 token 输出速度反而下降，实际效果仍待验证。
作者分享了 Linux 下使用 gpu-unlock 项目解锁 NVIDIA 显卡 Tensor Core 算力限制的实践。该项目通过在驱动加载前修改控制运算速度的寄存器，解除 FP16/BF16 输入、FP32 累加运算的限速。作者在 RTX 4070 Ti SUPER 上用 Codex 辅助完成兼容性检查、编译模块、创建实验启动项和断电重启等步骤，实测 8192×8192 矩阵 FP16 乘法耗时从 12.15ms 降至 6.49ms，吞吐接近翻倍至约 190 TFLOPS，且数值校验通过。社区反馈该解锁可使本地大模型 prefill 提速 30%–50%，decode 速度基本不变。
