文章回顾了Karpathy在2023年指出的本地LLM推理瓶颈：解码阶段受限于内存带宽，每次前向传播只生成一个token，使得推理速度存在硬上限。以M5芯片和4-bit Qwen3.5 9B为例，理论极限约29 token/s，llama.cpp和MLX接近该上限。开源推理引擎Uzu通过组合优化突破瓶颈：采用4-bit/8-bit整数量化降低内存流量，利用M5的int8硬件加速路径，在量化前应用块对角随机Hadamard变换抑制离群值误差，并通过推测解码一次性验证多达16个草稿token。实测Uzu在M5上达到92-117 token/s，显著超越llama.cpp和MLX。
作者详细记录了用两张二手 V100（各 3000 元）运行 Qwen3.8-27B 大模型的完整优化过程。V100 是 2017 年的数据中心显卡，HBM 显存带宽实测达 1004GB/s，甚至高于 4090。文章先建立测试口径与性能分析框架（读权重与读 KV 缓存两笔账），逐步排查瓶颈：验证带宽不是问题、测试双卡张量并行、分析 PCIe 延迟与 NCCL 版本坑，最终通过重写推理引擎内核、添加双卡支持，将长上下文生成速度从 36 tok/s 提升到 100 tok/s 以上，代码生成速度超过 3 万元的 4090 48G，并成功上线生产环境。文中深入浅出讲解了推测解码、CUDA Graph、内核优化等技术细节。
本文是 NVIDIA DGX Spark 本地推理设备的使用手册。作者最初因其 273 GB/s 的低内存带宽而不看好，但随着 MoE 架构、推测解码等推理工程技术的成熟，DGX Spark 已能在本地以接近云服务的速度运行高智能模型。文章详细介绍了多台 Spark 通过 ConnectX-7 网卡链接实现近线性扩展带宽和内存的方案（四台可达 1092 GB/s、512 GB 内存）、低功耗适合家用部署的优势、MoE 与推测解码如何弥补硬件短板，以及单机同时服务 8 个并发会话的能力，并对比了与 Mac 的算力优势和成本分析。
