作者在懒猫AI算力舱 X5（128GB显存）上部署 Qwen 3.8 27B 稠密模型，真实项目中跑了4个任务均完成良好。通过 MTP 投机解码 + NVFP8 混合优化并关闭 thinking 模式，速度从 13.9 提升到 30.8 Tokens；但发现关闭思考模式会降低代码推理准确度，重新开启后实测稳定 26.47 Tokens（含思考阶段实际可达 35.23 Tokens/s）。后续还将通过重新量化构建 draft engine 进一步提速。
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
