RTX 3090 上实现 Qwen3.5-27B 模型 207 tok/s 推理速度的技术实践
文章介绍了如何通过构建独立的 C++/ggml 推测解码器，在单张 RTX 3090 (24GB) 显卡上实现了 Qwen3.5-27B (Q4_K_M) 模型的高效推理。利用 DFlash block-diffusion draft 和 DDTree 验证器，成功将峰值解码速度提升至 207.6 tok/s，较自回归基准提升约 5.46 倍，并实现了在有限显存下运行 128K 长上下文的能力。
文章介绍了如何通过构建独立的 C++/ggml 推测解码器，在单张 RTX 3090 (24GB) 显卡上实现了 Qwen3.5-27B (Q4_K_M) 模型的高效推理。利用 DFlash block-diffusion draft 和 DDTree 验证器，成功将峰值解码速度提升至 207.6 tok/s，较自回归基准提升约 5.46 倍，并实现了在有限显存下运行 128K 长上下文的能力。