K3 部署推理引擎指南
vLLM 宣布对 Kimi K3 模型提供首日支持。K3 是拥有 2.8 万亿参数的 MoE 模型，支持 100 万上下文窗口。vLLM 通过 DSpark 推测解码将吞吐量提升至 370 tok/s，并支持架构创新的混合缓存管理、预填充/解码分离及智能体服务，确保生产环境下的高性能与低延迟。
🏷️ 推理引擎
2 篇LLM 推理引擎与本地硬件指南 (2026 版)
文章阐述了选择 LLM 推理引擎的正确逻辑：先确定硬件策略、负载形态和服务模式，再选引擎。文章解析了推理引擎的核心功能（调度、内存管理、批处理）及性能瓶颈（显存带宽、KV Cache、互联），并详细对比了 llama.cpp、MLX、ExLlama、vLLM、TensorRT-LLM 等主流引擎的适用场景与优缺点。