全部文档 / 标签: TTFT

Parallelism strategies for LLM inference, clearly explained

本文系统讲解了 LLM 推理的多 GPU 并行策略。首先介绍推理的两个阶段（Prefill 影响 TTFT，Decode 影响 TPOT）以及部署中的四大资源限制（参数内存、KV-cache、计算、通信），然后通过五个关键问题框架分析各类并行策略：数据并行（复制完整模型、分区请求）、张量并行、流水线并行、上下文并行和专家并行。文章强调选择布局需权衡内存容量、请求延迟和吞吐量，避免通信开销超过硬件承受能力，并给出部署检查规则，帮助读者根据模型、硬件拓扑和工作负载选出合适的布局。

技术 › LLM

Avi Chawla 2026-10-0629.4 KB 29.4K 178 82

LLM推理并行策略数据并行张量并行流水线并行 GPU分布式推理优化 KV缓存 TTFT 吞吐量

Prefill and Decode：理解 LLM 推理的两个阶段

文章以'读长文档只要三条结论为何很慢，写两千字演讲稿反而很快开口'为切入点，讲解 LLM 推理的 prefill 与 decode 两个阶段。Prefill 并行处理全部输入 token 并保存 KV cache，决定首 token 延迟（TTFT）；decode 自回归地逐个生成 token，受内存带宽影响，影响 token 间隔（ITL）。文章进一步介绍 chunked prefill、prefill/decode disaggregation 和 prefix caching 三种优化手段，并以 EXO 用 DGX Spark 做 prefill、Mac 做 decode 的演示说明跨设备分工的可能性，帮助读者具体分析 AI 响应慢的原因。

技术 › LLM

Dongxi 东锡 NLP 2026-09-1511.3 KB 24.8K 89 74

LLM 推理优化 Prefill Decode KV Cache TTFT Transformer 自回归生成 chunked prefill disaggregation

图解大语言模型部署

本文系统讲解大语言模型自部署的核心指标与实践要点，覆盖延迟类指标（TTFT、TPOT/ITL、P95/P99）、吞吐类指标（TPS、QPS、连续批处理）、资源类指标（显存与KV cache计算、量化精度）、服务质量（错误率、探针、可用性）以及成本核算（cost per token、TCO）。作者以 Ling-3.0-Flash MoE 模型在 DGX Spark 上的真实实测为例，将抽象指标落地为具体数字，帮助读者选对硬件配置、排查吞吐瓶颈与OOM问题、评估自建与API的划算临界点。

技术 › LLM

WquGuru 2026-08-2927.1 KB 56.2K 199 89

LLM 模型部署推理优化显存 KV cache TTFT 吞吐量量化 vLLM 成本核算