全部文档 / 标签: 流水线并行

2 篇

Cerebras 如何部署万亿参数前沿模型

Cerebras 团队详细介绍了如何在 WSE-3T 晶圆级芯片上部署万亿参数大模型。以 3 万亿参数的开源模型 Kimi K3 为例，团队通过 4-bit 权重量化和 8-bit KV 缓存计算每层约 16 GB 的显存需求，将模型切分到 59 片晶圆上：每个 dense 层独占一片晶圆，每片可放两个 linear-attention 层。晶圆间通过以太网 RDMA 传递激活值，权重无需移动。系统以流水线方式运行，各阶段可同时处理不同请求和微批次，从而实现 1000-2000+ tokens/秒的推理速度。

技术 › LLM

Sarah Chieng 2026-10-239.9 KB 282.4K 816 85

Cerebras 推理部署万亿参数 Kimi K3 流水线并行晶圆级芯片 KV Cache 模型切分量化推理加速

Parallelism strategies for LLM inference, clearly explained

本文系统讲解了 LLM 推理的多 GPU 并行策略。首先介绍推理的两个阶段（Prefill 影响 TTFT，Decode 影响 TPOT）以及部署中的四大资源限制（参数内存、KV-cache、计算、通信），然后通过五个关键问题框架分析各类并行策略：数据并行（复制完整模型、分区请求）、张量并行、流水线并行、上下文并行和专家并行。文章强调选择布局需权衡内存容量、请求延迟和吞吐量，避免通信开销超过硬件承受能力，并给出部署检查规则，帮助读者根据模型、硬件拓扑和工作负载选出合适的布局。

技术 › LLM

Avi Chawla 2026-10-0629.4 KB 29.4K 178 82

LLM推理并行策略数据并行张量并行流水线并行 GPU分布式推理优化 KV缓存 TTFT 吞吐量