Wiki 知识库

Cerebras 如何部署万亿参数前沿模型

Sarah Chieng 2026-10-23 9.9 KB 282.4K 816 𝕏 文章列表

Cerebras 团队详细介绍了如何在 WSE-3T 晶圆级芯片上部署万亿参数大模型。以 3 万亿参数的开源模型 Kimi K3 为例，团队通过 4-bit 权重量化和 8-bit KV 缓存计算每层约 16 GB 的显存需求，将模型切分到 59 片晶圆上：每个 dense 层独占一片晶圆，每片可放两个 linear-attention 层。晶圆间通过以太网 RDMA 传递激活值，权重无需移动。系统以流水线方式运行，各阶段可同时处理不同请求和微批次，从而实现 1000-2000+ tokens/秒的推理速度。

Cerebras推理部署万亿参数Kimi K3流水线并行晶圆级芯片KV Cache模型切分量化推理加速

相关文档

AI 工程师面试：大厂反复考的 25 道通用题

文章总结了 AI 工程师面试中各科技大厂（OpenAI、Meta、DeepSeek、Anthropic 等）反复考察的高频题目，覆盖三大模块：LLM 内部原理（attention、KV cache、RoPE、MoE、scaling laws、解码策略等）、推理部署与 GPU 性能（continuous batching、PagedAttention、量化、并行策略、显存估算、延迟指标等），以及 RAG、Agent、微调、评测、安全、多模态、系统设计等方向。作者指出各家面试题高度重合，建议优先刷这些通用题以获得最高性价比。

技术 › LLM 山景城小路 2026-10-07
面试LLMTransformerKV cache推理部署量化并行策略scaling lawsAI工程师大模型

显存就这么多，怎么把字吐得更快？——从 MoE、KV Cache 到 DFlash 的本地部署全景拆解

文章从一张16GB显卡出发，系统拆解大模型本地部署的显存与速度权衡。首先澄清运行显存不只包含模型权重，还有KV Cache、运行时工作区和草稿模型开销；解释MoE与量化对容量和计算的不同影响，区分总参数与激活参数；分析CPU/GPU卸载的代价；介绍KV Cache与混合注意力如何影响上下文长度；区分Prefill与Decode两个阶段的速度特征；最后详解投机解码、MTP与DFlash/DFlash2的加速原理及实测收益。强调各优化手段需配合使用，预算刚好装满并不代表能稳定运行。

技术 › LLM huangserva 2026-09-14
本地部署MoEKV Cache量化投机解码DFlash显存优化推理加速大模型

KV Cache Engineering for LLM Serving, clearly explained

文章系统讲解了LLM推理中KV缓存的工程优化。KV缓存随序列长度增长，Llama 3.1 70B单条128K序列的BF16缓存约需40GB，成为GPU内存和注意力计算的双重瓶颈。作者将12种优化技术按减少的对象分类：GQA/MQA减少KV头数量，跨层注意力减少缓存层数，滑动窗口与淘汰减少保留token数，MLA减少表示宽度，量化减少字节数，混合循环层用固定状态替代增长缓存，分页与前缀复用减少分配浪费。文章配有可运行代码示例，并分析各技术的适用场景与权衡。

技术 › LLM Avi Chawla 2026-09-06
KV CacheLLM推理GQAMQA量化GPU内存注意力机制模型优化推理加速Llama

12G显存部署125B Qwen3.8-Flash-Next 全攻略

本文介绍如何在12GB显存上部署125B参数的Qwen3.8-Flash-Next模型。核心是Strata技术让GPU、CPU、RAM和SSD协同工作：常用专家留GPU，其余放RAM，CPU处理cache miss。RTX 5070 12GB + 64GB RAM在Q2_0量化下短对话可达94 tok/s。文章还讲解了量化选择策略——显存占用相同时速度可差1.72倍，关键在于专家命中率。作者全程使用蚂蚁的Ling-3.1-flash Agent自动完成从检查机器、选权重、下载安装到排错验收的完整部署流程，跑通了一套用Agent自动部署本地模型的可复用方法。

技术 › LLM 实践哥 Li 2026-10-08
QwenStrata本地部署量化MoEAgentLing-3.1-flash显存优化推理加速12GB显卡

Disaggregated Inference From The Ground Up

本文由 Cerebras 撰写，从基础原理讲解推理系统中的分离式推理技术。文章先介绍加速器的构成（计算单元与存储），并引入算术强度概念，通过矩阵加法与矩阵乘法的实例说明数据搬运与计算的关系。随后分析 LLM 推理的两个阶段：prefill（处理整个 prompt，计算密集型）与 decode（逐 token 生成，受限于内存带宽），解释二者对硬件需求的不同。Cerebras 提出异构分离式推理，将不同类型芯片分配给不同推理阶段，在相同硬件数量下将吞吐量提升 5 倍且不损失单用户生成速度。

技术 › LLM Cerebras 2026-10-02
Cerebras推理disaggregation算术强度prefilldecode加速器GPUKV cache硬件

We built a 20x faster Grok bot

Cerebras 团队测试了主流 AI 个人助理完成订餐任务的表现，发现现有助理耗时过长（如 Grok Bot 需 7 分 40 秒）。团队使用 Qwen 3.8 27B 模型运行在 Cerebras 硬件上，以 Pi 作为 Agent Harness，通过三项优化将任务压缩至 22 秒：1) 并行执行独立的检查操作；2) 借助 Cerebras 快速推理加速模型调用；3) 将探索网站的经验固化为 Skill 复用，减少 80% 以上的工具调用。文章展示了 Harness Engineering、快速推理和经验沉淀对 Agent 效率的巨大提升潜力。

技术 › Agent Cerebras (Sarah Chieng, @0xSero) 2026-09-26
CerebrasAgentGrokHarness EngineeringSkillQwenLLM推理加速OpenClaw性能优化

LLM Inference Handbook 精读：Prefill、Decode、KV Cache，与一切皆权衡的推理工程

本文深度解读 Modular 公司开源维护的《LLM Inference Handbook》，系统梳理 LLM 推理工程的知识体系。文章提炼三大核心框架：prefill（算力受限）与 decode（带宽受限）的两阶段二分法；KV cache 作为系统中心约束的地位，围绕它的 PagedAttention、prefix caching、PD 分离等技术网络；以及“一切皆 trade-off，唯一方法论是 benchmark”的工程哲学。内容还涵盖 continuous batching、speculative decoding、GPU 内存金字塔、FlashAttention、量化与蒸馏三部曲、Agent 生态与部署运维等主题，强调推理优化的本质是围绕有状态 KV cache 做内存管理与调度。

技术 › LLM meng shao 2026-09-22
LLM推理KV CachePrefillDecodeFlashAttention量化推理优化GPUBenchmarkPagedAttention

深读免费书「Inference Engineering」：Prefill 吃算力、Decode 吃带宽，讲透从 CUDA 到生产部署的推理优化

文章深度解读 Baseten 出版的免费工程书《Inference Engineering》，系统讲解如何把 AI 模型在生产环境中跑得快、省、稳。全书以三层推理栈（运行时、基础设施、工具层）为骨架，核心分析框架是瓶颈判断：prefill 算力受限、decode 带宽受限、图像视频生成算力受限。内容涵盖模型与硬件理解（算术强度、KV cache、选卡策略）、软件栈（vLLM/SGLang/TensorRT-LLM 三大引擎对比）、五大加速技术（量化、投机解码、缓存、并行、分离部署）及其交互关系，以及生产化部署的延迟全栈账本、故障处理与成本核算，强调约束换性能、技术按组合评估等基本原则。

技术 › LLM meng shao 2026-09-21
推理优化CUDA量化投机解码KV cachevLLMGPU生产部署读书笔记Inference Engineering

大开眼界：把 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 思路移植到 Qwen3-8B

文章介绍了一项实验：研究者将 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 机制移植到现有 Qwen3-8B 上，不修改原模型权重，仅外挂一个小模型近似后半层 KV Cache，使 Prefill 时间缩短近一半且输出一致。作者分析了这对本地模型部署（尤其 DGX Spark）的重大意义：长上下文首 token 等待明显降低，KV Cache 内存占用减少，Coding Agent、Computer Use Agent 等本地工作负载体感大幅提升。文章同时指出结果尚需在更多任务上验证，但认为已有模型可通过轻量近似层获得架构级推理升级。

技术 › LLM Wei (@wei_wang) 2026-09-13
DeepSeekQwen3-8BPrefill优化KV Cache本地模型DGX Spark推理加速Agent架构创新Encoder-Decoder

图解大语言模型部署

本文系统讲解大语言模型自部署的核心指标与实践要点，覆盖延迟类指标（TTFT、TPOT/ITL、P95/P99）、吞吐类指标（TPS、QPS、连续批处理）、资源类指标（显存与KV cache计算、量化精度）、服务质量（错误率、探针、可用性）以及成本核算（cost per token、TCO）。作者以 Ling-3.0-Flash MoE 模型在 DGX Spark 上的真实实测为例，将抽象指标落地为具体数字，帮助读者选对硬件配置、排查吞吐瓶颈与OOM问题、评估自建与API的划算临界点。

技术 › LLM WquGuru 2026-08-29
LLM模型部署推理优化显存KV cacheTTFT吞吐量量化vLLM成本核算

LLM 中的 KV Cache、Prefix Cache、Prompt Cache 与 Semantic Cache 详解

文章系统讲解了 LLM 推理中四层常被混淆的缓存机制：KV cache 存储单次请求的注意力张量；Prefix caching 在服务端以 token ID 哈希链为键复用这些张量；Prompt caching 是服务商对该查找的计费版本；Semantic cache 则以嵌入向量的余弦相似度为键存储完整响应。前三层为精确匹配、不影响正确性，未命中只损失延迟和费用；第四层为模糊匹配，可能返回错误答案。文章基于 transformers v5 提供可运行代码示例，涵盖缓存增长、内存带宽瓶颈、GQA/MLA/量化等优化手段，以及阻碍缓存复用的五类常见问题。

技术 › LLM Avi Chawla 2026-08-28
KV CachePrefix CachingPrompt CachingSemantic CacheLLM 推理transformers注意力机制缓存优化内存带宽量化

BestBlogs 早报 · 08-14｜DeepSeek Harness 智能体，GPT-5.6 Sol 压缩推理等待，多智能体实验暴露协作失灵

本期早报聚焦智能体系统的三大核心问题：架构、算力与协作机制。DeepSeek Harness 提供插件化 Agent Harness，将模型、工具等能力拆分为可替换组件；Cerebras 与 OpenAI 推出 GPT-5.6 Sol Ultrafast，通过专用硬件实现高速推理；Anthropic 的多智能体实验揭示了协作中的冲突、从众与信任问题。此外，速览部分涵盖 Gemini 3.7 Flash 发布、Agent 评测与轨迹复盘、ICML 论文复现经验、Claude Tag 更新及小红书开源 TTS 模型。

技术 › LLM ginobefun 2026-08-14
智能体DeepSeek HarnessGPT-5.6多智能体推理加速插件化协作机制AnthropicCerebras早报