全部文档 / 标签: 推理服务

2 篇

BestBlogs 早报｜YC Paper Club 拆解推理服务系统，Amazon CEO 谈算力供需与投入，Naveen Rao 谈推理经济学

本期早报围绕推理计算的经济与工程展开。YC Paper Club 分享拆解推理请求生命周期，涵盖路由、缓存、分词调度、编译优化与服务质量监测，强调训练之后的服务开销巨大且需要系统性优化；Amazon CEO Andy Jassy 访谈解释了 2026 年 2200 亿美元资本开支背后的建设周期、现金流压力与企业 AI 应用的杠铃格局，指出推理降价将打开更多采用场景；Naveen Rao 则从能源效率视角讨论模型、硬件协同设计，预测推理可能成为 10 万亿美元市场，并探讨规格定义与验证在 AI 自动化交付中的关键作用。速览部分还涉及模型越界安全评估、桥水知识库建设和 AI 个人助理产品竞争。

技术 › LLM

ginobefun 2026-10-2530.0 KB 1.5K 1 83

推理服务 LLM 算力云计算模型优化 Amazon AI基础设施缓存能效早报

MoE 推理工程详解

本文系统讲解 MoE（混合专家）模型的推理服务工程原理。从稠密 Transformer 的 FFN 与 MoE 层的区别入手，介绍路由器如何为每个 token 选择专家、dispatch 和 combine 过程如何将路由决策聚合成专家专属矩阵，以及 grouped GEMM 如何减少内核启动开销。文章还涵盖专家并行、拓扑感知部署、显存需求（常驻参数 vs 激活参数）、负载不均衡、容量限制和量化等话题，并分析计算、显存带宽与互连流量之间的性能瓶颈权衡，以 Qwen3-30B-A3B 为实例说明。

技术 › LLM

Avi Chawla 2026-09-1929.1 KB 148.8K 316 73

MoE 推理优化 Transformer LLM 路由专家并行 GPU Grouped GEMM 推理服务性能优化