本文系统讲解了 LLM 推理的多 GPU 并行策略。首先介绍推理的两个阶段（Prefill 影响 TTFT，Decode 影响 TPOT）以及部署中的四大资源限制（参数内存、KV-cache、计算、通信），然后通过五个关键问题框架分析各类并行策略：数据并行（复制完整模型、分区请求）、张量并行、流水线并行、上下文并行和专家并行。文章强调选择布局需权衡内存容量、请求延迟和吞吐量，避免通信开销超过硬件承受能力，并给出部署检查规则，帮助读者根据模型、硬件拓扑和工作负载选出合适的布局。
文章介绍如何将开源 LLM 变成快速、本地的决策引擎，而无需重新训练。核心思想是：当应用已知所有可能的答案时，不必让模型生成文本或 JSON，而是通过 next-token scoring 一次性为每个候选答案返回分数和概率分布。作者讲解了固定答案打分与结构化输出的区别、LLM 第一个输出 token 的生成原理，并使用 SGLang 的 /v1/score 接口，结合 Qwen 和 DeepSeek 模型进行实测，与普通文本生成进行了基准对比。文中还提到概率的含义与校准问题。
本文系统讲解 MoE（混合专家）模型的推理服务工程原理。从稠密 Transformer 的 FFN 与 MoE 层的区别入手，介绍路由器如何为每个 token 选择专家、dispatch 和 combine 过程如何将路由决策聚合成专家专属矩阵，以及 grouped GEMM 如何减少内核启动开销。文章还涵盖专家并行、拓扑感知部署、显存需求（常驻参数 vs 激活参数）、负载不均衡、容量限制和量化等话题，并分析计算、显存带宽与互连流量之间的性能瓶颈权衡，以 Qwen3-30B-A3B 为实例说明。
本文介绍了八种在推理阶段提升大语言模型推理能力的技术，包括思维链、多数投票、Best-of-N、扩展思考、自我精炼等，并分析了每种技术的权衡和实际应用注意事项。文章指出，在推理阶段干预是提升准确率最经济的方式，无需重新训练模型。通过FLOPs匹配比较，测试时计算优于14倍大的模型。文章还讨论了并行采样与顺序扩展两种计算分配方式，以及树方法如何结合两者。每种技术都有其适用场景和局限性，如多数投票无法处理开放生成任务，Best-of-N需要奖励模型且存在过优化风险，扩展思考并非越长越好。最后，文章强调选择合适技术需根据任务特性和评估结果。
