MoE与MMoE模型详解：从稀疏扩容到多任务学习
本文系统梳理了MoE（混合专家）模型的概念分歧与技术演进。针对目前命名混乱导致的认知误区，作者明确划分了两条核心技术路线：一是追求参数量与计算量解耦的稀疏路线，已成为大语言模型的默认架构；二是通过多门控机制实现任务共享的MMoE路线，主要应用于推荐系统。文章深入回顾了条件计算思想，并详细探讨了稀疏MoE在路由设计、负载均衡、并行通信等工程实践及结构演进的现状。
全部文档 / 标签: 稀疏路由
2 篇
Mixture of Experts (MoE): Scaling AI with Specialized Models
文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。