12G显存部署125B Qwen3.8-Flash-Next 全攻略
本文介绍了如何借助Strata框架和Agent自动化流程，在12GB消费级显卡上部署125B参数的MoE模型Qwen3.8-Flash-Next。文章解释了MoE稀疏激活（每token仅激活6B）与Strata让GPU、CPU、RAM、SSD协同工作的原理，对比了不同量化方案（UD-IQ4_XS与UD-Q4_K_XL）在专家缓存命中率上的速度差异。作者全程使用蚂蚁的Ling-3.1-flash Agent完成从读文档、检查硬件、安装、排错到测速验收的部署流程，并成功将本地模型接入pi。该方法可复用于部署Ling、GLM、Kimi、DeepSeek等其他本地模型。
