Gemma4 选型指南：8个模型该选哪个？
Google 发布 Gemma4 系列开放权重模型，本文为本地部署选型指南。文章解析了 '-it' 指令微调版与基版的区别，以及 E4B/E2B 移动端优化技术（Per-Layer Embeddings）的原理。针对不同场景推荐模型：本地对话选 26B-A4B（MoE 激活 4B）；写代码选 31B；语音助手选 E4B；树莓派尝鲜选 E2B。
相关文档
2026 开源模型全网最全盘点：从入门到榨干（含双机实测）
文章系统盘点了 2026 年值得关注的开源 AI 模型，涵盖语言、图片、视频三大类别，包括 Qwen、DeepSeek、Kimi、GLM、MiniMax、混元等国产阵营及海外模型。作者拆解了模型命名规则（参数量、MoE、量化、许可证等），提出五步选型筛选法，并比较各硬件平台（Mac 统一内存、NPU AI PC、大内存 APU 等）的适配能力。文章还讲解了本地部署的适用场景与许可注意事项，最后通过 Mac 和 Windows 双机实测检验模型在文字、看图、分镜和视频任务上的真实表现，帮助读者判断自己需要哪类模型以及电脑能否带动。
一个人十天写出的引擎，让 12GB 显卡跑起 1250 亿参数模型
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
12G显存部署125B Qwen3.8-Flash-Next 全攻略
本文介绍了如何借助Strata框架和Agent自动化流程，在12GB消费级显卡上部署125B参数的MoE模型Qwen3.8-Flash-Next。文章解释了MoE稀疏激活（每token仅激活6B）与Strata让GPU、CPU、RAM、SSD协同工作的原理，对比了不同量化方案（UD-IQ4_XS与UD-Q4_K_XL）在专家缓存命中率上的速度差异。作者全程使用蚂蚁的Ling-3.1-flash Agent完成从读文档、检查硬件、安装、排错到测速验收的部署流程，并成功将本地模型接入pi。该方法可复用于部署Ling、GLM、Kimi、DeepSeek等其他本地模型。
12G显存部署125B Qwen3.8-Flash-Next 全攻略
本文介绍如何在12GB显存上部署125B参数的Qwen3.8-Flash-Next模型。核心是Strata技术让GPU、CPU、RAM和SSD协同工作：常用专家留GPU，其余放RAM，CPU处理cache miss。RTX 5070 12GB + 64GB RAM在Q2_0量化下短对话可达94 tok/s。文章还讲解了量化选择策略——显存占用相同时速度可差1.72倍，关键在于专家命中率。作者全程使用蚂蚁的Ling-3.1-flash Agent自动完成从检查机器、选权重、下载安装到排错验收的完整部署流程，跑通了一套用Agent自动部署本地模型的可复用方法。
显存就这么多，怎么把字吐得更快？——从 MoE、KV Cache 到 DFlash 的本地部署全景拆解
文章从一张16GB显卡出发，系统拆解大模型本地部署的显存与速度权衡。首先澄清运行显存不只包含模型权重，还有KV Cache、运行时工作区和草稿模型开销；解释MoE与量化对容量和计算的不同影响，区分总参数与激活参数；分析CPU/GPU卸载的代价；介绍KV Cache与混合注意力如何影响上下文长度；区分Prefill与Decode两个阶段的速度特征；最后详解投机解码、MTP与DFlash/DFlash2的加速原理及实测收益。强调各优化手段需配合使用，预算刚好装满并不代表能稳定运行。
如何在本地运行开源 GLM-5.3-Flash 模型
本文详细介绍在个人机器上本地部署 GLM-5.3-Flash（320B 总参数、激活约 18B 的 MoE 模型）的完整流程。作者首先澄清显存误区：即使激活参数小，仍需容纳完整权重，最小 GGUF 量化文件即超 93GB，100GB 内存是起跑线。教程提供两条路线：一是使用图形化的 Unsloth Desktop 快速上手；二是编译支持 glm5next 架构的 llama.cpp 专用分支，并启动兼容 OpenAI 接口的本地服务。文章还涵盖硬件需求估算、量化版本选择建议（UD-IQ2_XXS 适合 128GB 机器）、常见报错排查与性能优化要点。
70GB 模型跑在 48GB Mac 上：Qwen3.8-Flash-Next 部署实录
作者在 48GB 内存 MacBook Pro（M4 Pro）上成功部署了磁盘体积约 70GB 的 Qwen3.8-Flash-Next REAP-288 MLX 4-bit 模型。文章解析了能跑起来的三重原因：REAP 将每层 512 个专家裁剪至 288 个、主模型与 PLE n-gram 表均做 4-bit 量化、以及 51B 参数的 PLE 表通过 mmap 留在 NVMe 按需流式读取。实际驻留约 39GB，首次加载约 10.14 秒，decode 稳定在 26～29 token/s，prefill 峰值约 149 token/s。实测最大上下文仅 8,217 tokens（配置声明 262K），建议日常使用 7,680 tokens。文章还记录了 Metal 内存上限调整、oMLX 服务启动及完整基准测试过程。
我把 Ling-3.0-tiny 装进 Mac，做了一个本地写作助手
作者记录了在 Mac mini（M4、16GB）上部署蚂蚁开源的混合推理小模型 Ling-3.0-tiny 的完整过程：编译 Ollama 实验分支、下载 FP8/BF16 权重并导入，验证服务后搭建了一个只调用本机接口的写作页面。随后用一篇真实口述稿进行四轮写作测试——提炼结构、检查问题、局部改写和反馈调整，发现模型擅长结构整理与问题扫描，但润色时 AI 味重，难以还原作者口吻。文章还对比了 FP8 与 BF16 的输入输出速度，并总结了端口冲突、上下文设置和接口安全等部署注意事项，最后给出将其用于写作第一轮辅助的定位。
我把 Moderna 癌症疫苗论文丢给 Apodex 的 Deep Discover（附 RTX 5090 本地部署）
作者以 Moderna/Merck 个体化 mRNA 癌症疫苗 Phase 3 进展为案例，体验了 Apodex 的 Deep Discover 多 Agent 研究产品。产品通过 Task Board、分工的 Sub-agent（临床数据读取、肿瘤研究、估值分析）与 Verifier 复核，实现可视、可中途干预的研究流程，并在测试中自行纠正了药物实体混淆。文章后半部分详细记录在单张 RTX 5090 上用 SGLang 部署 Apodex 1.1 mini（36B MoE GPTQ Int4）及开源 FrontierAgent 的过程，包括网络代理与 SSRF 防护冲突的排查、Agent Team 宏观研究实测，以及单卡下并行的本质是任务与上下文并行而非吞吐并行的性能分析。
我把我的“AI白月光”装进 MacBook：一个装修人四个月的 AI 学习路线
作者回顾了自己四个月学习 AI 的历程，从最初用蚂蚁百灵大模型 Ling-3.0-tiny 整理装修业务流程、拆解游戏开发任务、到设计四轮装修改稿测试验证模型规则意识，共经历三个阶段。最终在 M5、24GB 内存的 MacBook 上完成 Ling-3.0-Tiny INT4 本地部署，构建 Ollama/MLX 运行路径，并搭建基于 Obsidian 的只读检索层，让模型担任“本地项目情报员”。作者强调普通人学 AI 应先解决一件真实的小事。
你为什么也需要一个本地模型？Ling3.0-tiny 本地部署实测
作者介绍了在 MacBook M4 Pro 上部署蚂蚁百灵开源的 Ling-3.0-tiny 稀疏 MoE 模型的完整过程，用于处理 48G 微信记录和 237 篇日记等隐私数据。文章详述了 FP8 权重选择、编译 MLX 后端 ollama、避坑指南等实操细节，实测生成速度约 78-99 tokens/s。在脱敏、命名实体识别、长文压缩、去重四个场景中表现优异，并总结分工原则：抽取任务交给本地模型，语义判断留给云端模型。
保姆级教程：DGX Spark 本地跑通 124B 大模型全记录
本文记录了作者在公司配置的英伟达 DGX Spark 桌面级 AI 超算上本地部署大模型的完整过程。文章首先介绍选择 DGX Spark 的原因（数据隐私、成本可控），解析其 GB10 芯片与 128GB 统一内存的硬件配置，讲解稠密模型与 MoE 稀疏模型的区别，最终选定蚂蚁百灵 Ling-3.0-flash（fp4/int4 量化版本）进行部署。作者对比了 Ollama 与 vLLM 的优劣，选择 vLLM 完成部署，并借助 Claude Code 远程操作。最后进行了 MTP 推理加速测速对比，并成功将本地模型对接到 Claude Code 实际使用。
