文章系统盘点了 2026 年值得关注的开源 AI 模型，涵盖语言、图片、视频三大类别，包括 Qwen、DeepSeek、Kimi、GLM、MiniMax、混元等国产阵营及海外模型。作者拆解了模型命名规则（参数量、MoE、量化、许可证等），提出五步选型筛选法，并比较各硬件平台（Mac 统一内存、NPU AI PC、大内存 APU 等）的适配能力。文章还讲解了本地部署的适用场景与许可注意事项，最后通过 Mac 和 Windows 双机实测检验模型在文字、看图、分镜和视频任务上的真实表现，帮助读者判断自己需要哪类模型以及电脑能否带动。
这是一篇本地部署 LLM 的完整入门教程。文章首先说明开源模型（Qwen、DeepSeek、GLM 等）已接近闭源前沿约四个月，而 API 订阅配额却在缩水，因此本地部署的价值日益凸显。教程从 Step 0 开始：检查内存、按内存三分之二规则选择模型、安装 Ollama 并运行第一个模型。随后解释了本地模型的核心优势（数据隐私、零边际成本、不受限）与局限（性能不及闭源前沿），分析了订阅补贴经济的不可持续性，并指导读者根据任务需求选择硬件，强调容量决定装得下、带宽决定跑得快、利用率决定是否划算。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
DeepSeek 发布了 DeepSeek-V4.1-Flash-1017 小版本更新，作者在推理、代码、Agent、图像理解等 8 个实际场景中与 Opus 5.5 进行同题对比测试。测试包括网页小游戏开发、落地页设计、讲解动画、视频渲染、数据分析、草图转网页和小说写作。结果显示该 Flash 版本在功能完整度、数据分析、交互还原等方面表现出色，多项能力已接近 Opus 5.5。新版本采用 552B 参数 MoE 架构，MIT 协议开源，同时开放了 Search 和 Fetch 搜索接口。
文章介绍如何将开源 LLM 变成快速、本地的决策引擎，而无需重新训练。核心思想是：当应用已知所有可能的答案时，不必让模型生成文本或 JSON，而是通过 next-token scoring 一次性为每个候选答案返回分数和概率分布。作者讲解了固定答案打分与结构化输出的区别、LLM 第一个输出 token 的生成原理，并使用 SGLang 的 /v1/score 接口，结合 Qwen 和 DeepSeek 模型进行实测，与普通文本生成进行了基准对比。文中还提到概率的含义与校准问题。
作者在懒猫AI算力舱 X5（128GB显存）上部署 Qwen 3.8 27B 稠密模型，真实项目中跑了4个任务均完成良好。通过 MTP 投机解码 + NVFP8 混合优化并关闭 thinking 模式，速度从 13.9 提升到 30.8 Tokens；但发现关闭思考模式会降低代码推理准确度，重新开启后实测稳定 26.47 Tokens（含思考阶段实际可达 35.23 Tokens/s）。后续还将通过重新量化构建 draft engine 进一步提速。
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
DeepSeek 于 10 月 17 日发布 V4.1-Flash-1017 版本，AI 编程跑分显著提升，DeepSWE 达 77.0 超越 Claude Opus 5，任务平均费用降至原来的三分之一。作者使用 DeepSeek Harness 实测四个项目：3D 城市生成器对比显示新版的重庆、西安等地标建筑辨识度大幅提升，耗时从 102 分钟降至 61 分钟；许愿式编程能快速产出 3D 地铁跑酷游戏和天坛祈年殿建模；基于新开放的 Search/Fetch 接口开发的 AI 搜索引擎完成度很高。总花费仅 12.81 元，性价比突出，是一次实打实的帕累托改进。
本文介绍了如何借助Strata框架和Agent自动化流程，在12GB消费级显卡上部署125B参数的MoE模型Qwen3.8-Flash-Next。文章解释了MoE稀疏激活（每token仅激活6B）与Strata让GPU、CPU、RAM、SSD协同工作的原理，对比了不同量化方案（UD-IQ4_XS与UD-Q4_K_XL）在专家缓存命中率上的速度差异。作者全程使用蚂蚁的Ling-3.1-flash Agent完成从读文档、检查硬件、安装、排错到测速验收的部署流程，并成功将本地模型接入pi。该方法可复用于部署Ling、GLM、Kimi、DeepSeek等其他本地模型。
本文介绍如何在12GB显存上部署125B参数的Qwen3.8-Flash-Next模型。核心是Strata技术让GPU、CPU、RAM和SSD协同工作：常用专家留GPU，其余放RAM，CPU处理cache miss。RTX 5070 12GB + 64GB RAM在Q2_0量化下短对话可达94 tok/s。文章还讲解了量化选择策略——显存占用相同时速度可差1.72倍，关键在于专家命中率。作者全程使用蚂蚁的Ling-3.1-flash Agent自动完成从检查机器、选权重、下载安装到排错验收的完整部署流程，跑通了一套用Agent自动部署本地模型的可复用方法。
DeepSeek 发布 552B 参数的开源 MoE 模型 V4.1 Flash，原生支持多模态视觉理解，官方称其性能、费用、速度全面超越 V4 Pro，V4 Pro 将于 9 月 14 日下线。作者通过两个实战项目（3D 程序化城市生成器、基于 draw.io 的 AI 智能绘图工具）横向对比 V4.1 Flash、V4 Pro 和 GLM-5.3-Flash。结果显示 V4.1 Flash 完成度最高，输出速度达 287 TOK/s，成本仅约 5 元/项目，多模态能力让前端开发质量明显提升，最终结论是梁神回归，可重新推荐为日常 AI 编程模型。
作者拆解了 Playtime-AI 发布的 Sydney Sweeney 人物 LoRA（仅 155MB）如何在 MiniMax H3 视频模型上无需参考图、仅凭名字生成人物视频。文章讲解 LoRA 低秩自适应原理：冻结基础模型，只训练小矩阵 A、B 记录人物身份差量；还原训练过程（3440 步、120 epoch、rank 16、约 5% caption dropout）；并分享本地加载实践，包括底模版本兼容、量化格式、采样步数（6 步而非 30 步才清晰）和触发词拼写等常见坑。最后指出 LoRA 技术正在改变人物身份的传播方式。
