这是一篇本地部署 LLM 的完整入门教程。文章首先说明开源模型（Qwen、DeepSeek、GLM 等）已接近闭源前沿约四个月，而 API 订阅配额却在缩水，因此本地部署的价值日益凸显。教程从 Step 0 开始：检查内存、按内存三分之二规则选择模型、安装 Ollama 并运行第一个模型。随后解释了本地模型的核心优势（数据隐私、零边际成本、不受限）与局限（性能不及闭源前沿），分析了订阅补贴经济的不可持续性，并指导读者根据任务需求选择硬件，强调容量决定装得下、带宽决定跑得快、利用率决定是否划算。
文章系统盘点了 2026 年值得关注的开源 AI 模型，涵盖语言、图片、视频三大类别，包括 Qwen、DeepSeek、Kimi、GLM、MiniMax、混元等国产阵营及海外模型。作者拆解了模型命名规则（参数量、MoE、量化、许可证等），提出五步选型筛选法，并比较各硬件平台（Mac 统一内存、NPU AI PC、大内存 APU 等）的适配能力。文章还讲解了本地部署的适用场景与许可注意事项，最后通过 Mac 和 Windows 双机实测检验模型在文字、看图、分镜和视频任务上的真实表现，帮助读者判断自己需要哪类模型以及电脑能否带动。
文章介绍如何将开源 LLM 变成快速、本地的决策引擎，而无需重新训练。核心思想是：当应用已知所有可能的答案时，不必让模型生成文本或 JSON，而是通过 next-token scoring 一次性为每个候选答案返回分数和概率分布。作者讲解了固定答案打分与结构化输出的区别、LLM 第一个输出 token 的生成原理，并使用 SGLang 的 /v1/score 接口，结合 Qwen 和 DeepSeek 模型进行实测，与普通文本生成进行了基准对比。文中还提到概率的含义与校准问题。
本文是一篇面向新手的本地大模型部署教程，作者以 MacBook Pro（Ubuntu 24.04、AMD Ryzen AI MAX+ 395、128GB 统一内存）为例，详细讲解了如何用 Ollama 部署 Qwen3.8 27B 模型。文章先解释了本地 AI 的真正价值——隐私、控制权、可接入工作流，而非省钱；然后指导读者判断硬件是否够用、如何选择合适的模型版本和量化等级，并用五步完成部署验证。随后介绍通过 Open WebUI 搭建日常使用界面，以及如何接入个人资料构建知识库（RAG），应用于科研和内容创作场景，最终将 AI 从网页聊天框变成个人设备上的基础设施。
本文是一篇面向小手的本地大模型部署教程，作者在配备 AMD Ryzen AI MAX+ 395、64GB 统一内存的 Ubuntu 24.04 机器上，完整演示了如何用 Ollama 部署千问 Qwen3.8 27B 量化模型（UD-Q3_K_XL）。文章首先解释了本地化部署、参数规模、量化（Q3_K_XL）、token 等基础概念，说明本地部署的隐私、离线使用、无次数限制等优势。随后分 Windows 和 Linux 两条路线讲解环境检查、Ollama 安装、模型下载（约 13GB，运行占 29GB）、首次对话，以及如何确认 GPU（ROCm/Vulkan）真正接管计算，并提供常见问题排查方法，最终一条命令即可在本地跑通模型。
作者在懒猫AI算力舱 X5（128GB显存）上部署 Qwen 3.8 27B 稠密模型，真实项目中跑了4个任务均完成良好。通过 MTP 投机解码 + NVFP8 混合优化并关闭 thinking 模式，速度从 13.9 提升到 30.8 Tokens；但发现关闭思考模式会降低代码推理准确度，重新开启后实测稳定 26.47 Tokens（含思考阶段实际可达 35.23 Tokens/s）。后续还将通过重新量化构建 draft engine 进一步提速。
文章介绍了如何利用 Ollama v0.24+ 在本地免费运行 OpenAI Codex。通过集成 Gemma 4、Qwen 3.6 等开源模型，用户可以实现零成本、无限制且隐私安全的代码编写体验。文中详细讲解了 Codex Desktop App 和 CLI 的配置方法，并推荐了适配不同硬件的模型。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
文章分析MiniMax开放M3.1 Flash权重背后的战略逻辑。该模型曾以Space Bunny Alpha匿名形式在OpenRouter上线，72小时内消耗超100万亿token，性能超过前旗舰M3且成本减半。MiniMax通过开源最强模型，目标是让全球Agent默认运行在自己的模型上，与美国公司把模型锁进自家harness收订阅费的做法相反。文章对比中美模型公司的不同路径，并讨论了中国大模型技术出口登记政策及开源出海的规范化进程。
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
DeepSeek 于 10 月 17 日发布 V4.1-Flash-1017 版本，AI 编程跑分显著提升，DeepSWE 达 77.0 超越 Claude Opus 5，任务平均费用降至原来的三分之一。作者使用 DeepSeek Harness 实测四个项目：3D 城市生成器对比显示新版的重庆、西安等地标建筑辨识度大幅提升，耗时从 102 分钟降至 61 分钟；许愿式编程能快速产出 3D 地铁跑酷游戏和天坛祈年殿建模；基于新开放的 Search/Fetch 接口开发的 AI 搜索引擎完成度很高。总花费仅 12.81 元，性价比突出，是一次实打实的帕累托改进。
本文是详细的保姆级教程，讲解如何通过本机中转站 Magpie 和 WorkBuddy AI 海外版账号，让 Codex 免费使用 DeepSeek V4.1 Flash 模型。作者介绍了从注册 WorkBuddy AI 账号、安装 Magpie、配置插件、将 Codex 接入 Magpie 的完整流程，并通过路由记录和积分验证免费模型的真实使用。进一步还介绍了路由组功能，实现自动任务分配：复杂任务（架构设计、bug 排查、代码评审）交给 GPT-6 Astra，代码编写等任务交给免费的 DeepSeek。全文在 Mac 环境下实操，包含一个 3D 网页开发的完整实践案例及踩坑经验分享。
Sigil Wen 宣传 Underdog 27B 端侧 AI 模型，声称其可在 Mac 和 iPhone 上运行并超越半年前的顶级模型 Claude Opus 4.6。文章提出核心观点：计算正从数据中心回归个人设备，未来大部分 AI token 将由个人设备生成。作者以'AI Y3K'概念警告云端数据安全风险——一切可被黑的系统终将被黑，唯一安全的数据是从未上传的数据。文章还指出日常任务不需要最大的模型，并通过自研 MSI 推理引擎提升消费级芯片性能。最终愿景是构建免费、私密、属于用户本人的 AI，对抗广告与数据收割的商业模式，让 AI 经济属于每个人。
