本文记录了一位非计算机出身的普通用户，借助 AI 助手，成功在双节点 NVIDIA DGX Spark 上部署蚂蚁百灵 124B 参数的 Ling-3.0-flash 模型，并完成单机 FP4 与双机 FP8 的对比评测。文章详细介绍了从模型下载、SGLang 编译、单机部署到双机配置、公网 API 开放的全过程，并提供了性能数据、踩坑清单和 AI 协作方法论。核心结论是：双机在长输入预填充上优势明显（2.2倍），但解码速度提升有限；上下文长度是硬约束，单机 FP4 适合日常任务，双机 FP8 适合长文档处理。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
文章以 DeepSeek 开源的 V4-Flash-Vision-Exp 为例，深入浅出地讲解大模型的本质：一个做矩阵运算的超大函数。作者介绍了模型文件结构（权重分片、config.json、tokenizer.json），并详细解析输入输出处理流程，包括文本分词、BPE 算法、Embedding、MoE 混合专家架构、概率性输出与自回归生成机制。此外还逐项解读了核心参数，如词表大小、网络层数、注意力头数、YaRN 长上下文伸缩、视觉模块和 FP8/FP4 低精度量化等，帮助读者建立对大模型原理的整体认知。
文章系统盘点了 2026 年值得关注的开源 AI 模型，涵盖语言、图片、视频三大类别，包括 Qwen、DeepSeek、Kimi、GLM、MiniMax、混元等国产阵营及海外模型。作者拆解了模型命名规则（参数量、MoE、量化、许可证等），提出五步选型筛选法，并比较各硬件平台（Mac 统一内存、NPU AI PC、大内存 APU 等）的适配能力。文章还讲解了本地部署的适用场景与许可注意事项，最后通过 Mac 和 Windows 双机实测检验模型在文字、看图、分镜和视频任务上的真实表现，帮助读者判断自己需要哪类模型以及电脑能否带动。
本文详细介绍如何在本地部署阿里开源的 Qwen3.8 27B 模型，覆盖 Mac 和 N 卡两条路线，并附 4090 实测数据。作者通过四轮质量测试发现 9.83GB 压缩版在短任务上与 30GB 版本打平，指出 12GB 游戏卡即可运行。文章系统讲解硬件选型、量化版本选择、KV Cache 显存计算、MTP 加速配置及常见踩坑，强调窗口大小只占显存不影响速度这一关键认知，是一篇面向零基础用户的完整部署指南。
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
本文是AI工程全景的中篇，深入探讨了模型训练完成后的工程化路径。首先详述了推理优化的核心手段，包括模型瘦身（量化、蒸馏、剪枝、MoE）、投机解码以及主流推理引擎（vLLM, TensorRT-LLM, SGLang）的生态格局。文章分析了成本、延迟与吞吐的“不可能三角”，并重点介绍了“测试时计算”这一范式转变，即通过在推理阶段增加计算量来动态提升模型智能。
文章记录了作者利用中国开源模型 MiniMax M2.5（仅 10B 激活参数），通过行为工程和 Goose 运行时的优化，在 Databricks OfficeQA 基准测试中以 71.5% 的准确率击败了 Claude Opus 4.5 的实战经历。文章指出，企业级 AI 的竞争已从单纯的模型参数量转向行为工程与驾驭层能力，并揭示了中美 AI 生态（中国执行引擎+美国编排方法论）结合所产生的高效低成本优势。
月之暗面发布 Kimi K3.1 Pro，3万亿参数MoE架构、100万token上下文、开源权重，API输出价格仅为GPT-6 Astra的五分之一。作者从跑分和实测两方面评估：官方xdev-bench-hard编程成功率64.5%排第二，幻觉测试同样第二，第三方智能指数全场第四、开源第一。实测中，作者用相同提示词让K3.1 Pro与GPT-6 Astra分别开发3D跳一跳和植物大战僵尸游戏，两者均一次成型无bug。Kimi耗时约10分钟但会自我验证和修正，Astra快近5倍且细节更丰富。结论：K3.1 Pro编程能力接住闭源旗舰，价格是杀手锏，适合重度Agent用户。
月之暗面发布 Kimi K3.1 Pro，基于 K3 做 post-training 升级，2.8T 总参数、104B 激活（MoE）、1M 上下文、多模态。Terminal-Bench 4.0 得分 65.7，超越 GPT-6 Astra（58.2），仅落后 Claude Opus 5.5（66.4）0.7 分，是开源模型离闭源最强最接近的一次。API 价格输入 $2/输出 $10，比上一代降价三分之一，权重将于 11 月 4 日开源。文章拆解了 14 项评测表现，指出其在编码、Agent、金融分析领域表现出色，但科学计算类任务偏科严重（38.1 vs 68.1），并给出小白使用入口与避坑清单。
文章分析MiniMax开放M3.1 Flash权重背后的战略逻辑。该模型曾以Space Bunny Alpha匿名形式在OpenRouter上线，72小时内消耗超100万亿token，性能超过前旗舰M3且成本减半。MiniMax通过开源最强模型，目标是让全球Agent默认运行在自己的模型上，与美国公司把模型锁进自家harness收订阅费的做法相反。文章对比中美模型公司的不同路径，并讨论了中国大模型技术出口登记政策及开源出海的规范化进程。
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
DeepSeek 于 10 月 17 日发布 V4.1-Flash-1017 版本，AI 编程跑分显著提升，DeepSWE 达 77.0 超越 Claude Opus 5，任务平均费用降至原来的三分之一。作者使用 DeepSeek Harness 实测四个项目：3D 城市生成器对比显示新版的重庆、西安等地标建筑辨识度大幅提升，耗时从 102 分钟降至 61 分钟；许愿式编程能快速产出 3D 地铁跑酷游戏和天坛祈年殿建模；基于新开放的 Search/Fetch 接口开发的 AI 搜索引擎完成度很高。总花费仅 12.81 元，性价比突出，是一次实打实的帕累托改进。
