作者在 MacBook Pro M3 Max 上本地部署蚂蚁百灵开源的 Ling-3.0-tiny（总参数 7.9B、激活 1.3B），编译 Ollama 的 BailingMoeV3 分支导入 FP8 与 BF16 两个精度版本，实测输出速度分别约 106 和 81 tokens/s。随后通过 OpenAI 兼容协议将模型接入 DeepSeek Harness，让它把自己的底稿《文科生学 AI，先补一层计算机常识》重写成公众号文章。结果模型完整跑完任务、未瞎编内容，但句子偏碎且擅自添加内容，直出终稿尚早。文中还总结了部署与配置过程中的一系列坑及避坑指南。
作者记录了在 Mac mini（M4、16GB）上部署蚂蚁开源的混合推理小模型 Ling-3.0-tiny 的完整过程：编译 Ollama 实验分支、下载 FP8/BF16 权重并导入，验证服务后搭建了一个只调用本机接口的写作页面。随后用一篇真实口述稿进行四轮写作测试——提炼结构、检查问题、局部改写和反馈调整，发现模型擅长结构整理与问题扫描，但润色时 AI 味重，难以还原作者口吻。文章还对比了 FP8 与 BF16 的输入输出速度，并总结了端口冲突、上下文设置和接口安全等部署注意事项，最后给出将其用于写作第一轮辅助的定位。
文章介绍了蚂蚁刚开源的本地小模型 Ling-3.0-tiny（7.9B 总参数，每 token 激活 1.3B），在 Apple Silicon Mac 上的部署与实测表现。作者通过让 Cursor/Codex 自动部署 Rapid-MLX 的 4bit 版本，实测 M3 Max 上首字延迟约 55 毫秒，稳态解码约 110-125 tok/s，4bit 权重仅 4.2GB。该模型适合本机快速开发、大纲草稿、纪要压缩、做课件等短任务，也可接入 workbuddy 作为日常模型，但不适合复杂推理和长知识问答。文中给出了完整部署提示词、速度测试和文案处理实测案例。
文章介绍了一套面向新手的本地化AI方案：用DeepSeek Harness作为Agent框架读取文件、运行工具，配合本机运行的Ling-3.0-tiny（7.9B总参数、约1.3B激活参数的MoE模型）完成推理，适用于律师事务所、财税、医疗等需要处理敏感文档的场景。作者在2021款MacBook Pro（M1 Pro、32GB内存）上实测，生成速度约40 tokens/s，可胜任合同摘要、结构化抽取、多文档时间线整理和交叉核对等任务。文章详细说明了部署步骤，并通过虚构法律文书的摘要、JSON抽取、时间线生成三项测试验证效果，同时提醒本地运行不等于自动合规，专业文书仍需人工复核。
作者回顾了自己四个月学习 AI 的历程，从最初用蚂蚁百灵大模型 Ling-3.0-tiny 整理装修业务流程、拆解游戏开发任务、到设计四轮装修改稿测试验证模型规则意识，共经历三个阶段。最终在 M5、24GB 内存的 MacBook 上完成 Ling-3.0-Tiny INT4 本地部署，构建 Ollama/MLX 运行路径，并搭建基于 Obsidian 的只读检索层，让模型担任“本地项目情报员”。作者强调普通人学 AI 应先解决一件真实的小事。
作者介绍了在 MacBook M4 Pro 上部署蚂蚁百灵开源的 Ling-3.0-tiny 稀疏 MoE 模型的完整过程，用于处理 48G 微信记录和 237 篇日记等隐私数据。文章详述了 FP8 权重选择、编译 MLX 后端 ollama、避坑指南等实操细节，实测生成速度约 78-99 tokens/s。在脱敏、命名实体识别、长文压缩、去重四个场景中表现优异，并总结分工原则：抽取任务交给本地模型，语义判断留给云端模型。
作者在 48GB 内存 MacBook Pro（M4 Pro）上成功部署了磁盘体积约 70GB 的 Qwen3.8-Flash-Next REAP-288 MLX 4-bit 模型。文章解析了能跑起来的三重原因：REAP 将每层 512 个专家裁剪至 288 个、主模型与 PLE n-gram 表均做 4-bit 量化、以及 51B 参数的 PLE 表通过 mmap 留在 NVMe 按需流式读取。实际驻留约 39GB，首次加载约 10.14 秒，decode 稳定在 26～29 token/s，prefill 峰值约 149 token/s。实测最大上下文仅 8,217 tokens（配置声明 262K），建议日常使用 7,680 tokens。文章还记录了 Metal 内存上限调整、oMLX 服务启动及完整基准测试过程。
本文详细介绍了如何在 Apple Silicon Mac 上从零部署 Qwen3.8-27B 模型。作者苏乐指出，普通 Mac 无需升级到最新 Mac Studio 即可运行该模型，关键在于算清内存账：模型权重、上下文缓存、运行缓冲、草稿模型和系统开销共享统一内存。文章对比了 4-bit、8-bit 和 BF16 量化版本的选择建议（24GB/32GB 选 4-bit，48GB/64GB 可选 8-bit），并提供了完整的部署流程：使用 uv 管理环境、通过 hf 命令下载模型、先测 baseline 速度再逐步开启优化。文章还解释了 DFlash 2 投机解码加速原理——通过轻量草稿模型并行提出候选 token，再由主模型验证，从而显著提升生成速度。
作者在 AMD Ryzen AI MAX+ 395 小主机上，用相同提示词和 Hermes 环境，对 Ling-3.0-tiny 与 Qwen3.5-9B（均 Q8_0、64K 上下文）跑三份真实业务任务：电商中台需求整理、商务合作决策备忘录、X 长文数据分析。结果 Ling 在前两轮抓住主线、输出可继续修改，总耗时仅约为 Qwen 的 56%；Qwen 在数据题上更稳，但商务任务两次失控，一次忘记任务、一次虚构公司实体。作者最终选择 Ling 作为默认模型，并强调应以模型最差一轮而非最好一轮作为取舍标准，同时收紧本地 Agent 的权限边界，保持人工把关。
本文详细介绍如何在本地部署阿里开源的 Qwen3.8 27B 模型，覆盖 Mac 和 N 卡两条路线，并附 4090 实测数据。作者通过四轮质量测试发现 9.83GB 压缩版在短任务上与 30GB 版本打平，指出 12GB 游戏卡即可运行。文章系统讲解硬件选型、量化版本选择、KV Cache 显存计算、MTP 加速配置及常见踩坑，强调窗口大小只占显存不影响速度这一关键认知，是一篇面向零基础用户的完整部署指南。
本文详细介绍了阿里通义千问团队发布的Qwen3.8-27B模型的本地部署方法。文章首先分析了不同硬件配置下可选的模型量化版本，然后提供了两套部署方案：一是使用GGUF+llama.cpp，适合24GB显存或Apple Silicon用户；二是使用官方FP8+vLLM，适合48GB以上NVIDIA显存用户。此外，还介绍了如何将模型接入IDE、Agent或自定义应用，并总结了常见的五个部署陷阱及解决方案。最后，作者强调了本地部署在数据隐私、模型可控性和理解底层技术方面的价值。
文章介绍了如何利用 Ollama v0.24+ 在本地免费运行 OpenAI Codex。通过集成 Gemma 4、Qwen 3.6 等开源模型，用户可以实现零成本、无限制且隐私安全的代码编写体验。文中详细讲解了 Codex Desktop App 和 CLI 的配置方法，并推荐了适配不同硬件的模型。
文章精选了69个经过实战验证、维护活跃的开源AI仓库，旨在替代昂贵的API订阅。内容涵盖完整的AI技术栈，包括本地大模型推理、RAG知识库构建、AI智能体框架、提示词与评估、模型微调、工具链及部署等十大领域，为开发者、研究人员和独立黑客提供免费的生产级AI工具清单。
