作者分享了在 M2 Pro Mac 上将 Qwen-Image 2.1 改图时间从 30 分钟压到 6.8 分钟（提速4.5倍）的完整方法论。首先通过耗时拆解定位瓶颈，然后叠加四个优化点：换用 Turbo 模型将去噪从20步降至8步；将 VAE 编解码切换到苹果 MLX 框架，从315秒降到15秒；实测发现 Q8 与 Q4 量化在扩散模型上速度相同，因此选用画质更好的 Q8；利用块因果结构实现前缀 KV 缓存，使每步采样时间减半。作者还用该流水线完成了一段10秒视频的逐帧换装，并通过肤色基准校正、锚点补偿和时序平滑三层方案解决了误差累积问题。
文章回顾了Karpathy在2023年指出的本地LLM推理瓶颈：解码阶段受限于内存带宽，每次前向传播只生成一个token，使得推理速度存在硬上限。以M5芯片和4-bit Qwen3.5 9B为例，理论极限约29 token/s，llama.cpp和MLX接近该上限。开源推理引擎Uzu通过组合优化突破瓶颈：采用4-bit/8-bit整数量化降低内存流量，利用M5的int8硬件加速路径，在量化前应用块对角随机Hadamard变换抑制离群值误差，并通过推测解码一次性验证多达16个草稿token。实测Uzu在M5上达到92-117 token/s，显著超越llama.cpp和MLX。
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
作者在 24GB 统一内存的 M4 Mac mini 上，从零完成了蚂蚁百灵开源的 6B 设计模型 Ming-Image-0.1-Design 的本地部署与测试。使用 MFLUX 加社区预量化权重（图像模型 8-bit、文本编码器 5-bit，约 19.3GB），过程中踩了 MFLUX 0.20.0 缺少 Ming 命令入口的坑，改用 GitHub 源码安装后跑通。随后围绕咖啡主题测试了五项能力：海报设计、UI/Dashboard、信息图、文字渲染排版和透明背景素材，单张生成耗时约 2-4 分钟，MLX 峰值内存 15-18GB。结论是海报、菜单和信息图版面完整可用，但严格文字与数据细节仍需逐项检查。
Mathias Strasser（Scissero）基于 Qwen3.5 和 Gemma 4 微调出 Jeff 系列 0.8B/2B 决策模型，用于零样本分类：输入描述与选项，一次前向传播返回各选项校准概率。模型在 RTX PRO 6000 上约 22 毫秒、M4 Max 上 28 毫秒即可完成一次决策，0.8B 仅 1.7GB，可直接本地部署。整体基准分 Jeff-2B 达 83.1，几乎追平 Jev 的 83.0；Doom 零样本测试中 Jeff-0.8B 在无人提示规则下达到 6.55，追平 Jev 公布成绩。作者诚实列出局限：不能推理、最多 26 个选项、只支持英文文本等。代码 MIT、权重 Apache 2.0 开源。
文章针对 Apple 新发布的 M6 Mac mini 与 M5 Mac Studio 系列，系统讲解如何为本地运行大模型选择合适配置。作者提出三笔账：内存容量决定模型能否装下、内存带宽决定生成速度、算力决定提示词处理和训练能力。给出 4 位量化模型内存估算公式和生成速度理论公式，并提供四档选购建议：24-32GB 跑 8B-14B、64GB 跑 32B、128GB 跑 70B、256-512GB 跑 200B 以上或 671B MoE。最后指出数据保密、高频调用、离线需求才是为本地模型购买大内存 Mac 的真正理由。
作者在 48GB 内存 MacBook Pro（M4 Pro）上成功部署了磁盘体积约 70GB 的 Qwen3.8-Flash-Next REAP-288 MLX 4-bit 模型。文章解析了能跑起来的三重原因：REAP 将每层 512 个专家裁剪至 288 个、主模型与 PLE n-gram 表均做 4-bit 量化、以及 51B 参数的 PLE 表通过 mmap 留在 NVMe 按需流式读取。实际驻留约 39GB，首次加载约 10.14 秒，decode 稳定在 26～29 token/s，prefill 峰值约 149 token/s。实测最大上下文仅 8,217 tokens（配置声明 262K），建议日常使用 7,680 tokens。文章还记录了 Metal 内存上限调整、oMLX 服务启动及完整基准测试过程。
本文面向第一次在 Hugging Face 下载本地大模型的用户，讲解如何理解各种参数和名词。作者提出把整条链路分为五层：硬件资源、模型本身、权重精度与量化、文件格式、推理框架。文章依次解释了显存与统一内存的区别、参数量与文件大小的估算、Dense 与 MoE 架构差异、Base/Instruct/VL 等版本选择、BF16/FP8/4bit 等精度概念、GGUF 格式与量化方案、Safetensors 分片与配置文件、Hugging Face 页面阅读顺序，以及 MLX、llama.cpp、Ollama、LM Studio 等工具的关系，帮助新手不再凭文件名猜测下载。
本文详细介绍了如何在 Apple Silicon Mac 上从零部署 Qwen3.8-27B 模型。作者苏乐指出，普通 Mac 无需升级到最新 Mac Studio 即可运行该模型，关键在于算清内存账：模型权重、上下文缓存、运行缓冲、草稿模型和系统开销共享统一内存。文章对比了 4-bit、8-bit 和 BF16 量化版本的选择建议（24GB/32GB 选 4-bit，48GB/64GB 可选 8-bit），并提供了完整的部署流程：使用 uv 管理环境、通过 hf 命令下载模型、先测 baseline 速度再逐步开启优化。文章还解释了 DFlash 2 投机解码加速原理——通过轻量草稿模型并行提出候选 token，再由主模型验证，从而显著提升生成速度。
作者记录了在 Mac mini（M4、16GB）上部署蚂蚁开源的混合推理小模型 Ling-3.0-tiny 的完整过程：编译 Ollama 实验分支、下载 FP8/BF16 权重并导入，验证服务后搭建了一个只调用本机接口的写作页面。随后用一篇真实口述稿进行四轮写作测试——提炼结构、检查问题、局部改写和反馈调整，发现模型擅长结构整理与问题扫描，但润色时 AI 味重，难以还原作者口吻。文章还对比了 FP8 与 BF16 的输入输出速度，并总结了端口冲突、上下文设置和接口安全等部署注意事项，最后给出将其用于写作第一轮辅助的定位。
文章介绍了蚂蚁刚开源的本地小模型 Ling-3.0-tiny（7.9B 总参数，每 token 激活 1.3B），在 Apple Silicon Mac 上的部署与实测表现。作者通过让 Cursor/Codex 自动部署 Rapid-MLX 的 4bit 版本，实测 M3 Max 上首字延迟约 55 毫秒，稳态解码约 110-125 tok/s，4bit 权重仅 4.2GB。该模型适合本机快速开发、大纲草稿、纪要压缩、做课件等短任务，也可接入 workbuddy 作为日常模型，但不适合复杂推理和长知识问答。文中给出了完整部署提示词、速度测试和文案处理实测案例。
文章介绍了一套面向新手的本地化AI方案：用DeepSeek Harness作为Agent框架读取文件、运行工具，配合本机运行的Ling-3.0-tiny（7.9B总参数、约1.3B激活参数的MoE模型）完成推理，适用于律师事务所、财税、医疗等需要处理敏感文档的场景。作者在2021款MacBook Pro（M1 Pro、32GB内存）上实测，生成速度约40 tokens/s，可胜任合同摘要、结构化抽取、多文档时间线整理和交叉核对等任务。文章详细说明了部署步骤，并通过虚构法律文书的摘要、JSON抽取、时间线生成三项测试验证效果，同时提醒本地运行不等于自动合规，专业文书仍需人工复核。
作者在 48GB M4 Pro MacBook 上对比了 Qwen3.8-27B 的四组运行配置：官方 4-bit、Uncensored 版、官方 4-bit + DFlash2 草稿模型，以及 oQ4e + MTP。结果显示 DFlash2 平均提速 75%（约 26.96 token/s），数学与 GSM8K 场景超过两倍；oQ4e + MTP 在长文与代码负载下分别达 24.9 和 34.1 token/s，代码吞吐最高但部署复杂、首 token 延迟明显。结论是日常优先官方 4-bit + DFlash2，代码和长输出用 MTP，Uncensored 仅限隔离环境研究使用。
作者回顾了自己四个月学习 AI 的历程，从最初用蚂蚁百灵大模型 Ling-3.0-tiny 整理装修业务流程、拆解游戏开发任务、到设计四轮装修改稿测试验证模型规则意识，共经历三个阶段。最终在 M5、24GB 内存的 MacBook 上完成 Ling-3.0-Tiny INT4 本地部署，构建 Ollama/MLX 运行路径，并搭建基于 Obsidian 的只读检索层，让模型担任“本地项目情报员”。作者强调普通人学 AI 应先解决一件真实的小事。
作者介绍了在 MacBook M4 Pro 上部署蚂蚁百灵开源的 Ling-3.0-tiny 稀疏 MoE 模型的完整过程，用于处理 48G 微信记录和 237 篇日记等隐私数据。文章详述了 FP8 权重选择、编译 MLX 后端 ollama、避坑指南等实操细节，实测生成速度约 78-99 tokens/s。在脱敏、命名实体识别、长文压缩、去重四个场景中表现优异，并总结分工原则：抽取任务交给本地模型，语义判断留给云端模型。
作者在 MacBook Pro M3 Max 上本地部署蚂蚁百灵开源的 Ling-3.0-tiny（总参数 7.9B、激活 1.3B），编译 Ollama 的 BailingMoeV3 分支导入 FP8 与 BF16 两个精度版本，实测输出速度分别约 106 和 81 tokens/s。随后通过 OpenAI 兼容协议将模型接入 DeepSeek Harness，让它把自己的底稿《文科生学 AI，先补一层计算机常识》重写成公众号文章。结果模型完整跑完任务、未瞎编内容，但句子偏碎且擅自添加内容，直出终稿尚早。文中还总结了部署与配置过程中的一系列坑及避坑指南。
