作者在 48GB M4 Pro MacBook 上对比了 Qwen3.8-27B 的四组运行配置：官方 4-bit、Uncensored 版、官方 4-bit + DFlash2 草稿模型，以及 oQ4e + MTP。结果显示 DFlash2 平均提速 75%（约 26.96 token/s），数学与 GSM8K 场景超过两倍；oQ4e + MTP 在长文与代码负载下分别达 24.9 和 34.1 token/s，代码吞吐最高但部署复杂、首 token 延迟明显。结论是日常优先官方 4-bit + DFlash2，代码和长输出用 MTP，Uncensored 仅限隔离环境研究使用。
作者在 48GB 内存 MacBook Pro（M4 Pro）上成功部署了磁盘体积约 70GB 的 Qwen3.8-Flash-Next REAP-288 MLX 4-bit 模型。文章解析了能跑起来的三重原因：REAP 将每层 512 个专家裁剪至 288 个、主模型与 PLE n-gram 表均做 4-bit 量化、以及 51B 参数的 PLE 表通过 mmap 留在 NVMe 按需流式读取。实际驻留约 39GB，首次加载约 10.14 秒，decode 稳定在 26～29 token/s，prefill 峰值约 149 token/s。实测最大上下文仅 8,217 tokens（配置声明 262K），建议日常使用 7,680 tokens。文章还记录了 Metal 内存上限调整、oMLX 服务启动及完整基准测试过程。
文章回顾了Karpathy在2023年指出的本地LLM推理瓶颈：解码阶段受限于内存带宽，每次前向传播只生成一个token，使得推理速度存在硬上限。以M5芯片和4-bit Qwen3.5 9B为例，理论极限约29 token/s，llama.cpp和MLX接近该上限。开源推理引擎Uzu通过组合优化突破瓶颈：采用4-bit/8-bit整数量化降低内存流量，利用M5的int8硬件加速路径，在量化前应用块对角随机Hadamard变换抑制离群值误差，并通过推测解码一次性验证多达16个草稿token。实测Uzu在M5上达到92-117 token/s，显著超越llama.cpp和MLX。
本文详细介绍了如何在 Apple Silicon Mac 上从零部署 Qwen3.8-27B 模型。作者苏乐指出，普通 Mac 无需升级到最新 Mac Studio 即可运行该模型，关键在于算清内存账：模型权重、上下文缓存、运行缓冲、草稿模型和系统开销共享统一内存。文章对比了 4-bit、8-bit 和 BF16 量化版本的选择建议（24GB/32GB 选 4-bit，48GB/64GB 可选 8-bit），并提供了完整的部署流程：使用 uv 管理环境、通过 hf 命令下载模型、先测 baseline 速度再逐步开启优化。文章还解释了 DFlash 2 投机解码加速原理——通过轻量草稿模型并行提出候选 token，再由主模型验证，从而显著提升生成速度。
文章介绍了蚂蚁刚开源的本地小模型 Ling-3.0-tiny（7.9B 总参数，每 token 激活 1.3B），在 Apple Silicon Mac 上的部署与实测表现。作者通过让 Cursor/Codex 自动部署 Rapid-MLX 的 4bit 版本，实测 M3 Max 上首字延迟约 55 毫秒，稳态解码约 110-125 tok/s，4bit 权重仅 4.2GB。该模型适合本机快速开发、大纲草稿、纪要压缩、做课件等短任务，也可接入 workbuddy 作为日常模型，但不适合复杂推理和长知识问答。文中给出了完整部署提示词、速度测试和文案处理实测案例。
作者在一台单通道 16GB 内存、无独显的 Ryzen 5 5600G 台式机上，使用 llama.cpp 官方版部署 Ling-3.0-tiny（Q4KM 量化），实测生成速度 21.70 tok/s，比配置更强的 64GB+3090 机器快近 4 倍。经排查，差异源于推理引擎版本而非硬件。文章还分析了该模型线性注意力架构带来的超低上下文内存开销（约 6.79 KiB/token），总结了思考模式、Windows 编码、线程设置三个实践坑，并给出三步部署教程，证明普通电脑即可流畅本地运行该模型。
作者介绍了在 MacBook M4 Pro 上部署蚂蚁百灵开源的 Ling-3.0-tiny 稀疏 MoE 模型的完整过程，用于处理 48G 微信记录和 237 篇日记等隐私数据。文章详述了 FP8 权重选择、编译 MLX 后端 ollama、避坑指南等实操细节，实测生成速度约 78-99 tokens/s。在脱敏、命名实体识别、长文压缩、去重四个场景中表现优异，并总结分工原则：抽取任务交给本地模型，语义判断留给云端模型。
本文对比 NVIDIA DGX Spark 与双 48G 魔改 RTX 4090 两台偏科硬件，测试 Qwen3.8-27B（Dense）与 Ling-3.0-flash（稀疏 MoE）四个组合的推理表现。作者详细讲解 Dense/MoE 区别、显存带宽与算力的关系、投机解码与 MTP 原理，并给出单会话速度、并发吞吐的实测数据。结论是 Spark 适合跑 MoE 或量化模型，双 4090 借助高带宽速度更快，Ling 在并发服务上吞吐约为 Qwen 的 2.4 倍，并给出选购建议。
作者分享了在 M2 Pro Mac 上将 Qwen-Image 2.1 改图时间从 30 分钟压到 6.8 分钟（提速4.5倍）的完整方法论。首先通过耗时拆解定位瓶颈，然后叠加四个优化点：换用 Turbo 模型将去噪从20步降至8步；将 VAE 编解码切换到苹果 MLX 框架，从315秒降到15秒；实测发现 Q8 与 Q4 量化在扩散模型上速度相同，因此选用画质更好的 Q8；利用块因果结构实现前缀 KV 缓存，使每步采样时间减半。作者还用该流水线完成了一段10秒视频的逐帧换装，并通过肤色基准校正、锚点补偿和时序平滑三层方案解决了误差累积问题。
文章介绍了 HuggingFace 上 AtomicChat 发布的 Qwen-Image-2.1-Turbo GGUF 量化版及去审查文本编码器。作者澄清该编码器仅移除拒绝倾向，对画图内容几乎无影响，其真正价值在于提供低显存无损量化方案。文章详细记录在 RTX 5060（8G 显存）真机上使用 ComfyUI 部署的完整流程：4 个模型文件的下载与存放、11 节点工作流配置，以及 5 个实测踩坑与解法（工作流 JSON 参数顺序、去噪器/编码器混淆、GGUF 架构识别错误、mmproj 缺失、latent 连接问题）。实测首次出图约 2 分钟，之后每次约 1 分钟，并附 4 组提示词与量化选型表。
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
作者在 24GB 统一内存的 M4 Mac mini 上，从零完成了蚂蚁百灵开源的 6B 设计模型 Ming-Image-0.1-Design 的本地部署与测试。使用 MFLUX 加社区预量化权重（图像模型 8-bit、文本编码器 5-bit，约 19.3GB），过程中踩了 MFLUX 0.20.0 缺少 Ming 命令入口的坑，改用 GitHub 源码安装后跑通。随后围绕咖啡主题测试了五项能力：海报设计、UI/Dashboard、信息图、文字渲染排版和透明背景素材，单张生成耗时约 2-4 分钟，MLX 峰值内存 15-18GB。结论是海报、菜单和信息图版面完整可用，但严格文字与数据细节仍需逐项检查。
Sigil Wen 宣传 Underdog 27B 端侧 AI 模型，声称其可在 Mac 和 iPhone 上运行并超越半年前的顶级模型 Claude Opus 4.6。文章提出核心观点：计算正从数据中心回归个人设备，未来大部分 AI token 将由个人设备生成。作者以'AI Y3K'概念警告云端数据安全风险——一切可被黑的系统终将被黑，唯一安全的数据是从未上传的数据。文章还指出日常任务不需要最大的模型，并通过自研 MSI 推理引擎提升消费级芯片性能。最终愿景是构建免费、私密、属于用户本人的 AI，对抗广告与数据收割的商业模式，让 AI 经济属于每个人。
