全链路本地化 AI 应用实践：从端侧微调到 Ambrosia
作者构建了名为 Ambrosia 的离线 AI 护肤日记应用，全过程在本地设备完成。文章探讨了端侧模型在硬件适应性、成本及隐私方面的优势，详细记录了基于 Qwen3-VL-2B 模型在本地 MacBook 上进行 LoRA 微调并在 iPhone 上部署的实践，强调了针对特定任务约束小模型比通用助手更高效，展望了边缘智能与算力结合的未来。
相关文档
12G显存部署125B Qwen3.8-Flash-Next 全攻略
本文介绍了如何借助Strata框架和Agent自动化流程，在12GB消费级显卡上部署125B参数的MoE模型Qwen3.8-Flash-Next。文章解释了MoE稀疏激活（每token仅激活6B）与Strata让GPU、CPU、RAM、SSD协同工作的原理，对比了不同量化方案（UD-IQ4_XS与UD-Q4_K_XL）在专家缓存命中率上的速度差异。作者全程使用蚂蚁的Ling-3.1-flash Agent完成从读文档、检查硬件、安装、排错到测速验收的部署流程，并成功将本地模型接入pi。该方法可复用于部署Ling、GLM、Kimi、DeepSeek等其他本地模型。
12G显存部署125B Qwen3.8-Flash-Next 全攻略
本文介绍如何在12GB显存上部署125B参数的Qwen3.8-Flash-Next模型。核心是Strata技术让GPU、CPU、RAM和SSD协同工作：常用专家留GPU，其余放RAM，CPU处理cache miss。RTX 5070 12GB + 64GB RAM在Q2_0量化下短对话可达94 tok/s。文章还讲解了量化选择策略——显存占用相同时速度可差1.72倍，关键在于专家命中率。作者全程使用蚂蚁的Ling-3.1-flash Agent自动完成从检查机器、选权重、下载安装到排错验收的完整部署流程，跑通了一套用Agent自动部署本地模型的可复用方法。
权重压到 4 bit，大模型为什么还能工作？
文章以 Qwen3.8-27B 为例，系统讲解大模型权重量化的原理。从参数如何参与矩阵乘法运算入手，说明 bit 数与编码格式（FP16、BF16、INT4）的关系，演示 0.73 如何被 4 bit 编码为 0.8 并引入误差。深入分析了刻度选择中范围、分辨率与截断误差的取舍，权重误差如何随输入放大为输出误差，以及 GPTQ、AWQ、PTQ、QAT 等量化方法如何利用校准数据控制误差。最后估算 4 bit 模型的存储大小（约 13.5-19 GB），讲解 KV 缓存、混合注意力结构对显存的影响，并给出选择和评估本地量化模型的实用建议。
AI Must Belong to You
Sigil Wen 宣传 Underdog 27B 端侧 AI 模型，声称其可在 Mac 和 iPhone 上运行并超越半年前的顶级模型 Claude Opus 4.6。文章提出核心观点：计算正从数据中心回归个人设备，未来大部分 AI token 将由个人设备生成。作者以'AI Y3K'概念警告云端数据安全风险——一切可被黑的系统终将被黑，唯一安全的数据是从未上传的数据。文章还指出日常任务不需要最大的模型，并通过自研 MSI 推理引擎提升消费级芯片性能。最终愿景是构建免费、私密、属于用户本人的 AI，对抗广告与数据收割的商业模式，让 AI 经济属于每个人。
70GB 模型跑在 48GB Mac 上：Qwen3.8-Flash-Next 部署实录
作者在 48GB 内存 MacBook Pro（M4 Pro）上成功部署了磁盘体积约 70GB 的 Qwen3.8-Flash-Next REAP-288 MLX 4-bit 模型。文章解析了能跑起来的三重原因：REAP 将每层 512 个专家裁剪至 288 个、主模型与 PLE n-gram 表均做 4-bit 量化、以及 51B 参数的 PLE 表通过 mmap 留在 NVMe 按需流式读取。实际驻留约 39GB，首次加载约 10.14 秒，decode 稳定在 26～29 token/s，prefill 峰值约 149 token/s。实测最大上下文仅 8,217 tokens（配置声明 262K），建议日常使用 7,680 tokens。文章还记录了 Metal 内存上限调整、oMLX 服务启动及完整基准测试过程。
从零安装Qwen3.8-27B：Mac本地部署与性能调优指南
本文详细介绍了如何在 Apple Silicon Mac 上从零部署 Qwen3.8-27B 模型。作者苏乐指出，普通 Mac 无需升级到最新 Mac Studio 即可运行该模型，关键在于算清内存账：模型权重、上下文缓存、运行缓冲、草稿模型和系统开销共享统一内存。文章对比了 4-bit、8-bit 和 BF16 量化版本的选择建议（24GB/32GB 选 4-bit，48GB/64GB 可选 8-bit），并提供了完整的部署流程：使用 uv 管理环境、通过 hf 命令下载模型、先测 baseline 速度再逐步开启优化。文章还解释了 DFlash 2 投机解码加速原理——通过轻量草稿模型并行提出候选 token，再由主模型验证，从而显著提升生成速度。
一只399美元的机器鸭，让资金重新看瑞芯微
文章通过开源机器鸭项目Microduck（售价399美元，基于RK3566芯片运行神经网络策略控制15个舵机）切入，指出瑞芯微正从消费电子SoC厂商转型为端侧AI部署平台。作者用GitHub数据分析：rknn-toolkit2、rknn_model_zoo、rknn-llm三大AI工具链仓库两年Star数增长约322%，远超传统项目；Hugging Face上RK3588相关模型96.9%创建于近两年。瑞芯微恰好位于MCU与英伟达Jetson之间的算力断层带，适合门禁、机器人、会议终端等海量中端设备。文章同时提醒Star不等于收入、RKNN3工具链不兼容等风险，认为瑞芯微无需击败英伟达，只需拿下低成本端侧智能市场。
千问 Qwen3.8 27B 本地化部署：小白保姆级教程
本文是一篇面向小手的本地大模型部署教程，作者在配备 AMD Ryzen AI MAX+ 395、64GB 统一内存的 Ubuntu 24.04 机器上，完整演示了如何用 Ollama 部署千问 Qwen3.8 27B 量化模型（UD-Q3_K_XL）。文章首先解释了本地化部署、参数规模、量化（Q3_K_XL）、token 等基础概念，说明本地部署的隐私、离线使用、无次数限制等优势。随后分 Windows 和 Linux 两条路线讲解环境检查、Ollama 安装、模型下载（约 13GB，运行占 29GB）、首次对话，以及如何确认 GPU（ROCm/Vulkan）真正接管计算，并提供常见问题排查方法，最终一条命令即可在本地跑通模型。
用小模型替代大模型最难的一步，我用 Apodex 解决了
作者尝试用 Apodex 1.1 自动生成训练数据，解决用小模型替代大模型时缺乏标注数据的难题。实验场景是让小模型学会根据自然语言描述从 HuggingFace 九百多个候选模型中挑选正确的模型。Apodex 拆解任务、派出 14 个子 Agent 分工协作并上网核实，最终生成 4218 条经核实的训练数据，还主动推翻了作者一条错误规则。用这批数据训练 Qwen3.5-0.8B 后，挑对模型的比例从 0.4% 提升到 10.7%，瞎编模型名的比例大幅下降，效果优于当年 Berkeley 用 GPT-4 生成的数据。作者总结：AI 能替人造数据的关键，在于能否自动判对错。
I got tired of being a human AGENTS.md
作者受够了每次与编码代理沟通时重复上下文，因此开发了AsterMem，一个本地运行的内存服务器。它将记忆存储为Markdown文件，支持离线运行，并自动提炼用户画像供代理读取。用户可完全控制和编辑记忆，避免黑盒问题。
35B 越狱版大模型：Codex 替你装，6GB 老卡也能跑
本文介绍了一种利用 Codex 桌面应用在 Windows 上本地部署 35B 无审查大模型的方法。通过 llama.cpp 和 MoE 架构的量化模型，即使用户只有 6GB 显存的显卡（如 GTX 1660）也能以 30 t/s 的速度流畅运行。文章详细讲解了无需命令行知识、利用 Codex 自动完成环境配置、模型下载及脚本编写的全流程，实现了零门槛的本地高隐私 AI 体验。
推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
