Sigil Wen 宣传 Underdog 27B 端侧 AI 模型，声称其可在 Mac 和 iPhone 上运行并超越半年前的顶级模型 Claude Opus 4.6。文章提出核心观点：计算正从数据中心回归个人设备，未来大部分 AI token 将由个人设备生成。作者以'AI Y3K'概念警告云端数据安全风险——一切可被黑的系统终将被黑，唯一安全的数据是从未上传的数据。文章还指出日常任务不需要最大的模型，并通过自研 MSI 推理引擎提升消费级芯片性能。最终愿景是构建免费、私密、属于用户本人的 AI，对抗广告与数据收割的商业模式，让 AI 经济属于每个人。
这是一篇本地部署 LLM 的完整入门教程。文章首先说明开源模型（Qwen、DeepSeek、GLM 等）已接近闭源前沿约四个月，而 API 订阅配额却在缩水，因此本地部署的价值日益凸显。教程从 Step 0 开始：检查内存、按内存三分之二规则选择模型、安装 Ollama 并运行第一个模型。随后解释了本地模型的核心优势（数据隐私、零边际成本、不受限）与局限（性能不及闭源前沿），分析了订阅补贴经济的不可持续性，并指导读者根据任务需求选择硬件，强调容量决定装得下、带宽决定跑得快、利用率决定是否划算。
作者使用 REA 工具对 Claude Desktop 进行逆向分析，逐字段核查其遥测与数据收集行为。文章梳理了账号 ID、安装 ID、会话 ID 与设备信息（CPU、内存、窗口状态等）的关联方式，列出了通知、故障、目录变更等具体产品事件及其字段，分析了事件批量上报机制（队列阈值 50 条、间隔 60 秒可调）。还澄清了系统时区会进入诊断上下文和模型提示词、但不随网络出口自动改变；自建网关地址可能进入遥测。最后指出更细致的工作画像（项目路径、启动记录等）保存在本地文件中。作者强调区分模型上下文、上报数据和本地存储三个范围，并多次通过追问与多轮验证纠正初版结论。
作者实测了 HuggingFace 上多语种榜单第一、可本地部署的开源语音模型 Hojo-ASR-Multi-V1 和 Hojo-TTS-Light-40M。通过普通话、粤语、四川话及多国外语的实际听写测试，发现该 ASR 模型在普通话和粤语表现出色，但在方言虚词、专名和噪声场景下会出错；TTS 小模型在 CPU 上即可快速合成中英夹杂语音。文章还分析了模型体量、内存和 RTF 的关系，并给出不同场景下 ASR/TTS 开源模型的选型建议。
文章系统盘点了 2026 年值得关注的开源 AI 模型，涵盖语言、图片、视频三大类别，包括 Qwen、DeepSeek、Kimi、GLM、MiniMax、混元等国产阵营及海外模型。作者拆解了模型命名规则（参数量、MoE、量化、许可证等），提出五步选型筛选法，并比较各硬件平台（Mac 统一内存、NPU AI PC、大内存 APU 等）的适配能力。文章还讲解了本地部署的适用场景与许可注意事项，最后通过 Mac 和 Windows 双机实测检验模型在文字、看图、分镜和视频任务上的真实表现，帮助读者判断自己需要哪类模型以及电脑能否带动。
作者在懒猫AI算力舱 X5（128GB显存）上部署 Qwen 3.8 27B 稠密模型，真实项目中跑了4个任务均完成良好。通过 MTP 投机解码 + NVFP8 混合优化并关闭 thinking 模式，速度从 13.9 提升到 30.8 Tokens；但发现关闭思考模式会降低代码推理准确度，重新开启后实测稳定 26.47 Tokens（含思考阶段实际可达 35.23 Tokens/s）。后续还将通过重新量化构建 draft engine 进一步提速。
作者介绍了在 MacBook M4 Pro 上部署蚂蚁百灵开源的 Ling-3.0-tiny 稀疏 MoE 模型的完整过程，用于处理 48G 微信记录和 237 篇日记等隐私数据。文章详述了 FP8 权重选择、编译 MLX 后端 ollama、避坑指南等实操细节，实测生成速度约 78-99 tokens/s。在脱敏、命名实体识别、长文压缩、去重四个场景中表现优异，并总结分工原则：抽取任务交给本地模型，语义判断留给云端模型。
文章探讨网络上流传的'无审查'Qwen 3.8 模型。作者测试发现官方原版 Qwen 3.8 对有害请求全部拒绝，所谓无审查版本实为经过 abliteration 处理的衍生模型。Abliteration 是一种永久性的权重修改技术，基于 2024 年 Arditi 等人的研究发现：模型的拒绝行为由内部单一方向向量介导。通过对比有害与无害提示在残差流中的激活差异，用 PCA 找出拒绝方向并从权重中减去，从而移除拒绝反射但保留模型知识。相关衍生模型在 Hugging Face 上已获超 76 万次下载。
文章介绍了两项针对开发者的重磅AI工具更新。首先是Unsloth发布了指南，允许使用Gemma 4和Qwen3.6等开源模型，在24GB显存的本地机器上运行Claude Code的Agentic Coding工作流，实现了隐私、成本与交互体验的兼顾。其次是Google推出了Code Wiki，利用Gemini自动扫描GitHub仓库生成实时更新的智能Wiki，支持架构图生成和代码溯源，旨在解决软件开发中“读代码”的昂贵瓶颈。
作者构建了名为 Ambrosia 的离线 AI 护肤日记应用，全过程在本地设备完成。文章探讨了端侧模型在硬件适应性、成本及隐私方面的优势，详细记录了基于 Qwen3-VL-2B 模型在本地 MacBook 上进行 LoRA 微调并在 iPhone 上部署的实践，强调了针对特定任务约束小模型比通用助手更高效，展望了边缘智能与算力结合的未来。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
文章讲述了“生成骑自行车的鹈鹕SVG”这一AI测试题的来龙去脉。该题源自英国程序员Simon Willison，因同时考验模型的空间几何理解与代码生成能力而成为测试大模型的经典题目。随着模型进步，该测试已趋于饱和，连小体量开源模型Qwen3.6都能击败Claude Opus 4.7，引发其是否沦为“应试科目”的讨论。作者分析了鹈鹕测试依然流行的原因：直观易懂、已成为开发者社区的“开机仪式”，透过这只越来越像样的鹈鹕，能直观感受AI时代的快速发展。
月之暗面发布 Kimi K3.1 Pro，3万亿参数MoE架构、100万token上下文、开源权重，API输出价格仅为GPT-6 Astra的五分之一。作者从跑分和实测两方面评估：官方xdev-bench-hard编程成功率64.5%排第二，幻觉测试同样第二，第三方智能指数全场第四、开源第一。实测中，作者用相同提示词让K3.1 Pro与GPT-6 Astra分别开发3D跳一跳和植物大战僵尸游戏，两者均一次成型无bug。Kimi耗时约10分钟但会自我验证和修正，Astra快近5倍且细节更丰富。结论：K3.1 Pro编程能力接住闭源旗舰，价格是杀手锏，适合重度Agent用户。
