作者在128GB统一内存小主机上本地部署开源MoE模型Ling-3.0-tiny（7.9B参数，激活1.3B），用llama.cpp Vulkan加载Q8_0量化版本。实测任务是将2360行、2小时17分的客户会议飞书妙记转写交给模型，进行需求提取、实施方案搭建和报价结构整理。结果显示：模型能在235秒内完成需求提取，方案模块划分与人工方案接近，但时间戳偶有不准需人工复核。经提示词调优后，碰撞长度上限次数从16次降至3次。作者认为它适合承担会议整理、需求归类等“脏活”，但范围、价格、承诺等决策仍需人负责，并推荐在真实业务场景中使用。
作者在一台单通道 16GB 内存、无独显的 Ryzen 5 5600G 台式机上，使用 llama.cpp 官方版部署 Ling-3.0-tiny（Q4KM 量化），实测生成速度 21.70 tok/s，比配置更强的 64GB+3090 机器快近 4 倍。经排查，差异源于推理引擎版本而非硬件。文章还分析了该模型线性注意力架构带来的超低上下文内存开销（约 6.79 KiB/token），总结了思考模式、Windows 编码、线程设置三个实践坑，并给出三步部署教程，证明普通电脑即可流畅本地运行该模型。
作者实测了 HuggingFace 上多语种榜单第一、可本地部署的开源语音模型 Hojo-ASR-Multi-V1 和 Hojo-TTS-Light-40M。通过普通话、粤语、四川话及多国外语的实际听写测试，发现该 ASR 模型在普通话和粤语表现出色，但在方言虚词、专名和噪声场景下会出错；TTS 小模型在 CPU 上即可快速合成中英夹杂语音。文章还分析了模型体量、内存和 RTF 的关系，并给出不同场景下 ASR/TTS 开源模型的选型建议。
作者记录了在 Mac mini（M4、16GB）上部署蚂蚁开源的混合推理小模型 Ling-3.0-tiny 的完整过程：编译 Ollama 实验分支、下载 FP8/BF16 权重并导入，验证服务后搭建了一个只调用本机接口的写作页面。随后用一篇真实口述稿进行四轮写作测试——提炼结构、检查问题、局部改写和反馈调整，发现模型擅长结构整理与问题扫描，但润色时 AI 味重，难以还原作者口吻。文章还对比了 FP8 与 BF16 的输入输出速度，并总结了端口冲突、上下文设置和接口安全等部署注意事项，最后给出将其用于写作第一轮辅助的定位。
文章介绍了蚂蚁刚开源的本地小模型 Ling-3.0-tiny（7.9B 总参数，每 token 激活 1.3B），在 Apple Silicon Mac 上的部署与实测表现。作者通过让 Cursor/Codex 自动部署 Rapid-MLX 的 4bit 版本，实测 M3 Max 上首字延迟约 55 毫秒，稳态解码约 110-125 tok/s，4bit 权重仅 4.2GB。该模型适合本机快速开发、大纲草稿、纪要压缩、做课件等短任务，也可接入 workbuddy 作为日常模型，但不适合复杂推理和长知识问答。文中给出了完整部署提示词、速度测试和文案处理实测案例。
本文详细介绍如何在本地部署阿里开源的 Qwen3.8 27B 模型，覆盖 Mac 和 N 卡两条路线，并附 4090 实测数据。作者通过四轮质量测试发现 9.83GB 压缩版在短任务上与 30GB 版本打平，指出 12GB 游戏卡即可运行。文章系统讲解硬件选型、量化版本选择、KV Cache 显存计算、MTP 加速配置及常见踩坑，强调窗口大小只占显存不影响速度这一关键认知，是一篇面向零基础用户的完整部署指南。
作者介绍了在 MacBook M4 Pro 上部署蚂蚁百灵开源的 Ling-3.0-tiny 稀疏 MoE 模型的完整过程，用于处理 48G 微信记录和 237 篇日记等隐私数据。文章详述了 FP8 权重选择、编译 MLX 后端 ollama、避坑指南等实操细节，实测生成速度约 78-99 tokens/s。在脱敏、命名实体识别、长文压缩、去重四个场景中表现优异，并总结分工原则：抽取任务交给本地模型，语义判断留给云端模型。
月之暗面发布 Kimi K3.1 Pro，3万亿参数MoE架构、100万token上下文、开源权重，API输出价格仅为GPT-6 Astra的五分之一。作者从跑分和实测两方面评估：官方xdev-bench-hard编程成功率64.5%排第二，幻觉测试同样第二，第三方智能指数全场第四、开源第一。实测中，作者用相同提示词让K3.1 Pro与GPT-6 Astra分别开发3D跳一跳和植物大战僵尸游戏，两者均一次成型无bug。Kimi耗时约10分钟但会自我验证和修正，Astra快近5倍且细节更丰富。结论：K3.1 Pro编程能力接住闭源旗舰，价格是杀手锏，适合重度Agent用户。
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
这是一篇本地部署 LLM 的完整入门教程。文章首先说明开源模型（Qwen、DeepSeek、GLM 等）已接近闭源前沿约四个月，而 API 订阅配额却在缩水，因此本地部署的价值日益凸显。教程从 Step 0 开始：检查内存、按内存三分之二规则选择模型、安装 Ollama 并运行第一个模型。随后解释了本地模型的核心优势（数据隐私、零边际成本、不受限）与局限（性能不及闭源前沿），分析了订阅补贴经济的不可持续性，并指导读者根据任务需求选择硬件，强调容量决定装得下、带宽决定跑得快、利用率决定是否划算。
作者在 24GB 统一内存的 M4 Mac mini 上，从零完成了蚂蚁百灵开源的 6B 设计模型 Ming-Image-0.1-Design 的本地部署与测试。使用 MFLUX 加社区预量化权重（图像模型 8-bit、文本编码器 5-bit，约 19.3GB），过程中踩了 MFLUX 0.20.0 缺少 Ming 命令入口的坑，改用 GitHub 源码安装后跑通。随后围绕咖啡主题测试了五项能力：海报设计、UI/Dashboard、信息图、文字渲染排版和透明背景素材，单张生成耗时约 2-4 分钟，MLX 峰值内存 15-18GB。结论是海报、菜单和信息图版面完整可用，但严格文字与数据细节仍需逐项检查。
DeepSeek 发布 552B 参数的开源 MoE 模型 V4.1 Flash，原生支持多模态视觉理解，官方称其性能、费用、速度全面超越 V4 Pro，V4 Pro 将于 9 月 14 日下线。作者通过两个实战项目（3D 程序化城市生成器、基于 draw.io 的 AI 智能绘图工具）横向对比 V4.1 Flash、V4 Pro 和 GLM-5.3-Flash。结果显示 V4.1 Flash 完成度最高，输出速度达 287 TOK/s，成本仅约 5 元/项目，多模态能力让前端开发质量明显提升，最终结论是梁神回归，可重新推荐为日常 AI 编程模型。
作者拆解了 Playtime-AI 发布的 Sydney Sweeney 人物 LoRA（仅 155MB）如何在 MiniMax H3 视频模型上无需参考图、仅凭名字生成人物视频。文章讲解 LoRA 低秩自适应原理：冻结基础模型，只训练小矩阵 A、B 记录人物身份差量；还原训练过程（3440 步、120 epoch、rank 16、约 5% caption dropout）；并分享本地加载实践，包括底模版本兼容、量化格式、采样步数（6 步而非 30 步才清晰）和触发词拼写等常见坑。最后指出 LoRA 技术正在改变人物身份的传播方式。
