35B 越狱版大模型：Codex 替你装，6GB 老卡也能跑
本文介绍了一种利用 Codex 桌面应用在 Windows 上本地部署 35B 无审查大模型的方法。通过 llama.cpp 和 MoE 架构的量化模型，即使用户只有 6GB 显存的显卡（如 GTX 1660）也能以 30 t/s 的速度流畅运行。文章详细讲解了无需命令行知识、利用 Codex 自动完成环境配置、模型下载及脚本编写的全流程，实现了零门槛的本地高隐私 AI 体验。
相关文档
一个人十天写出的引擎，让 12GB 显卡跑起 1250 亿参数模型
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
万字爆肝长文丨两张 3000 块老卡跑赢 3 万块 4090 48G：一次讲透怎么老显卡把 Qwen3.8-27B /NInfer跑到极致
作者详细记录了用两张二手 V100（各 3000 元）运行 Qwen3.8-27B 大模型的完整优化过程。V100 是 2017 年的数据中心显卡，HBM 显存带宽实测达 1004GB/s，甚至高于 4090。文章先建立测试口径与性能分析框架（读权重与读 KV 缓存两笔账），逐步排查瓶颈：验证带宽不是问题、测试双卡张量并行、分析 PCIe 延迟与 NCCL 版本坑，最终通过重写推理引擎内核、添加双卡支持，将长上下文生成速度从 36 tok/s 提升到 100 tok/s 以上，代码生成速度超过 3 万元的 4090 48G，并成功上线生产环境。文中深入浅出讲解了推测解码、CUDA Graph、内核优化等技术细节。
全链路本地化 AI 应用实践：从端侧微调到 Ambrosia
作者构建了名为 Ambrosia 的离线 AI 护肤日记应用，全过程在本地设备完成。文章探讨了端侧模型在硬件适应性、成本及隐私方面的优势，详细记录了基于 Qwen3-VL-2B 模型在本地 MacBook 上进行 LoRA 微调并在 iPhone 上部署的实践，强调了针对特定任务约束小模型比通用助手更高效，展望了边缘智能与算力结合的未来。
新模型发布，为啥总要画鹈鹕？
文章讲述了“生成骑自行车的鹈鹕SVG”这一AI测试题的来龙去脉。该题源自英国程序员Simon Willison，因同时考验模型的空间几何理解与代码生成能力而成为测试大模型的经典题目。随着模型进步，该测试已趋于饱和，连小体量开源模型Qwen3.6都能击败Claude Opus 4.7，引发其是否沦为“应试科目”的讨论。作者分析了鹈鹕测试依然流行的原因：直观易懂、已成为开发者社区的“开机仪式”，透过这只越来越像样的鹈鹕，能直观感受AI时代的快速发展。
Claude Code 90秒找出隐藏摄像头、手机间谍软件与破解酒店门锁：10个实战案例与Prompt
作者整理了10个使用Claude Code进行个人安全检测的真实案例。包括：用BLE扫描发现酒店门锁运行2014年的老旧固件，加密协议存在漏洞；通过Wi-Fi设备清单与流量分析识别出Airbnb烟雾探测器中的隐藏摄像头；使用Amnesty International的MVT工具检测出妹妹手机中伪装成系统服务、每两分钟记录一次位置长达11周的间谍软件。每个案例都附带了具体的Prompt、开源工具（如bleak、nmap、MVT）和可直接运行的命令，普通人无需编程基础也能照做。文章强调这些只是防御性检测手段，发现问题后应采取换房间、拔电池等安全措施。
大肥鱼 1017 真是越用越顺手：用 DeepSeek-V4.1-Flash + OpenPencil 打造 UI 设计
作者分享使用 DeepSeek-V4.1-Flash 1017 模型配合开源 AI 原生设计工具 OpenPencil 和生图模型 Qwen-Image-2.1 Turbo 制作电商落地页与模特图的实战体验。文章包含完整的落地页设计提示词和模特生成提示词，展示了生成结果的高审美水准，并提到 OpenPencil 是一款开源免费的 AI Native 设计工具，核心能力是通过 Agent 输出高质量 UI 设计稿、卡片、轮播图、PPT 等，适用于电商页面和海报制作，评论区多人交作业复刻效果。
一支发布视频如何为浏览器扩展带来220万播放与3000用户
本文复盘了浏览器扩展 AgentCloak 的发布营销案例。AgentCloak 是一款免费隐私工具，可在数据发送到 ChatGPT、Claude 等 LLM 前将其替换为假数据。团队通过一支创始人用棒球棍砸 Mac Mini 的视频，在 X 上获得 220 万播放和 3000 下载。文章详细拆解了成功要素：脚本采用'最辣版本+降级备选'的双版本写法；拍摄时准备后备结局降低风险；通过分层 KOL 策略、创始人私有人脉预热、精心设计转发文案、选择周五早 7 点发布等放大手段，将流量转化为真实用户而非虚荣指标。
这台卖37999的RTX Spark电脑，让我实现了Token自由
作者分享了使用英伟达RTX Spark笔记本（华硕ProArt创16，128G统一内存+1T，售价37999元）一周的深度体验。该设备结合了大内存与CUDA生态，解决了本地跑大模型要么选Mac要么受显卡显存限制的痛点。作者演示了通过WorkBuddy部署各类本地模型，包括Qwen3.8-27B大语言模型、图像生成、视频生成、OCR、ASR、TTS等，并打包成一个专家应用方便开箱即用。文章还讨论了AI全天候工作带来的成本问题，认为本地算力是实现Token自由、摆脱API费用束缚的关键方案。
8G显存也能跑：Qwen-Image-2.1-Turbo 去审查版本地部署 8 步出图（附 ComfyUI 工作流）
文章介绍了 HuggingFace 上 AtomicChat 发布的 Qwen-Image-2.1-Turbo GGUF 量化版及去审查文本编码器。作者澄清该编码器仅移除拒绝倾向，对画图内容几乎无影响，其真正价值在于提供低显存无损量化方案。文章详细记录在 RTX 5060（8G 显存）真机上使用 ComfyUI 部署的完整流程：4 个模型文件的下载与存放、11 节点工作流配置，以及 5 个实测踩坑与解法（工作流 JSON 参数顺序、去噪器/编码器混淆、GGUF 架构识别错误、mmproj 缺失、latent 连接问题）。实测首次出图约 2 分钟，之后每次约 1 分钟，并附 4 组提示词与量化选型表。
Karpathy的本地LLM加速技巧终于有了完整解决方案：Uzu推理引擎
文章回顾了Karpathy在2023年指出的本地LLM推理瓶颈：解码阶段受限于内存带宽，每次前向传播只生成一个token，使得推理速度存在硬上限。以M5芯片和4-bit Qwen3.5 9B为例，理论极限约29 token/s，llama.cpp和MLX接近该上限。开源推理引擎Uzu通过组合优化突破瓶颈：采用4-bit/8-bit整数量化降低内存流量，利用M5的int8硬件加速路径，在量化前应用块对角随机Hadamard变换抑制离群值误差，并通过推测解码一次性验证多达16个草稿token。实测Uzu在M5上达到92-117 token/s，显著超越llama.cpp和MLX。
12G显存部署125B Qwen3.8-Flash-Next 全攻略
本文介绍了如何借助Strata框架和Agent自动化流程，在12GB消费级显卡上部署125B参数的MoE模型Qwen3.8-Flash-Next。文章解释了MoE稀疏激活（每token仅激活6B）与Strata让GPU、CPU、RAM、SSD协同工作的原理，对比了不同量化方案（UD-IQ4_XS与UD-Q4_K_XL）在专家缓存命中率上的速度差异。作者全程使用蚂蚁的Ling-3.1-flash Agent完成从读文档、检查硬件、安装、排错到测速验收的部署流程，并成功将本地模型接入pi。该方法可复用于部署Ling、GLM、Kimi、DeepSeek等其他本地模型。
12G显存部署125B Qwen3.8-Flash-Next 全攻略
本文介绍如何在12GB显存上部署125B参数的Qwen3.8-Flash-Next模型。核心是Strata技术让GPU、CPU、RAM和SSD协同工作：常用专家留GPU，其余放RAM，CPU处理cache miss。RTX 5070 12GB + 64GB RAM在Q2_0量化下短对话可达94 tok/s。文章还讲解了量化选择策略——显存占用相同时速度可差1.72倍，关键在于专家命中率。作者全程使用蚂蚁的Ling-3.1-flash Agent自动完成从检查机器、选权重、下载安装到排错验收的完整部署流程，跑通了一套用Agent自动部署本地模型的可复用方法。