全链路本地化 AI 应用实践:从端侧微调到 Ambrosia ✍ Aman🕐 2026-04-24📦 5.6 KB 🟢 已读 𝕏 文章列表 作者构建了名为 Ambrosia 的离线 AI 护肤日记应用,全过程在本地设备完成。文章探讨了端侧模型在硬件适应性、成本及隐私方面的优势,详细记录了基于 Qwen3-VL-2B 模型在本地 MacBook 上进行 LoRA 微调并在 iPhone 上部署的实践,强调了针对特定任务约束小模型比通用助手更高效,展望了边缘智能与算力结合的未来。 本地化端侧AI模型微调AmbrosiaQwen隐私保护边缘计算iOS应用量化AI实战 # Locally This, Locally That **作者**: Aman **日期**: 2026-04-23T15:48:19.000Z **来源**: [https://x.com/_amankishore/status/2047341809626448242](https://x.com/_amankishore/status/2047341809626448242) ---  I built an AI app that runs completely on device. No servers, API requests, or data leaving the device. Local models are finally getting good. Just look at the recent releases from @Alibaba_Qwen and @googlegemma to see that the gap is shrinking. https://x.com/Alibaba_Qwen/status/2046939764428009914 I am excited about what this unlocks for hardware, consumer, and privacy. Robots and edge devices can't rely on perfect signal for their user experience. A robot working in a farm, a construction site, or even a living room can't just freeze up the moment it loses connection. Smart glasses and similar devices running local models have lower latency and much better UX. For consumer apps, local LLMs make free tiers economically viable. Growth at all costs becomes very expensive when every user burns GPUs on your dime. Local inference flips that math. @signulll is clearly facing this now: https://x.com/signulll/status/2044097057825124430 The third vector is privacy. I have mixed feelings here. Anecdotally, most of my friends don't care where their data goes. My guess is, in the future, privacy-sensitive fields like law and medicine will require on-device or on-prem models to stay compliant. Users won't care, but regulated professionals will. The hardware is already here. We're all walking around with phones that can comfortably run 2B-parameter models. So I wanted to see how far I could push that with a real app. Ambrosia I built Ambrosia, an offline AI journaling app to track how my skin responds to different diets and products. I picked skin specifically for two reasons: I've always wanted a better way to watch conditions and progress over time, and photos are a natural unit of a journal entry. Two things I love about the app: 1. AI-generated labels and trend tracking, all local 2. Everything including the images stays on device The Base Model I went with Qwen3-VL-2B: multimodal, small enough to run on my iPhone, and already well-optimized for llama.cpp. I used the Q4_K_M quantized version from @huggingface, and ran everything through @RunAnywhereAI because their on-device SDKs are the best I've used. Finetuning the Model Locally I wanted to prove that I could take a base model and finetune it end-to-end locally on my MacBook (M2 Max). With Codex, I trained a small LoRA adapter on MedQA, then merged and exported it back into the same Q4_K_M GGUF format so that it would work on my iPhone. I also experimented with autoresearch (@karpathy’s autonomous framework for model training) to maximize performance. I gave Codex the source code and let it sweep configurations. The sweep landed on a lower learning rate (1e-4) as the winner, beating baseline by ~5 points on the micro-run. Scaled up to full validation, it held at 47.88%.  Finetuned Model: huggingface.co/amankishore/qwen3-vl-2b-medqa-gguf Constraining the Task Initially I built Ambrosia as a chat first experience. It was bad. I would document a new skin issue, and the model would respond with three long paragraphs about consulting a dermatologist. I constrained the task. Qwen was much better at generating labels from images and analyzing trends across journal entries. Ambrosia went from a worse medical ChatGPT to a journal with ambient AI trend analysis. This is why small models are underrated. They should not be compared to general assistants like ChatGPT. They're much better as narrow specialists constrained to a few tasks. Since this task is disjoint from MedQA, I built a small eval set of journal entries a user might track (acne, texture, redness, etc) and compared the finetuned model against the base. The finetune gave a small but real lift on label quality, while trend analysis was unchanged. For a 2B model doing a task it wasn't trained for, I'll take it.  Edge Intelligence Ambrosia was a small experiment, but it maps to the shape of the future: take a small base model, aggressively constrain the domain, tune for your specific task, ship it. Repeat. Chips keep getting faster. Small models keep getting smarter. Eventually these lines will converge. When they do, you’ll have the power of AGI, in the palm of your hand. ## 相关链接 - [Aman](https://x.com/_amankishore) - [@_amankishore](https://x.com/_amankishore) - [614K](https://x.com/_amankishore/status/2047341809626448242/analytics) - [@Alibaba_Qwen](https://x.com/@Alibaba_Qwen) - [@googlegemma](https://x.com/@googlegemma) - [https://x.com/Alibaba_Qwen/status/2046939764428009914](https://x.com/Alibaba_Qwen/status/2046939764428009914) - [@signulll](https://x.com/@signulll) - [https://x.com/signulll/status/2044097057825124430](https://x.com/signulll/status/2044097057825124430) - [@huggingface](https://x.com/@huggingface) - [@RunAnywhereAI](https://x.com/@RunAnywhereAI) - [@karpathy](https://x.com/@karpathy) - [huggingface.co/amankishore/qwen3-vl-2b-medqa-gguf](http://huggingface.co/amankishore/qwen3-vl-2b-medqa-gguf) - [Upgrade to Premium](https://x.com/i/premium_sign_up) - [11:48 PM · Apr 23, 2026](https://x.com/_amankishore/status/2047341809626448242) - [614.9K Views](https://x.com/_amankishore/status/2047341809626448242/analytics) - [View quotes](https://x.com/_amankishore/status/2047341809626448242/quotes) --- *导出时间: 2026/4/24 22:34:12* --- ## 中文翻译 # 局部化这个,局部化那个 **作者**: Aman **日期**: 2026-04-23T15:48:19.000Z **来源**: [https://x.com/_amankishore/status/2047341809626448242](https://x.com/_amankishore/status/2047341809626448242) ---  我构建了一款完全在设备上运行的 AI 应用。没有服务器,没有 API 请求,数据也不会离开设备。本地模型终于变得好用了。看看 @Alibaba_Qwen 和 @googlegemma 最近发布的模型就知道了,差距正在缩小。 https://x.com/Alibaba_Qwen/status/2046939764428009914 我对这将为硬件、消费电子产品和隐私保护带来的可能性感到兴奋。 机器人和边缘设备不能依赖完美的网络信号来提供用户体验。在农场、建筑工地,甚至客厅里工作的机器人,不能在断网的瞬间就死机。运行本地模型的智能眼镜和类似设备延迟更低,用户体验也更好。 对于消费类应用,本地 LLM 使得“免费层”在经济上变得可行。当每个用户都在燃烧你的 GPU 预算时,“不惜一切代价增长”的成本会非常高昂。本地推理颠覆了这种算术逻辑。 @signulll 显然正面临这个问题: https://x.com/signulll/status/2044097057825124430 第三个因素是隐私。在这个问题上我的心情很复杂。根据轶事证据,我的大多数朋友并不关心他们的数据去往何处。我猜,在未来,法律和医学等对隐私敏感的领域将要求使用设备端或本地部署的模型以保持合规。用户不会在意,但受到监管的专业人士会在意。 硬件已经准备就绪。我们现在随身携带的手机都能轻松运行 20 亿参数的模型。所以我想看看我能否用一个真正的应用程序把这种能力推向多远。 Ambrosia 我构建了 Ambrosia,一款离线 AI 日记应用,用于追踪我的皮肤对不同饮食和产品的反应。我特意选择皮肤作为主题有两个原因:我一直想要一种更好的方式来观察皮肤状况随时间的进展,而照片是日记条目自然的组成单元。 关于这个应用,我有两点很喜爱: 1. AI 生成的标签和趋势追踪,全部在本地完成 2. 包括图像在内的所有内容都保留在设备上 基础模型 我选择了 Qwen3-VL-2B:多模态,足够小以至于可以在我的 iPhone 上运行,并且已经针对 llama.cpp 进行了充分优化。我使用了来自 @huggingface 的 Q4_K_M 量化版本,并通过 @RunAnywhereAI 运行一切,因为他们的设备端 SDK 是我用过的最好的。 在本地微调模型 我想证明我可以拿一个基础模型,并在我的 MacBook(M2 Max)上完全本地化地进行端到端的微调。 使用 Codex,我在 MedQA 上训练了一个小的 LoRA 适配器,然后将其合并并导回相同的 Q4_K_M GGUF 格式,以便它能在我的 iPhone 上运行。 我还尝试了自动研究(@karpathy 的自主模型训练框架)以最大化性能。我把源代码交给 Codex,让它自动扫描配置。扫描结果锁定了一个较低的学习率(1e-4)作为胜者,在微型运行中比基线高出约 5 分。扩展到完整验证后,它保持在 47.88%。  微调后的模型:huggingface.co/amankishore/qwen3-vl-2b-medqa-gguf 约束任务 最初,我将 Ambrosia 构建为一个优先聊天的体验。那很糟糕。当我记录一个新的皮肤问题时,模型会用三个长段落回复建议我咨询皮肤科医生。 我约束了任务。Qwen 在从图像生成标签和分析跨日记条目的趋势方面要好得多。Ambrosia 从一个糟糕的医疗版 ChatGPT 变成了一个具有环境 AI 趋势分析功能的日记。 这就是为什么小模型被低估了。它们不应该与 ChatGPT 这样的通用助手进行比较。作为被约束在少数任务上的狭窄专家,它们的表现要好得多。 由于此任务与 MedQA 并不相同,我构建了一个小型评估集,包含用户可能追踪的日记条目(痤疮、质地、泛红等),并将微调后的模型与基础模型进行了比较。微调在标签质量上带来了微小但真实的提升,而趋势分析则没有变化。对于一个执行其未受过训练的任务的 2B 模型来说,我会接受这个结果。  边缘智能 Ambrosia 是一个小实验,但它描绘了未来的形状:获取一个小型基础模型,激进地约束领域,针对你的特定任务进行调优,发布。重复。 芯片变得越来越快。小模型变得越来越聪明。最终这两条线将会汇聚。当它们汇聚时,AGI(通用人工智能)的力量将掌握在你的手中。
I I got tired of being a human AGENTS.md 作者受够了每次与编码代理沟通时重复上下文,因此开发了AsterMem,一个本地运行的内存服务器。它将记忆存储为Markdown文件,支持离线运行,并自动提炼用户画像供代理读取。用户可完全控制和编辑记忆,避免黑盒问题。 技术 › Agent ✍ Asterove🕐 2026-07-29 Agent本地化隐私保护MarkdownCursorClaudePythonFastAPIReact开源
3 35B 越狱版大模型:Codex 替你装,6GB 老卡也能跑 本文介绍了一种利用 Codex 桌面应用在 Windows 上本地部署 35B 无审查大模型的方法。通过 llama.cpp 和 MoE 架构的量化模型,即使用户只有 6GB 显存的显卡(如 GTX 1660)也能以 30 t/s 的速度流畅运行。文章详细讲解了无需命令行知识、利用 Codex 自动完成环境配置、模型下载及脚本编写的全流程,实现了零门槛的本地高隐私 AI 体验。 技术 › Codex ✍ Wei🕐 2026-05-28 大模型部署本地LLMllama.cppQwen量化教程显卡配置Windows教程隐私保护越狱模型
M MCP新规范:更灵活的协议 MCP新规范将协议从双向有状态改为请求/响应模型,服务端可部署在Serverless和边缘基础设施上。类比银行业务,以前需找固定柜员,现在任意柜员均可办理,提升了灵活性和效率。 技术 › 工具与效率 ✍ Gorden Sun🕐 2026-07-29 MCP协议Serverless边缘计算Cloudflare WorkersNetlifyHTTP服务负载均衡架构设计
A Alignment Unlocks Scaling:Qwen-Robot Suite 的设计原理和背后的思考 文章介绍了Qwen团队推出的Qwen-Robot Suite,包含Qwen-RobotNav、Qwen-RobotManip和Qwen-RobotWorld三项工作。核心思想是通过解决具身智能中异构数据的对齐问题,实现模型的规模化扩展,并在多项基准测试中取得SOTA结果。 技术 › LLM ✍ 青稞社区🕐 2026-07-29 Qwen具身智能机器人大模型VLA对齐世界模型导航操作直播预告
上 上海交大团队出品的大模型实战开源课程 上海交大团队推出的大模型实战开源课程,在GitHub获4.6w+ star。课程从零开始设计,包含API调用、模型微调、多模态开发等模块,配套在线实验环境,适合系统学习大模型知识。 技术 › LLM ✍ 阿西_出海🕐 2026-07-29 大模型开源课程实战教程GitHub模型微调多模态API调用越狱攻防
W Windows 这次真要慌了 介绍了一个名为 Win11 Debloat 的开源 PowerShell 脚本,GitHub 上拥有 51K+ stars。该脚本可一键清理 Windows 11 中难以删除的预装软件、广告、AI 功能和遥测追踪,将系统还原为纯净状态。 技术 › 工具与效率 ✍ Hedy.eth🕐 2026-07-29 Windows11Win11Debloat开源去广告系统优化PowerShellMITMicrosoft隐私保护
A AI 独立开发怎么接单?从 Demo 到交付全链路复盘 作者分享了将 AI 语音克隆 Demo 转化为商业交付的全过程,涵盖体验优化、部署上线、灰度测试、问题排查及数据隐私处理等环节。文章指出从自用到商用的巨大鸿沟,强调定价筛选用户的重要性。 技术 › Agent ✍ Leaf Yeah!🕐 2026-07-29 独立开发实战复盘语音克隆隐私保护交付流程
一 一个人、一下午、100块以内:用AI做完一集东南亚短剧 文章详细拆解了利用AI工具低成本制作东南亚短剧的全流程,包括市场分析、工具选型(如可灵、即梦)、剧本生成技巧及制作管线。同时强调了本地化和支付渠道的重要性,指出了在东南亚通过广告变现的可行路径。 技术 › 短剧 ✍ Kyrie🕐 2026-07-24 AI短剧东南亚出海变现AIGC工具流本地化即梦可灵内容创业
A Announcing OpenWorker Andrew Ng 和 Rohit Prasad 发布了开源代理 OpenWorker,它不仅与用户聊天,还能交付完整工作,如整理文档、发送消息或更新日历。支持 Mac 和即将推出的 Windows,兼容多种大模型和本地部署,注重隐私和模型独立性。 技术 › Agent ✍ Andrew Ng🕐 2026-07-24 开源代理AI助手自动化多模型支持隐私保护工作效率
从 从 Kimi K3 看下一代 MoE 架构的转折点:LatentMoE 文章分析了 2026 年大模型架构的新趋势 LatentMoE。通过对比 NVIDIA Nemotron 3 Super 和 Moonshot AI Kimi K3,揭示了 LatentMoE 如何通过将 token 投影到低维潜在空间,大幅降低内存和通信开销,从而在同等推理成本下激活更多专家,提升模型性能与效率。 技术 › LLM ✍ 青稞社区🕐 2026-07-20 LatentMoEKimi K3MoE架构设计大模型NVIDIAMoonshot AI推理优化量化负载均衡
W WorkBuddy高阶教程|万字复盘:如何让Agent接手真实项目 本文通过一场实战培训,复盘如何使用 WorkBuddy 让 AI Agent 接手真实项目。文章从建立上下文、派发任务(SGP 原则)、定义工作空间、创建项目分身到 DeepResearch 并行调研,详细讲解了让 AI 持续推进复杂任务的方法论。 技术 › Agent ✍ 智见AI-大鹏🕐 2026-07-20 WorkBuddyAgentAI实战提示词项目管理上下文DeepResearch自动化工作流技术分享
M Meetily:100%本地AI会议助手开源 Meetily 是一款完全本地运行的AI会议助手,支持实时转录、说话人区分和智能总结,全程零云端、零数据泄露。基于Rust底层开发,支持GPU加速,适用于Zoom、Teams等多种会议场景。 技术 › 工具与效率 ✍ 开发者Hailey🕐 2026-07-14 本地AI会议助手开源隐私保护实时转录OllamaRustGPU加速