Wiki 知识库

全部文档 / 作者: yibie / 标签: 本地AI

4 篇
清除

Google 的本地笔记:你出题,它检索

文章评测了 Google DeepMind 随 EmbeddingGemma 2 发布的 Mac 应用 Google AI Edge Foresight。该应用在会议中监听系统音频,用户手写简短笔记后,它基于本地嵌入检索实时补齐细节,全程离线运行。作者通过实测验证它能准确捕捉音频中的具体数字,且不覆盖用户原文,遵循 Jef Raskin '不剥夺用户决策权'的界面理念。文章同时指出其不足:Live Enhance 开关状态不可见、转写无法区分远端说话人身份。技术层面分析了 EmbeddingGemma 2 在短查询检索长文档上的优势(93.7% 命中率),说明'用户出题、模型检索'正是其强项所在。

技术 › LLM yibie 2026-10-117.5 KB 831 2 83

16.9 MB 的语音识别,和它不认识的语言

Cactus Compute 发布了 16.9 MB 的本地语音识别模型 Whistle,纯 CPU 运行、无依赖,与同公司的 Needle 模型共享引擎。作者实测发现:七种欧洲语言(英德法西意荷波)识别准确度高,首 token 仅 5-8 毫秒,解码速度约 1300 token/秒,官方性能数据基本可信。但关键缺陷在于:遇到不支持的语言(如中文、日文)时,模型不会报错也不会返回空,而是硬套进已知语种生成'假词',造成静默污染。文章指出该模型设计目标是端上语音自动化入口而非单纯转写,并提醒中文用户慎用。

技术 › TTS yibie 2026-10-116.2 KB 4.4K 36 83

读 2.83% 的 key 就够了

一位18岁大学生仅用iPhone 16e和Kaggle笔记本,开发出稀疏注意力机制ALHR(Adaptive Learnable Hierarchical Routing)。该方法通过给key矩阵构建静态二叉树,配合预算预测器、邻居搜索和树下降三步推理,让每个query只读取所需key。在1024 token的MQAR测试中,仅读取2.83%的key即可达到92.1%准确率(稠密基线94.9%),KV压缩35.3倍。训练分三段:先训稠密教师模型,再用其注意力矩阵标注top-k key训练树模块,最后无教师联合训练。目前因未做kernel优化比稠密注意力慢约10倍,代码由Claude Sonnet 5.5生成,Apache-2.0开源。

技术 › LLM yibie 2026-10-105.0 KB 1.3K 2 76

Jeff:把 Jev 类决策模型压到 0.8B,跑在本地

Mathias Strasser(Scissero)基于 Qwen3.5 和 Gemma 4 微调出 Jeff 系列 0.8B/2B 决策模型,用于零样本分类:输入描述与选项,一次前向传播返回各选项校准概率。模型在 RTX PRO 6000 上约 22 毫秒、M4 Max 上 28 毫秒即可完成一次决策,0.8B 仅 1.7GB,可直接本地部署。整体基准分 Jeff-2B 达 83.1,几乎追平 Jev 的 83.0;Doom 零样本测试中 Jeff-0.8B 在无人提示规则下达到 6.55,追平 Jev 公布成绩。作者诚实列出局限:不能推理、最多 26 个选项、只支持英文文本等。代码 MIT、权重 Apache 2.0 开源。

技术 › LLM yibie 2026-09-3011.8 KB 8.5K 98 86