LEANN:省97%存储的轻量级本地RAG检索方案
传统RAG存储成本高昂,百万级文档索引动辄数百GB,本地设备难以承载。LEANN采用新思路:不存储所有向量,只保留精简的图结构,检索时按需计算,实现存储节省97%且精度不减。它可在笔记本上全本地运行,支持索引文件系统、邮件、浏览器记录、微信/iMessage、ChatGPT/Claude对话、Slack/Twitter实时数据及代码库,零云成本、数据不出设备、注重隐私。该项目已入选MLsys 2026,适合关注隐私的个人语义搜索开发者。
传统RAG存储成本高昂,百万级文档索引动辄数百GB,本地设备难以承载。LEANN采用新思路:不存储所有向量,只保留精简的图结构,检索时按需计算,实现存储节省97%且精度不减。它可在笔记本上全本地运行,支持索引文件系统、邮件、浏览器记录、微信/iMessage、ChatGPT/Claude对话、Slack/Twitter实时数据及代码库,零云成本、数据不出设备、注重隐私。该项目已入选MLsys 2026,适合关注隐私的个人语义搜索开发者。
介绍了LEANN这一新颖的本地RAG方案(存储省97%、入选MLsys 2026),信息新鲜有工具价值,但仅为简短推介帖,缺乏深度分析与技术细节。
作者从 GitHub 合集中挑选热度最高的 82 条 Seedance 2.5 视频生成提示词,来自 39 位 X 创作者,按镜头类型分为 9 类,并附上原作者、原帖链接及 36 条第三方复测结果(21 条复现成功,14 条效果衰减,1 条失败)。为解决分类后仍难以检索的问题,作者使用 EverOS Cloud 将提示词库转为可按语义检索的记忆库,只写两个脚本即可通过中文需求描述快速检索出匹配提示词及复测结论。完整提示词库和脚本已开源在 GitHub,方便读者三步搭建自己的提示词检索系统。
本文是 Agent 高频面试题详解系列第一篇,聚焦 RAG(检索增强生成)链路。文章基于近两个月牛客网 82 场面试的统计,指出 RAG 是最常被追问的题目。内容先给出 RAG 整体架构图,解释为什么需要 RAG 及其与长上下文、grep、微调、工具调用、记忆等方案的边界;再沿离线、在线两条线逐环讲解:离线部分涵盖文档解析、切分策略、embedding 向量化、HNSW/IVF 索引原理;在线部分讲解问题改写、BM25 与向量多路召回、RRF 融合、交叉编码器重排等环节。每个环节均附上面试常见追问,并提供复习优先级参考。
文章指出 Agent 记忆系统的核心问题不是检索而是上下文组织。跨 15 个模型、20 万模拟对话的研究显示,任务拆分为多轮会使准确率平均下降 39%,而合并为单轮可恢复大部分损失。文章回顾了 Agent 记忆的四个发展阶段(全量历史、滚动摘要、向量检索、知识图谱),批评语义/情景/程序性记忆分类无法指导检索决策,并主张按六种问题类型构建六种上下文形态。作者基于开源 Graphiti 引擎,以客户历史为例实操演示如何让记忆系统在模型运行前正确组织上下文,避免基于过时信息的自信回答。
文章指出仅掌握基础的'chat with PDF'式 RAG 流水线(分块、嵌入、向量检索、LLM)不足以构建真实生产系统,并推荐 10 个进阶项目:混合检索(BM25+向量)、元数据过滤、重排序、上下文分块、SQL+向量混合、知识图谱+向量、纠错式 RAG、自感知 RAG、多模态等。每个项目均说明要解决的问题、系统架构、技术栈(Python、pgvector、LangGraph、Neo4j 等)及学习要点,帮助开发者从语义相似度走向关键词匹配、结构化过滤、关系推理与检索质量反馈等生产级能力。
作者分享了一个 GitHub 上两天获得两万多星的开源项目 lanshu-create-ai-presenter-video。该项目只需输入一段文案和一张人脸照片,即可在本地全自动完成 TTS 语音生成、口型对齐、字幕压制、竖屏封面生成及质检,直接输出 1080P 竖屏成片,口型匹配度高,几乎无需手动修改。全程本地运行,避免了网页版工具排队和按分钟收费的限制,适合批量短视频内容创作者使用。
本文实测了 TypeSafe AI 发布的不生成文本的 AI 模型 Jev 在 RAG 检索流程中的效果。作者在重排、回答判断、检索前置门卫三个环节插入 Jev 进行验证:重排方面,Jev 以八分之一的成本达到接近 Cohere Rerank 的精度;在调用 LLM 之前用 Jev 判断「无法回答」,响应速度提升 5.6 倍,成本降至二十七分之一;在检索之前拦掉范围外提问,速度提升 7.4 倍,成本降至七十五分之一。此外,Jev 还能一次请求同时完成重排和回答判断。结论是用 Jev 改善 RAG 速度与成本可行,但需慎重设定阈值,避免误拦可回答问题。
文章从AI对话缺乏长期记忆的痛点切入,系统讲解了个人知识库的作用、分类与搭建方法。作者介绍了两大主流方案:以检索为中心的RAG知识库和以持续维护页面为中心的LLM Wiki知识库。RAG部分通过Dify演示了从资料上传、切片、混合检索索引建立到Agent接入的完整流程;LLM Wiki部分则介绍了Karpathy提出的三层结构(raw sources、wiki、schema),强调Markdown页面对AI友好且透明可查。最后作者分享了自己结合两者优势的混合方案,帮助读者根据实际需求选择合适的知识库路线。
文章介绍了清华大学MAIC团队开源的多智能体互动课堂平台OpenMAIC(GitHub 36.7K Star)。用户只需输入学习主题或上传教材、论文、音视频等资料,系统即可自动规划课程结构,生成包含知识讲解、测验、互动模拟和项目任务的完整课程,并配有AI老师和AI同学。作者详细演示了使用WorkBuddy Agent在本地部署OpenMAIC的全过程,包括配置大模型API、安装OpenMAIC Skill、排查白屏问题和接入TTS/ASR语音模型,并说明了导出MP4所需的前置依赖。该项目适合个人自学、教师备课、企业培训和编程实验教学等场景。
本文介绍如何构建一个带引用溯源的文档问答Agent(Grounded Document Agent)。核心问题是PDF解析质量决定答案上限:双栏排版、表格、图表等常被错误扁平化。项目使用LlamaParse在云端进行布局感知的Markdown解析并保留页码元数据,随后通过Ollama本地运行nomic-embed-text生成向量索引,配合CitationQueryEngine检索最相关的段落并生成带编号引用的答案。解析结果按文件哈希缓存以节省成本。界面展示页码、检索文本和相关度评分,让用户可检验引用背后的原始证据,区分解析、检索或生成阶段的错误。
本文是构建 Agent 记忆系统系列的第四篇,聚焦读取路径:如何检索已保存的知识并加以利用。文章首先强调根据问题类型选择检索方式——精确查找、相似案例识别或项目概览各有不同需求。接着对比了四种搜索方法:关键词匹配、语义搜索、图遍历和 Agentic 检索,指出 Agentic 检索能综合运用其他方法并随信息获取调整调查策略。文章还强调检索结果应具备可操作性,一条包含复现步骤和验证方式的笔记远比泛泛的描述更有价值。最后提醒要注重精确度,避免给 Agent 返回过多无关信息造成干扰,因为它可能将小问题扩大成大改动。
本文是一篇面向新手的本地大模型部署教程,作者以 MacBook Pro(Ubuntu 24.04、AMD Ryzen AI MAX+ 395、128GB 统一内存)为例,详细讲解了如何用 Ollama 部署 Qwen3.8 27B 模型。文章先解释了本地 AI 的真正价值——隐私、控制权、可接入工作流,而非省钱;然后指导读者判断硬件是否够用、如何选择合适的模型版本和量化等级,并用五步完成部署验证。随后介绍通过 Open WebUI 搭建日常使用界面,以及如何接入个人资料构建知识库(RAG),应用于科研和内容创作场景,最终将 AI 从网页聊天框变成个人设备上的基础设施。