RAG Is a Lie — Karpathy's LLM Wiki 模式解析
文章批判了当前主流的 RAG(检索增强生成)模式无法积累知识的局限性,并介绍了 Andrej Karpathy 提出的 LLM Wiki 范式。该模式主张让 LLM 维护一个动态的结构化知识库(Wiki),在数据摄入时进行编译和整合,而非在查询时临时检索。这种方法通过将繁琐的维护工作交给 LLM,实现了知识的复利增长和自我进化,解决了传统知识管理系统中维护成本高昂的痛点。
文章批判了当前主流的 RAG(检索增强生成)模式无法积累知识的局限性,并介绍了 Andrej Karpathy 提出的 LLM Wiki 范式。该模式主张让 LLM 维护一个动态的结构化知识库(Wiki),在数据摄入时进行编译和整合,而非在查询时临时检索。这种方法通过将繁琐的维护工作交给 LLM,实现了知识的复利增长和自我进化,解决了传统知识管理系统中维护成本高昂的痛点。
文章清晰介绍了Karpathy的LLM Wiki概念,观点新颖但缺乏具体实现细节和深度论证,实用性一般,时效性较好。
文章介绍了一种基于 LLM 的新型 Wiki 知识管理范式,旨在解决传统知识库维护成本高的问题。作者详细阐述了 raw/wiki/schema 三层架构,以及 Ingest、Query、Lint 三大核心操作,并开源了相应的 Claude Code Skill。文章以 x-algorithm-wiki 为例,提供了五步实战教程,展示了如何让 LLM 增量维护可追溯、可信的项目架构文档,并探讨了该方法的边界与适用场景。
文章介绍了受 Karpathy LLM Wiki 启发的第二大脑新架构:不是把笔记当作检索用的档案柜,而是当作编译器。系统在摄入时一次性编译知识,自动链接、更新、标记矛盾,配合 CLAUDE.md 和每日编译循环,由 Claude 承担维护负担。作者分析了该方案相比 RAG 的架构优势、随时间复利增长的效果,以及源质量依赖、初期密度门槛、需付费版 Claude Desktop 等局限,并附上可直接使用的提示词。
本文提出了一种让 AI 智能体变得更聪明的双层系统:AI 知识层。它包含动态的知识库层(KBL)和静态的品牌基础层(BF),通过编译而非检索(RAG)的方式,让智能体在执行任务前拥有上下文记忆。文章介绍了该系统的概念、与传统 RAG 的区别、以及如何利用开源框架 LLM Wikid 构建个人或企业的知识图谱,从而解决 AI 输出同质化、缺乏个性化的问题。
文章指出 Agent 记忆系统的核心问题不是检索而是上下文组织。跨 15 个模型、20 万模拟对话的研究显示,任务拆分为多轮会使准确率平均下降 39%,而合并为单轮可恢复大部分损失。文章回顾了 Agent 记忆的四个发展阶段(全量历史、滚动摘要、向量检索、知识图谱),批评语义/情景/程序性记忆分类无法指导检索决策,并主张按六种问题类型构建六种上下文形态。作者基于开源 Graphiti 引擎,以客户历史为例实操演示如何让记忆系统在模型运行前正确组织上下文,避免基于过时信息的自信回答。
文章从AI对话缺乏长期记忆的痛点切入,系统讲解了个人知识库的作用、分类与搭建方法。作者介绍了两大主流方案:以检索为中心的RAG知识库和以持续维护页面为中心的LLM Wiki知识库。RAG部分通过Dify演示了从资料上传、切片、混合检索索引建立到Agent接入的完整流程;LLM Wiki部分则介绍了Karpathy提出的三层结构(raw sources、wiki、schema),强调Markdown页面对AI友好且透明可查。最后作者分享了自己结合两者优势的混合方案,帮助读者根据实际需求选择合适的知识库路线。
Ars Umbris 是一款可塑的 Agent 原生 IDE,将知识库视为代码库,通过类型引擎为笔记、来源等知识对象定义类型与关系,并像编译器一样对知识结构进行校验。其仓库以本地 Markdown/YAML 文件组织,包含知识、类型、技能、MCP 工具、投影与 Agent 配置,支持跨仓库引用与依赖复用。它通过 MCP 适配器连接 Claude Code、Codex 等 Agent 框架,让多个会话共享同一份持久化状态,形成「元 harness」。项目目前处于早期 Alpha,仅支持 macOS 且需自行编译。
作者基于 Karpathy 提出的 LLM wiki 理论,结合 WorkBuddy/Codex 与 Obsidian,搭建了一套能够自生长的个人知识库系统。文章解释了 LLM wiki 与 RAG 类方案的区别:知识不是每次临时拼装,而是通过 Raw(原始资料)、Wiki(结构化知识)、Schema(规则规范)三层架构持续增量沉淀。Obsidian 以本地化 Markdown、双链和插件生态承担存储底座与人机界面,Agent 负责理解新资料、建页、建链、维护索引与变更日志。文中给出了完整目录模板、详细提示词,介绍了直接搭建、claude-obsidian 插件等多种搭建方法,并分享了模型选型与实战建议。
作者分享如何用豆包工作在飞书上搭建个人 LLM-Wiki 知识库:先让豆包工作根据 Karpathy 的 LLM Wiki 方法论在飞书中初始化知识空间(原始资料、词条、索引、更新日志四大节点),再批量将文章、提示词教程等素材入库,自动建资料卡、提词条、补双链、更新索引。随后设计了 LLM Wiki 运维 Skill,包含 Ingest、Query、Lint、词条管理、索引日志维护五大功能,任何新对话 @ 一下即可操作。配合定时任务和云电脑每天自动拉取 AI 日报入库,存入的提示词方法论可直接调用来生成视频、做网站。整套 Skill 已开源。
作者通过一次融资会议记忆被重新解读的经历,指出记忆的本质不是固定表示,而是一个持久系统:保留过去的证据,并随新证据不断重新编译其意义。文章批评将向量数据库、知识图谱、上下文窗口等当作记忆的常见误解,认为它们只是从记忆编译出的临时表示。作者提出记忆编译产生三类产物:状态(按序折叠事件得到)、检索(查找相关证据的工具)和上下文(为单次调用组装的有界视图),并类比编译器的中间表示(IR),指出每种表示只适合特定操作,记忆本身应是唯一不可丢弃的持久层。