Recursive Language Models (RLMs) 清晰解释:解决大模型长上下文推理难题
文章介绍了一种称为递归语言模型(RLMs)的新方案,旨在解决大语言模型在处理超长上下文时出现的“上下文腐烂”问题。RLMs 不再将上下文限制在单一 Prompt 中,而是将其视为外部数据,通过赋予模型窥探、正则匹配、分区和递归调用等工具,让模型自主决定如何分解和处理任务。这种方法不仅消除了上下文长度对推理能力的影响,还提高了准确性和成本效率。
文章介绍了一种称为递归语言模型(RLMs)的新方案,旨在解决大语言模型在处理超长上下文时出现的“上下文腐烂”问题。RLMs 不再将上下文限制在单一 Prompt 中,而是将其视为外部数据,通过赋予模型窥探、正则匹配、分区和递归调用等工具,让模型自主决定如何分解和处理任务。这种方法不仅消除了上下文长度对推理能力的影响,还提高了准确性和成本效率。
文章清晰解释了递归语言模型的概念、原理和示例,信息量适中,洞察较深,但缺乏具体代码或操作步骤,实用性一般,观点新颖,时效性较好,行文流畅易读。
本文深入探讨了 Claude Code 等智能体工具在长对话中性能下降的现象。作者将其归因于“上下文腐烂”,分为无法避免的内在腐烂(模型架构限制)和可管理的内容腐烂(过时信息积累)。文章提供了具体的治理实践,包括前期策展、保持上下文清洁、及时重置以及使用 git 树结构管理会话,以维持工具的敏锐度。
本文介绍 Alex L. Zhang 与 Omar Khattab 提出的观点:Transformer 不擅长组合泛化,而更好的泛化应主要由 harness 完成。Harness 位于外部世界与神经网络之间,通过 context offloading(上下文卸载)和程序化子 agent 调用两个机制,让每次 LM 调用看到的观察处于训练分布内(LID),把复杂、陌生的问题归约为简单、熟悉的问题。实验基于 Qwen3-30B 的递归语言模型(RLM)显示在长度泛化和跨域策略泛化上远胜裸 Transformer,30B RLM 甚至可逼近 GPT-5.5。作者提醒不要手工硬编码 harness 结构,数据 scaling 仍是最大驱动力,但 harness 决定 scaling 系数。
本文译自 Earendil Engineering 的《How Compaction Works in Pi》,讲解编程 Agent(如 Pi、Claude Code、Codex)中的上下文压缩机制。LLM 的上下文窗口有限,随着对话和工具调用不断积累,请求会超出上限。解决方案之一是压缩:用 LLM 生成的摘要替换较早的历史记录,同时原样保留近期消息。文章详细介绍了 Pi 的实现——触发时机(接近上限自动触发或 /compact 手动触发)、token 预算、压缩提示的设计(像一份交接简报,包含目标、进度和关键决定),以及压缩与提示缓存的关系:压缩会打破前缀缓存,导致后续请求需重新计算。
文章介绍了近期海外开发者圈爆火的 AI 工具 Jev。它不是生成型模型,而是专注于毫秒级、极低成本的大量小判断,核心能力包括 Choice(选择)、Score(评分)和 Noul(概率判断)。作者整理了 20 个适合国内用户的应用案例:内容创作领域包括小红书标题爆款体检、检测文章 AI 味、筛选海量新闻素材、个性化信息流过滤;企业场景包括客服工单自动分类、销售线索分级、表单自动填写;开发者场景包括代码审查、AI 代码质检、编码 Agent 监工、MCP 集成、Agent 执行前的安全检查、长期运行 Agent 的记忆清理,以及智能家居和浏览器 Agent 操作等。
作者分享了一个开源的 Jev WeChat 微信群聊助手项目,可用 AI 自动分析群聊意图并生成候选回复,解决不懂人情世故、微信客服和群助手自动化等场景。项目发布后引发热议,网友讨论了封号风险(建议用小号测试安卓设备)、适用场景(私域运营、客服、销售、情侣群聊)、技术实现(使用 DeepSeek 生成回复)等。文中还附带分享了 Agent Space 订阅管理产品和 6 个大模型写 Space Invaders 的横向评测 benchmark,以及出海增长工作坊推荐等内容。
作者通过一次融资会议记忆被重新解读的经历,指出记忆的本质不是固定表示,而是一个持久系统:保留过去的证据,并随新证据不断重新编译其意义。文章批评将向量数据库、知识图谱、上下文窗口等当作记忆的常见误解,认为它们只是从记忆编译出的临时表示。作者提出记忆编译产生三类产物:状态(按序折叠事件得到)、检索(查找相关证据的工具)和上下文(为单次调用组装的有界视图),并类比编译器的中间表示(IR),指出每种表示只适合特定操作,记忆本身应是唯一不可丢弃的持久层。
本文是 Agent 内核拆解系列第 4 篇,深入分析开源 coding agent pi 的 compaction(上下文压缩)机制。文章介绍了触发压缩的两种条件:context 超过阈值(窗口减去 reserveTokens)和 API 溢出报错,并讲解了溢出恢复流程。压缩时从消息列表末尾回溯找合法切割点(保留最近约 2 万 token 原文),之前的消息用 LLM 按结构化格式(Goal、Progress、Key Decisions 等)总结成摘要,并在末尾追加 <read-files> 和 <modified-files> 文件列表,让模型压缩后仍知道读过、改过哪些文件。文末提供配套可运行代码与实践建议。
本文探讨了AI代理的记忆工程,指出当前模型虽有完美智能却无记忆,每次会话后如同陌生人。作者批评了依赖扩大上下文窗口的行业做法,提出记忆工程应借鉴人类记忆的架构,通过选择性编码、整合、检索和遗忘来构建独立的记忆系统。文章详细介绍了五阶段流水线:捕获(过滤非持久信息)、整合(去重与合并)、检索(基于相关性提取)、以及后续的更新与遗忘机制,并附有Python代码示例。作者强调,记忆工程是决定AI代理能否拥有连贯过去的关键学科,目前鲜有人正确实践。
本文深入探讨了AI代理开发中的一个关键误解:大上下文窗口并不等同于记忆。作者通过办公室隐喻,清晰区分了上下文窗口(桌面)、检索(书架)、压缩(ZIP)和摘要(抽象)在代理认知栈中的不同角色。文章指出,模型本质上是无状态的,每次API调用都从零开始,依赖大上下文窗口会导致注意力分散、雪球效应和延迟问题。真正的记忆持久化需要代理扮演数据库管理员的角色,通过检索、压缩和摘要等技术,将原始数据存储在外部存储中,仅将相关信息放入上下文窗口。文章提供了具体的代码示例,展示了如何实现冲突解决和分叉存储模式,为构建可靠的AI代理提供了实用指导。
本文由作者因遭遇 AI 智能体失控产生高昂费用的经历引出,旨在阐述构建生产级 AI 系统必须掌握的核心概念。文章提出了 AI 系统的通用公式:记忆(RAG)+ 思考(LLM + Tokens)+ 行动(Agents)+ 测量(Evals)。文中重点解析了 Tokens 与上下文窗口的成本与限制、嵌入向量与语义搜索的原理、RAG 检索增强生成的正确姿势、智能体循环中的工具使用与停止条件等关键技术细节,帮助开发者从“调参侠”进阶为真正的 AI 工程师。
本文通过作者制作多个爆款 Skill(如 PPT、社交媒体卡片、Logo 生成等)的实战经验,深入探讨了 Skill 在 AI 时代的本质与价值。作者指出,Skill 不仅是提示词,更是封装专家经验、工作流和审美判断的“能力商品”,能有效弥合 Agent 使用中的认知差距。文章详细阐述了 Skill 的设计哲学(中心短、辐射厚)、像代码一样的维护流程,以及如何通过“把品味变成约束”来保证高质量输出。