🏷️ Context Rot

Recursive Language Models (RLMs) 清晰解释：解决大模型长上下文推理难题

文章介绍了一种称为递归语言模型（RLMs）的新方案，旨在解决大语言模型在处理超长上下文时出现的“上下文腐烂”问题。RLMs 不再将上下文限制在单一 Prompt 中，而是将其视为外部数据，通过赋予模型窥探、正则匹配、分区和递归调用等工具，让模型自主决定如何分解和处理任务。这种方法不仅消除了上下文长度对推理能力的影响，还提高了准确性和成本效率。