本周顶级 AI 论文综述：DeepSeek V4 与自进化智能体 DAIR.AI 2026-04-27 33.5 KB 74.7K 165 ☆ 收藏 𝕏 文章列表 本周综述重点介绍了 DeepSeek V4，这是首个默认支持百万 token 上下文的开源模型系列，通过 CSA/HCA 混合注意力机制和领域专家后训练技术，在推理性能上媲美 GPT-5.2。此外，还涵盖了 Apple 的 Mamba 架构知识蒸馏方法、Autogenesis 自进化智能体协议，以及 Skill-RAG 失败感知检索系统。 DeepSeek V4长上下文模型架构自进化智能体MambaRAG知识蒸馏论文综述CSAHCA 68 值得读 ▶ 文章汇总了多篇前沿AI论文，信息量大且结构清晰，但实用性偏弱，时效性因发布日期距今约3个月而有所降低。 # Top AI Papers of the Week **作者**: DAIR.AI **日期**: 2026-04-26T15:47:02.000Z **来源**: [https://x.com/dair_ai/status/2048428649288712206](https://x.com/dair_ai/status/2048428649288712206) ---  The Top AI Papers of the Week (April 19 - April 26) ## 1. DeepSeek V4  DeepSeek V4 is the first open model family built from the ground up around million-token contexts as a default rather than a bolt-on feature. The release includes DeepSeek-V4-Pro (1.6T total / 49B active) and DeepSeek-V4-Flash (284B total / 13B active), both trained natively at 1M context length. The tech report details a hybrid attention architecture, new training stability techniques, and a domain-specialist post-training pipeline that together push the open-source frontier much closer to GPT-5.2 and Gemini 3.0-Pro at a fraction of the cost. - Hybrid attention with CSA and HCA: DeepSeek V4 replaces a single attention stack with Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA). CSA compresses KV entries, then applies DeepSeek Sparse Attention with sliding-window KV for fine-grained local dependencies. HCA aggressively compresses KV for extreme-context layers, keeping the model feasible at 1M tokens. - Training stability at trillion-parameter scale: The team introduces two techniques that materially cut loss spikes. Anticipatory Routing decouples backbone and router updates, using current weights for features but historical weights for routing indices. SwiGLU Clamping bounds the linear and gate components of SwiGLU to stabilize activations throughout pretraining. - Domain-specialist post-training: Instead of one large mixed-RL stage, DeepSeek trains a separate specialist expert per domain. Each expert goes through supervised fine-tuning on domain data, then Group Relative Policy Optimization (GRPO) RL with a domain-specific reward model. The specialists are merged into the final model, recovering capability without destabilizing the generalist. - Frontier-adjacent performance at open-source cost: DeepSeek-V4-Pro-Max beats GPT-5.2 and Gemini 3.0-Pro on standard reasoning benchmarks and lands just behind GPT-5.4 and Gemini 3.1-Pro, effectively trailing the closed frontier by roughly 3 to 6 months. For open-weights teams that need long-context reasoning without closed API pricing, this is the most important release of the week. Paper | Tweet ## 2. Autogenesis  Static agents age quickly. As deployment environments change and new tools arrive, the agents that survive will be the ones that can safely rewrite themselves. This paper introduces Autogenesis, a self-evolving agent protocol where agents identify their own capability gaps, generate candidate improvements, validate them through testing, and integrate what works back into their own operational framework. No retraining and no human patching, just an ongoing loop of assessment, proposal, validation, and integration. - Two-layer protocol design: Autogenesis separates a Resource Substrate Protocol Layer (RSPL) that standardizes access to prompts, tools, environments, and memory from a Self-Evolution Protocol Layer (SEPL) that runs a Generate, Reflect, Improve, Evaluate, Commit loop over evolvable variables. The split keeps core capability registration stable while evolution happens on top. - Auditable lineage and rollback: Improvements are committed with version lineage, state access control, and reversible lifecycle operations. The protocol treats every self-modification as a first-class artifact that can be inspected, reproduced, or rolled back, which is what makes self-improvement safe enough to deploy. - Multi-agent applications: Autogenesis is demonstrated on multi-agent systems with planner, executor, and analyst roles. Agents evolve their own prompts, tool wrappers, and coordination routines using the shared protocol, showing that the abstraction is general enough to hold across roles rather than being tied to a single agent type. - Part of a broader self-improvement wave: The paper sits alongside Meta-Harness and the Darwin Gödel Machine as a concrete framework for operationalizing self-modification. Together they mark a shift from "agents that use tools" to "agents that edit their own tooling." Paper | Tweet ## 3. Attention to Mamba  Apple proposes a two-stage recipe for cross-architecture distillation from Transformers into Mamba. Naive distillation collapses teacher performance because a Mamba student cannot directly imitate softmax attention. The fix is to distill the transformer into a linearized-attention student using a kernel adaptation first, then transfer that student into a pure Mamba with no attention blocks. On a 1B model trained on 10B tokens, the Mamba student hits 14.11 perplexity against a 13.86 Pythia-1B teacher, nearly matching quality at linear-time inference cost. - Stage 1, softmax to linear attention: The first stage replaces softmax attention with a Hedgehog-style linearized attention student, using a learnable kernel feature map that preserves the original attention scores while removing the softmax nonlinearity. This gives a strictly linear-complexity intermediate that stays close to the teacher. - Stage 2, linear attention to Mamba: The second stage transfers the linearized student into a HedgeMamba block, a hybrid SSM architecture that reuses the learned linear attention parameters and adds state-space components. The transition preserves quality because the two formulations are mathematically related, not just structurally similar. - Quality at long context: On downstream benchmarks, the distilled Mamba reaches 74.1% of the teacher's accuracy, with the recipe generalizing to 1B and 3B scales. The key practical win is retaining Transformer-level quality on the sequence mixing block while moving to linear time at inference. - A cheaper path to SSM deployment: If trained Transformers can be reliably converted into state-space models without retraining from scratch, the entire open-weights ecosystem becomes cheaper to serve at long context. This is the kind of quiet infrastructure work that matters more than it looks. Paper | Tweet ## 4. Skill-RAG  Most RAG systems retrieve on every query, whether the model needs help or not. This is wasteful when the model already knows the answer and often too late when it does not. This paper introduces Skill-RAG, a failure-state-aware retrieval system that uses hidden-state probing to detect when an LLM is approaching a knowledge failure, then routes the query to a specialized retrieval strategy matched to the gap. - Hidden-state probing as a retrieval trigger: Skill-RAG trains a lightweight probe on the LLM's hidden representations that predicts whether the model is about to fail the query. Only queries that clear the probe's failure threshold trigger retrieval, which cuts unnecessary search calls while preserving answers for the cases that actually need help. - Skill-matched retrieval strategies: Different failure modes (factual recall, multi-hop reasoning, temporal knowledge) are routed to different retrieval "skills" rather than a single generic retriever. Each skill is treated as a standalone component the agent can select between, echoing the broader trend of turning RAG into a collection of composable primitives. - Consistent gains across benchmarks: Evaluated on HotpotQA, Natural Questions, and TriviaQA, Skill-RAG improves over uniform RAG baselines on both efficiency and accuracy. The efficiency story matters as much as the accuracy: per-query retrieval cost drops significantly when the system skips retrieval for questions the model can already answer. - A shift in how RAG is designed: The work reinforces the direction RAG is heading: from a single monolithic pipeline to a suite of retrieval skills an agent selects between. Knowing when to retrieve and what kind of retrieval to run is becoming the central design question. Paper | Tweet ## 5. Self-Generated World Knowledge  How far are we from agents that can self-generate world knowledge? This paper proposes an outcome-based reward that measures how much an agent's self-generated world knowledge actually improves its task success rate, then trains with that signal and removes the external guidance at inference. The result is a 14B model that surpasses Gemini-2.5-Flash on web navigation and gains +20% on WebVoyager and WebWalker benchmarks. - Outcome-based reward for knowledge: Rather than scoring knowledge against a human-labeled reference, the reward is whether the generated knowledge measurably improves task success when the agent uses it. This lets the system learn which internally generated facts are worth keeping without an external oracle. - Multistage training pipeline: The method combines supervised fine-tuning on an instruction-and-trajectory dataset with reinforcement rejection sampling, where the best trajectories (ranked by the outcome reward) are used to update the policy. The training loop iterates between generation, reward scoring, and rejection sampling until the model internalizes effective knowledge-use behaviors. - Knowledge-enhanced execution at inference: At inference the external environment feedback loop is removed. The agent self-generates world knowledge, uses it to plan, and executes, without any human or reward signal in the loop. This is what makes the method deployable, not just measurable. - Environment design replaces labeling: If agents can reliably improve themselves by exploring the world rather than waiting for human-labeled rewards, the bottleneck for scaling agentic systems shifts from data curation to environment design. That matches the broader direction of the field and gives practitioners a concrete recipe to follow. Paper | Tweet ## 6. Self-Evolving Logic Synthesis  EDA tools like ABC have been hand-tuned by humans for decades. NVIDIA shows they can evolve themselves. This work introduces the first self-evolving logic synthesis framework, a multi-agent LLM system that autonomously refines the entire ABC codebase, generates and tests candidate optimization sequences against standard benchmark circuits, then merges improvements back into the base tool. No human engineer in the loop. - Multi-agent refinement of a real EDA toolchain: The framework assigns specialized agents to exploration, synthesis, and self-review tasks. Agents read and modify the ABC source directly, propose optimization flows, and run them against benchmark circuits such as EPFL, IWLS, and VTR, with three-pass human-domain knowledge injected through the pipeline. - Measured improvement over hand-tuned baselines: The evolved ABC variants produce better area, delay, and switching metrics than the hand-tuned reference on the benchmark suite, and the improvements persist under sensitivity analysis. This is a real gain on a tool the semiconductor industry depends on. - Codebase-level evolution, not just prompt tuning: The agents edit the ABC codebase itself, not just a configuration layer. That is a meaningful extension of the self-improving agent thread: the unit of improvement is real production code, not a prompt or policy. - Generalizable blueprint for domain tools: If agents can evolve a foundational semiconductor tool without manual engineering, the same pattern generalizes to any large, domain-specific codebase. It is a concrete extension of the self-improving agent thread, applied to infrastructure that shipping chips depend on. Paper | Tweet ## 7. Stateless Decision Memory  Most interesting AI agent papers right now are about capability. This one is about plumbing, and it is probably more important than it looks. Stateful agents do not scale horizontally. The moment you need thousands of concurrent agent instances running across containers, persistent per-agent state becomes the bottleneck. This paper proposes replacing active memory with immutable decision logs using event-sourcing principles from distributed systems. - Decision logs instead of live state: Every agent decision, tool call, and observation is appended to an immutable event log. Any instance can reconstruct context by replaying the log on demand, which decouples decision logic from storage and lets agents spin up anywhere with no warmup. - Enterprise properties by design: Compared to summary-only, SAM, and vector-memory baselines, Decision Process Memory (DPM) is the only architecture that supports append-only logging, stateless projection, audit-ready rationale trails, replay from log alone, multi-tenant isolation, and per-event provenance. Each of these is a hard requirement in regulated enterprise deployments. - Tight-budget performance wins: On FRP, RCS, and EDA evaluations under constrained memory budgets, DPM substantially outperforms summary-only memory, with the gap widening as the budget tightens. Under loose budgets the approaches converge, which is the expected pattern once scale is no longer the constraint. - A blueprint for regulated deployments: For teams operationalizing agents in finance, healthcare, or other compliance-heavy industries, the paper reads as a practical specification. It maps existing distributed-systems discipline onto agent memory instead of inventing a new category, which is why it is likely to age well. Paper | Tweet ## 8. There Will Be a Scientific Theory of Deep Learning A position paper arguing that a genuine scientific theory of deep learning is already taking shape under the umbrella of "learning mechanics." The authors identify five converging research directions (solvable idealized models, tractable mathematical limits, simple macroscopic laws, hyperparameter theories, and universal cross-system behaviors) that share a common signature: they describe training dynamics, target coarse aggregate statistics, and commit to falsifiable quantitative predictions. The framing pushes back on skepticism about whether deep learning can have fundamental theory and positions learning mechanics as a complement to mechanistic interpretability, not a competitor. Paper | Tweet ## 9. MASS-RAG Most real-world RAG failures come from retrieving technically-relevant but contextually useless documents, then forcing a single model to reconcile them. MASS-RAG is a multi-agent synthesis framework for retrieval-augmented generation where specialized agents handle distinct roles: retrieving candidate documents, assessing their actual relevance to the query, and synthesizing the final answer from evidence that actually contributes. Instead of one model doing everything, responsibility is decomposed across coordinated evaluators, which fits the direction the field is heading for deep research agents. Paper | Tweet ## 10. Diversity Collapse in Multi-Agent LLMs Every multi-agent system pitch assumes agents explore different solutions, but this paper shows they converge on near-identical outputs over time, even across different architectures and different starting prompts. The authors call it diversity collapse. The cause is structural coupling: shared context, shared task descriptions, and mutual feedback pull every agent toward the same attractor. They measure it formally with metrics like the Vendi score, and the homogenization is real. The practical consequence is that multi-agent setups for brainstorming, hypothesis generation, and ideation only work if teams explicitly engineer isolated reasoning phases, decoupled evaluation, and heterogeneous starting conditions. Paper | Tweet ## 相关链接 - [DAIR.AI](https://x.com/dair_ai) - [@dair_ai](https://x.com/dair_ai) - [27K](https://x.com/dair_ai/status/2048428649288712206/analytics) - [Paper](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf) - [Tweet](https://x.com/deepseek_ai/status/2047516922263285776) - [Paper](https://arxiv.org/abs/2604.15034) - [Tweet](https://x.com/omarsar0/status/2045241905227915498) - [Paper](https://arxiv.org/abs/2604.14191) - [Tweet](https://x.com/dair_ai/status/2045600012860801113) - [Paper](https://arxiv.org/abs/2604.15771) - [Tweet](https://x.com/omarsar0/status/2046249336162632155) - [Paper](https://arxiv.org/abs/2604.18131) - [Tweet](https://x.com/dair_ai/status/2047061650189307953) - [Paper](https://arxiv.org/abs/2604.15082) - [Tweet](https://x.com/dair_ai/status/2046251813738025025) - [Paper](https://arxiv.org/abs/2604.20158) - [Tweet](https://x.com/omarsar0/status/2047325132096758228) - [Paper](https://arxiv.org/abs/2604.21691) - [Tweet](https://x.com/learning_mech/status/2047723849874330047) - [Paper](https://arxiv.org/abs/2604.18509) - [Tweet](https://x.com/omarsar0/status/2046594362931556728) - [Paper](https://arxiv.org/abs/2604.18005) - [Tweet](https://x.com/dair_ai/status/2047326894992081296) - [Upgrade to Premium](https://x.com/i/premium_sign_up) - [11:47 PM · Apr 26, 2026](https://x.com/dair_ai/status/2048428649288712206) - [27.7K Views](https://x.com/dair_ai/status/2048428649288712206/analytics) --- *导出时间: 2026/4/27 09:23:34* --- ## 中文翻译 # 本周顶级 AI 论文 **作者**： DAIR.AI **日期**： 2026-04-26T15:47:02.000Z **来源**： [https://x.com/dair_ai/status/2048428649288712206](https://x.com/dair_ai/status/2048428649288712206) ---  本周顶级 AI 论文（4 月 19 日 - 4 月 26 日） ## 1. DeepSeek V4  DeepSeek V4 是首个从零开始围绕百万 token 上下文作为默认能力而非附加功能构建的开源模型家族。本次发布包括 DeepSeek-V4-Pro（总参数 1.6T / 激活参数 49B）和 DeepSeek-V4-Flash（总参数 284B / 激活参数 13B），两者均以 1M 上下文长度原生训练。技术报告详细介绍了一种混合注意力架构、新的训练稳定性技术，以及一个领域专家后训练流程，这些共同使开源前沿以极小的成本大幅逼近 GPT-5.2 和 Gemini 3.0-Pro。 - 采用 CSA 和 HCA 的混合注意力：DeepSeek V4 用压缩稀疏注意力（CSA）和重压缩注意力（HCA）取代了单一的注意力堆栈。CSA 先压缩 KV 条目，然后应用带滑动窗口 KV 的 DeepSeek 稀疏注意力来捕捉细粒度的局部依赖。HCA 则对极端上下文层激进地压缩 KV，使模型在 1M token 下保持可行。 - 万亿参数规模下的训练稳定性：团队引入了两项能显著减少损失尖峰的技术。预判路由将主干和路由器的更新解耦，使用当前权重计算特征，但使用历史权重确定路由索引。SwiGLU 钳制将 SwiGLU 的线性和门控分量限制在一定范围内，从而在整个预训练过程中稳定激活值。 - 领域专家后训练：DeepSeek 没有采用单一的大规模混合强化学习阶段，而是为每个领域训练一个独立的专家模型。每个专家先在领域数据上进行监督微调，然后使用领域专属的奖励模型进行组相对策略优化（GRPO）强化学习。这些专家被合并到最终模型中，在不破坏通用能力稳定性的前提下恢复了专业能力。 - 开源成本下的接近前沿的性能：DeepSeek-V4-Pro-Max 在标准推理基准上击败了 GPT-5.2 和 Gemini 3.0-Pro，仅落后于 GPT-5.4 和 Gemini 3.1-Pro，实际上与闭源前沿的差距约为 3 到 6 个月。对于需要长上下文推理又不想支付闭源 API 价格的开源权重团队而言，这是本周最重要的发布。 论文 | 推文 ## 2. Autogenesis  静态智能体很快就会过时。随着部署环境的变化和新工具的出现，能够安全地改写自身的智能体才能存活下来。这篇论文介绍了 Autogenesis，一种自进化智能体协议，其中智能体识别自身的能力缺口，生成候选改进方案，通过测试进行验证，并将有效的改进整合回自身的运行框架中。无需重新训练，也无需人工修补，只有一个持续进行的评估、提议、验证和整合的循环。 - 双层协议设计：Autogenesis 将标准化访问提示、工具、环境和记忆的资源基座协议层（RSPL）与运行“生成、反思、改进、评估、提交”循环以进化可变变量的自进化协议层（SEPL）分离。这种划分保持了核心能力注册的稳定性，而进化则在之上进行。 - 可审计的谱系和回滚：改进以版本谱系、状态访问控制和可逆的生命周期操作进行提交。该协议将每一次自我修改都视为可以检查、复现或回滚的一等工件，这正是使自我改进安全到可以部署的关键。 - 多智能体应用：Autogenesis 在具有规划者、执行者和分析者角色的多智能体系统上进行了演示。智能体使用共享协议进化自己的提示、工具封装和协调例程，表明这一抽象足够通用，可以跨越不同角色，而不局限于单一智能体类型。 - 更广泛的自我改进浪潮的一部分：这篇论文与 Meta-Harness 和达尔文哥德尔机器一道，成为将自我改写落地运营的具体框架。它们共同标志着从“使用工具的智能体”到“编辑自身工具的智能体”的转变。 论文 | 推文 ## 3. Attention to Mamba  Apple 提出了一种从 Transformer 向 Mamba 进行跨架构蒸馏的两阶段方案。朴素蒸馏会导致教师模型性能崩溃，因为 Mamba 学生无法直接模仿 softmax 注意力。解决方法是先用核适配将 Transformer 蒸馏到线性化注意力学生模型，再将该学生模型迁移到不含注意力块的纯 Mamba 中。在用 10B token 训练的 1B 模型上，Mamba 学生达到了 14.11 的困惑度，而 Pythia-1B 教师为 13.86，在线性时间推理成本下几乎匹配了教师的质量。 - 第一阶段，从 softmax 到线性注意力：第一阶段将 softmax 注意力替换为 Hedgehog 风格的线性化注意力学生模型，使用可学习的核特征映射，在去除 softmax 非线性的同时保留原始注意力分数。这得到了一个严格线性复杂度、且与教师模型保持接近的中间模型。 - 第二阶段，从线性注意力到 Mamba：第二阶段将线性化学生模型迁移到 HedgeMamba 块中，这是一种混合 SSM 架构，复用已学习的线性注意力参数并添加状态空间组件。由于这两种表述在数学上相关，而不仅仅是结构上相似，因此这种转换能够保持质量。 - 长上下文下的质量：在下游基准测试中，蒸馏后的 Mamba 达到了教师模型 74.1% 的准确率，且该方案可推广到 1B 和 3B 规模。关键的实践价值在于，在转向推理时线性时间复杂度的同时，保留了序列混合模块上的 Transformer 级质量。 - 一条更低成本的 SSM 部署路径：如果训练好的 Transformer 能够可靠地转换为状态空间模型而无需从头重新训练，那么整个开放权重生态系统在长上下文场景下的服务成本就会变得更低。这是一种看似不起眼却至关重要的基础设施工作。 论文 | 推文 ## 4. Skill-RAG  大多数 RAG 系统对每个查询都进行检索，无论模型是否需要帮助。当模型已经知道答案时，这是浪费；而当模型不知道答案时，往往又为时已晚。本文提出了 Skill-RAG，这是一种感知失败状态的检索系统，它利用隐藏状态探测来检测 LLM 何时即将出现知识失败，然后将查询路由到与该知识缺口相匹配的专门检索策略。 - 隐藏状态探测作为检索触发器：Skill-RAG 在 LLM 的隐藏表示上训练一个轻量级探测器，预测模型是否即将在该查询上失败。只有通过探测器失败阈值的查询才会触发检索，这在为真正需要帮助的案例保留答案的同时，减少了不必要的搜索调用。 - 与技能匹配的检索策略：不同的失败模式（事实回忆、多跳推理、时间性知识）被路由到不同的检索“技能”，而不是单一通用检索器。每个技能都被视为代理可以在其间选择的独立组件，呼应了将 RAG 转变为可组合原语集合的更大趋势。 - 在多个基准上一致的提升：在 HotpotQA、Natural Questions 和 TriviaQA 上评估，Skill-RAG 在效率和准确率上均优于统一 RAG 基线。效率方面的表现与准确率同样重要：当系统对模型已经能够回答的问题跳过检索时，每次查询的检索成本显著下降。 - RAG 设计方式的转变：这项工作强化了 RAG 的发展方向：从单一的单体流水线转向一套由代理选择的检索技能。知道何时检索以及运行何种类型的检索，正在成为核心设计问题。 论文 | 推文 ## 5. 自生成世界知识  我们距离能够自生成世界知识的代理还有多远？本文提出了一种基于结果的奖励，用于衡量代理自生成的世界知识实际上在多大程度上提高了其任务成功率，然后利用该信号进行训练，并在推理时移除外部引导。结果是得到一个 14B 模型，它在网页导航上超越了 Gemini-2.5-Flash，并在 WebVoyager 和 WebWalker 基准上提升了 20%。 - 针对知识的基于结果的奖励：奖励并非依据人工标注的参考来对知识打分，而是看生成的知识在代理使用时能否切实提高任务成功率。这使得系统能够学习哪些内部生成的事实值得保留，而无需外部 oracle。 - 多阶段训练流水线：该方法将在指令与轨迹数据集上的监督微调与强化拒绝采样相结合，其中最佳轨迹（按结果奖励排序）被用于更新策略。训练循环在生成、奖励评分和拒绝采样之间迭代，直到模型内化有效的知识使用行为。 - 推理时知识增强的执行：在推理时移除外部环境反馈循环。代理自生成世界知识，利用它进行规划并执行，循环中没有任何人类或奖励信号。这正是使该方法可部署而不仅仅可衡量的关键。 - 环境设计取代标注：如果代理能够通过探索世界可靠地自我改进，而不是等待人工标注的奖励，那么扩展代理系统的瓶颈将从数据整理转向环境设计。这与该领域的整体方向相符，并为从业者提供了一条可遵循的具体方案。 论文 | 推文 ## 6. 自进化逻辑综合  像 ABC 这样的 EDA 工具已被人类手工调优了几十年。NVIDIA 证明了它们可以自我进化。这项工作提出了首个自进化逻辑综合框架，这是一个多智能体 LLM 系统，能够自主完善整个 ABC 代码库，针对标准基准电路生成并测试候选优化序列，然后将改进合并回基础工具。整个过程中没有人类工程师参与。 - 多智能体对真实 EDA 工具链的精炼：该框架将专门的智能体分配到探索、综合和自审任务上。智能体直接读取和修改 ABC 源代码，提出优化流程，并在 EPFL、IWLS 和 VTR 等基准电路上运行这些流程，同时在流水线中注入三轮人类领域知识。 - 相对手工调优基线的可测量改进：进化出的 ABC 变体在基准套件上产生的面积、延迟和开关指标优于手工调优的参考版本，且这些改进在敏感性分析下依然保持。这是在一个半导体行业赖以生存的工具上取得的真实收益。 - 代码库级别的进化，而不仅仅是提示词调优：智能体编辑的是 ABC 代码库本身，而不仅仅是一个配置层。这对自我改进智能体方向是一个有意义的扩展：改进的单元是真实的生产代码，而不是提示词或策略。 - 可推广到领域工具的蓝图：如果智能体能够在无需人工工程的情况下进化一个基础性半导体工具，那么同样的模式可以推广到任何大型领域专用代码库。这是自我改进智能体方向的具体延伸，应用于芯片出货所依赖的基础设施。 [论文](https://arxiv.org/abs/2502.07113) | [推文](https://x.com/jeffclune/status/1790329589192446047) ## 7. 无状态决策记忆  当下最有趣的 AI 智能体论文大多是关于能力的。而这篇论文是关于基础设施的，它可能比看起来更重要。有状态的智能体无法横向扩展。一旦你需要数千个并发智能体实例跨容器运行，每个智能体的持久化状态就成为瓶颈。这篇论文提出用来自分布式系统的事件溯源（event-sourcing）原则，以不可变的决策日志取代主动记忆。 - 用决策日志替代实时状态：每个智能体决策、工具调用和观察都被追加到不可变的事件日志中。任何实例都可以通过按需重放日志来重建上下文，这将决策逻辑与存储解耦，让智能体可以在任何地方即时启动，无需预热。 - 天生具备企业级特性：与仅摘要、SAM 和向量记忆等基线相比，决策过程记忆（DPM）是唯一支持仅追加日志、无状态投影、可审计的理由链、仅凭日志重放、多租户隔离以及逐事件溯源的架构。这些都是受监管企业部署中的硬性要求。 - 紧预算下的性能优势：在受限记忆预算下的 FRP、RCS 和 EDA 评估中，DPM 大幅优于仅摘要记忆，且预算越紧张差距越大。在宽松预算下，各方法趋于一致，这正是当规模不再是约束时的预期模式。 - 受监管部署的蓝图：对于在金融、医疗或其他合规要求严格的行业中运营智能体的团队来说，这篇论文读起来像一份实用规范。它将现有的分布式系统规范映射到智能体记忆上，而不是发明一个新类别，这也是它可能历久弥新的原因。 [论文](https://arxiv.org/abs/2502.07113) | [推文](https://x.com/jeffclune/status/1790329589192446047) ## 8. 深度学习将会有科学理论 一篇立场论文，论证在“学习力学”（learning mechanics）的旗帜下，深度学习的真正科学理论已经初具雏形。作者指出了五个正在汇聚的研究方向（可解的理想化模型、可处理的数学极限、简单的宏观规律、超参数理论以及跨系统的普适行为），它们具有共同的特征：描述训练动态、以粗粒度聚合统计为目标，并做出可证伪的定量预测。这一框架反驳了对深度学习能否拥有基础理论的怀疑论，并将学习力学定位为对机制可解释性的补充而非竞争者。 [论文](https://arxiv.org/abs/2502.07113) | [推文](https://x.com/jeffclune/status/1790329589192446047) ## 9. MASS-RAG 大多数现实世界的 RAG 失败源于检索到技术上相关但语境上无用的文档，然后强迫单一模型去协调它们。MASS-RAG 是一个面向检索增强生成的多智能体综合框架，其中专门的智能体承担不同的角色：检索候选文档、评估它们与查询的实际相关性，以及从真正有贡献的证据中综合出最终答案。它不让一个模型包揽一切，而是将职责分解给多个协调的评估者，这符合该领域在深度研究智能体上的发展方向。 [论文](https://arxiv.org/abs/2502.07113) | [推文](https://x.com/jeffclune/status/1790329589192446047) ## 10. 多智能体 LLM 中的多样性坍缩 每个多智能体系统的宣传都假定智能体会探索不同的解决方案，但这篇论文表明，它们会随着时间的推移收敛到几乎相同的输出，即使跨越不同架构和不同的起始提示词也是如此。作者称之为多样性坍缩（diversity collapse）。其原因是结构性耦合：共享的上下文、共享的任务描述和相互反馈将每个智能体拉向同一个吸引子。他们用 Vendi 分数等指标进行了正式测量，同质化确实存在。其实际后果是：用于头脑风暴、假设生成和创意构思的多智能体设置，只有在团队明确设计出隔离的推理阶段、解耦的评估和异构的起始条件时才能奏效。 [论文](https://arxiv.org/abs/2502.07113) | [推文](https://x.com/jeffclune/status/1790329589192446047) ## 相关链接 - [DAIR.AI](https://x.com/dair_ai) - [@dair_ai](https://x.com/dair_ai) - [27K](https://x.com/dair_ai/status/2048428649288712206/analytics) - [论文](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf) - [推文](https://x.com/deepseek_ai/status/2047516922263285776) - [论文](https://arxiv.org/abs/2604.15034) - [推文](https://x.com/omarsar0/status/2045241905227915498) - [论文](https://arxiv.org/abs/2604.14191) - [推文](https://x.com/dair_ai/status/2045600012860801113) - [论文](https://arxiv.org/abs/2604.15771) - [推文](https://x.com/omarsar0/status/2046249336162632155) - [论文](https://arxiv.org/abs/2604.18131) - [推文](https://x.com/dair_ai/status/2047061650189307953) - [论文](https://arxiv.org/abs/2604.15082) - [推文](https://x.com/dair_ai/status/2046251813738025025) - [论文](https://arxiv.org/abs/2604.20158) - [推文](https://x.com/omarsar0/status/2047325132096758228) - [论文](https://arxiv.org/abs/2604.21691) - [推文](https://x.com/learning_mech/status/2047723849874330047) - [论文](https://arxiv.org/abs/2604.18509) - [推文](https://x.com/omarsar0/status/2046594362931556728) - [论文](https://arxiv.org/abs/2604.18005) - [推文](https://x.com/dair_ai/status/2047326894992081296) - [升级至高级版](https://x.com/i/premium_sign_up) - [2026年4月26日 11:47 PM](https://x.com/dair_ai/status/2048428649288712206) - [2.77万次浏览](https://x.com/dair_ai/status/2048428649288712206/analytics) --- *导出时间: 2026/4/27 09:23:34*
D DeepSeek-V4 工程权衡分析：1M 上下文并非无损记忆 文章深入剖析了 DeepSeek-V4 如何通过 HCA、CSA 和 SWA 三通道并行架构，将 KV Cache 压缩至基线的 2%，从而实现工程上可行的 100 万 token 上下文。然而，这种极致的压缩是有代价的：MRCR 8-needle 测试准确率在 1M 长度下显著下降至 0.59。文章指出，V4 通过牺牲检索精度换取了推理成本的数量级降低，是一种‘有损的 1M’，并明确论证了该设计原理上无法完全替代 RAG 系统。 技术 › LLM GoGoNN 2026-04-28 DeepSeek长上下文模型架构KV CacheCSAHCA工程权衡RAG技术分析
全 全世界第一个记忆原生大模型 MemT-1.0 上线 MemOS 团队发布全球首个“记忆原生”大模型 MemT-1.0，将记忆能力直接训练进模型权重，取代 RAG、Mem0 等外挂记忆方案。其思路是不改底座、参数冻结，仅在部分层并联约 1.05 亿参数的记忆块，通过蒸馏训练让模型自学“什么该记、什么该忘、怎么取用”，优化目标从检索命中率改为任务答对率。交付物包括通用模型权重（会记笔记的大脑）和用户专属记忆状态文件（仅 40 MiB 的笔记本）。数据显示其 40 MiB 记忆答题成功率 69.73%，略高于全量上下文的 69.13%，存储缩小 66 倍、首字响应快 4.19 倍。已在 Hugging Face 和 GitHub 开源，被视为开启模型“在使用中变强”的第四条技术路线。 技术 › LLM huangserva (@servasyy_ai) 2026-10-21 记忆原生MemT-1.0LLM大模型记忆蒸馏训练RAGMemOS开源参数微调长上下文
杀 杀死 2023 RAG 的，是更好的 RAG：9 位检索专家的前沿实战共识「Beyond Naive RAG」 本文介绍 Hamel Husain 主编的演讲合集《Beyond Naive RAG》，汇集 9 位一线检索专家的共识：朴素 RAG（切块+单向量+余弦检索）已失效，但检索增强生成本身远未死亡。全书论证三条主线：长上下文不能替代检索（Context Rot 证明上下文越长模型越不可靠）；评估先于优化（公开基准已污染，须建自有黄金数据集）；复杂性不是目的（慎用图数据库等过度工程）。涵盖 ColBERT 后期交互、推理增强检索（Promptriever、Rank1）、多重表示与智能路由、FreshStack 评估指标等前沿方法，提出'评估驱动+多表示+推理增强+克制架构'的实践观。 技术 › LLM meng shao 2026-10-12 RAG检索embedding评估长上下文Context RotColBERT信息检索LLM
W Why LLMs can't write well and how Sherpa fixes it Pocket FM 创始人 Rohan Nayak 分享其 AI 写作系统 Sherpa 的构建历程。通用 LLM 因训练目标（逻辑推理、快速给答案）与创意写作需求（张力、情感、悬念、节奏变化）相悖而写不好故事，且缺乏清晰的强化学习成功信号。微调现成模型的尝试均告失败后，团队自研 Sherpa harness，由规划器、叙事世界模型（NWM，维护结构化故事状态与记忆）和散文引擎三大组件构成，并利用 Pocket FM 亿级用户的收听数据做强化学习，用户留存与完听率成为写作质量的天然反馈信号。盲测中 Sherpa 在 65.6%-97.1% 的配对比较中胜出，NWM 多跳检索准确率达 86.7%，成本约为同类方案的 1/21。 技术 › LLM Rohan Nayak 2026-10-01 LLM创意写作强化学习Harness Engineering长上下文RAGAI内容Pocket FM叙事世界模型音频短剧
D DeepSeek-V4.1-Flash 技术报告：将 KV 缓存压缩推向极限，重构预填充、缓存与部署的成本结构 本文深度解读 DeepSeek-V4.1-Flash 技术报告，该模型通过 CED 不对称编码器-解码器架构、CSA2 跨层稀疏注意力复用、FP4 主 KV 量化及 SWA Bounded Replay 近似恢复四项设计，将常驻 HBM 的全局 KV 缓存降至 890 bytes/token（约为上一代四分之一），持久化缓存降至八分之一。文章详细解析各项技术的原理与协作机制，澄清了对压缩数字的常见误读，评估模型能力变化，并与 PagedAttention、MiniCache 等已有 KV 压缩路线对比，指出该工作将缓存压缩从算法点推进为面向百万 token 长程 agent 场景的系统级共同设计，同时讨论其证据强度与局限。 技术 › LLM meng shao 2026-09-19 DeepSeekKV缓存压缩长上下文推理优化量化稀疏注意力Agent预填充技术报告模型架构
我 我让蚂蚁百灵的金融模型，和它自己打了 441 轮 作者对蚂蚁百灵发布的金融模型 Ling-3.0-flash-Fin 与其通用基座 Ling-3.0-flash 进行了 441 轮对比实测，使用微软 FY26 Q4 财报和宁德时代 2025 年报等一手公开材料，设计八类任务。结果显示两个模型都能以分析师水准完成建模、口径辨析、抗幻觉等任务，准确率上金融版没有体现出明显优势；唯一显著差距在长篇输出场景，金融版更易'想太多'后返回空白（研报撰写失败率 18.6% vs 0%）。文章还给出反直觉发现：长上下文直投比 RAG 检索更准、更快、更便宜，并坦诚记录了测评过程中的多次自我纠错。 技术 › LLM 阿良｜AI 工作流 2026-09-03 蚂蚁百灵Ling-3.0金融模型模型评测长上下文RAG投研幻觉静默失败OpenRouter
长 长上下文缓存能复用，为什么一压缩就失真？ 文章探讨了 RAG 场景中 KV Cache 复用的挑战。现有方法在长上下文下面临存储与传输瓶颈，且直接复用或简单压缩会导致位置偏移和误差放大。C2KV 通过轻量级 Extractor 将文档压缩为可拼接、位置解耦的 KV 表示，实现了显著推理加速。文章分析了其在质量、延迟和工程落地上的权衡，强调 KV 复用已演变为存储、传输和质量共同约束的系统问题。 技术 › LLM 烟花老师 2026-08-04 KV CacheRAGC2KV推理优化长上下文大模型
A AI Agent 记忆机制原理与实战解析 文章深入浅出地讲解了 AI Agent 记忆系统的工作原理，从基础的单会话与多会话记忆保持切入，引出 Google 提出的情景、语义与程序性记忆三分法。通过对比 OpenClaw 的实现方式与存在的问题，重点剖析了企业级方案 EverOS 的架构。EverOS 将记忆细分为六大类，并通过语义巩固、主动上下文重建等技术优化记忆的抽取、更新与检索。文章还包含 EverOS 的 API 调用示例及 20 个真实落地场景，为开发者提供了 Agent 记忆系统的全景指南。 技术 › Agent 铁锤人 2026-05-14 AI Agent记忆系统OpenClawEverOSRAG向量数据库长上下文自进化LLM实战案例
A Agent 高频题 04. Agent 效果怎么评测：评测集怎么建、指标怎么定、怎么证明变好了 本文是 Agent 高频面试题详解系列第 4 题，系统讲解 Agent 效果评测体系。文章基于 64 场面试面经分析，归纳出评测追问的八个方向，并结合 Anthropic、OpenAI 等实践经验展开：先明确评什么（Agent 评测难在结果在环境状态中、路径不唯一、结果不确定）；评测集怎么建（题目来自真实失败、业务方、合成数据，注意分层、防泄露与防过拟合）；谁来打分（代码判分、模型判分、人工判分三种方式的取舍，LLM-as-a-Judge 的位置偏差、冗长偏差等已知问题及校准方法）；以及如何通过基线对比、多次运行排除随机性，证明改进真实有效。文章强调评的是 Harness 和模型的整体，判结果而非规定路径。 技术 › Agent 码良 2026-10-25 Agent评测评测集LLM-as-a-JudgeRAG面试题测试集指标设计Anthropic过拟合基线对比
一 一线 FDE 深度复盘：企业 AI 知识库，从 demo 到真正用起来 作者以制造业企业 AI 知识库项目为例，复盘了从 demo 到真正落地的完整链路。文章指出 demo 成功不等于企业可用，需要经历真实问题验证、资料核对、查询设计、业务验收、人工接管、知识更新和持续运营八步。核心观点包括：签约前用真实问题测试真实资料、区分单项查询与完整筛选需求、源头纠错修正原始资料、验收关注实际等待时间、设计人工接管路径、沉淀人工答案、明确知识运营负责人，以及报价时把建设、维护和知识更新分开核算。 技术 › LLM Hedy Zhang 2026-10-22 企业AI知识库FDE落地复盘RAG知识运营项目交付需求拆解验收标准制造业数字化转型
A Agent 高频题 01. 讲讲你的 RAG 链路 本文是 Agent 高频面试题详解系列第一篇，聚焦 RAG（检索增强生成）链路。文章基于近两个月牛客网 82 场面试的统计，指出 RAG 是最常被追问的题目。内容先给出 RAG 整体架构图，解释为什么需要 RAG 及其与长上下文、grep、微调、工具调用、记忆等方案的边界；再沿离线、在线两条线逐环讲解：离线部分涵盖文档解析、切分策略、embedding 向量化、HNSW/IVF 索引原理；在线部分讲解问题改写、BM25 与向量多路召回、RRF 融合、交叉编码器重排等环节。每个环节均附上面试常见追问，并提供复习优先级参考。 技术 › Agent 码良 2026-10-20 RAG面试检索增强生成向量检索embeddingBM25HNSW重排LLMAgent
A AI Agent 工程师 12 步学习路线图：从 Demo 到企业级落地 文章指出许多人做 AI Agent 只是调用大模型 API 加上工具和 LangGraph，跑通 Demo 与企业级生产落地之间差距巨大。作者结合自身企业 AI 项目经验，将 Agent 工程师学习路线分为四个阶段：一是掌握基础，理解 Agent 工作原理；二是赋予执行能力，包括 MCP、浏览器自动化、记忆与上下文管理、沙箱与权限控制；三是安全、多 Agent 协作与人工审批，明确权限边界，防止错误放大；四是错误处理、执行轨迹评测、降级兜底与工程复盘。作者强调评测数据是判断系统优劣的关键，建议边做边学，完整交付一个项目比做十个 Demo 更有价值，真正稀缺的是能让 Agent 稳定运行的工程能力。 技术 › Agent Ethan 恩宇 (@UPing123zzz) 2026-10-20 AI AgentLangGraphMCP工程能力企业落地评测安全多Agent协作RAGFDE
