本周顶级 AI 论文综述:DeepSeek V4 与自进化智能体
本周综述重点介绍了 DeepSeek V4,这是首个默认支持百万 token 上下文的开源模型系列,通过 CSA/HCA 混合注意力机制和领域专家后训练技术,在推理性能上媲美 GPT-5.2。此外,还涵盖了 Apple 的 Mamba 架构知识蒸馏方法、Autogenesis 自进化智能体协议,以及 Skill-RAG 失败感知检索系统。
本周综述重点介绍了 DeepSeek V4,这是首个默认支持百万 token 上下文的开源模型系列,通过 CSA/HCA 混合注意力机制和领域专家后训练技术,在推理性能上媲美 GPT-5.2。此外,还涵盖了 Apple 的 Mamba 架构知识蒸馏方法、Autogenesis 自进化智能体协议,以及 Skill-RAG 失败感知检索系统。
文章汇总了多篇前沿AI论文,信息量大且结构清晰,但实用性偏弱,时效性因发布日期距今约3个月而有所降低。
文章深入剖析了 DeepSeek-V4 如何通过 HCA、CSA 和 SWA 三通道并行架构,将 KV Cache 压缩至基线的 2%,从而实现工程上可行的 100 万 token 上下文。然而,这种极致的压缩是有代价的:MRCR 8-needle 测试准确率在 1M 长度下显著下降至 0.59。文章指出,V4 通过牺牲检索精度换取了推理成本的数量级降低,是一种‘有损的 1M’,并明确论证了该设计原理上无法完全替代 RAG 系统。
MemOS 团队发布全球首个“记忆原生”大模型 MemT-1.0,将记忆能力直接训练进模型权重,取代 RAG、Mem0 等外挂记忆方案。其思路是不改底座、参数冻结,仅在部分层并联约 1.05 亿参数的记忆块,通过蒸馏训练让模型自学“什么该记、什么该忘、怎么取用”,优化目标从检索命中率改为任务答对率。交付物包括通用模型权重(会记笔记的大脑)和用户专属记忆状态文件(仅 40 MiB 的笔记本)。数据显示其 40 MiB 记忆答题成功率 69.73%,略高于全量上下文的 69.13%,存储缩小 66 倍、首字响应快 4.19 倍。已在 Hugging Face 和 GitHub 开源,被视为开启模型“在使用中变强”的第四条技术路线。
本文介绍 Hamel Husain 主编的演讲合集《Beyond Naive RAG》,汇集 9 位一线检索专家的共识:朴素 RAG(切块+单向量+余弦检索)已失效,但检索增强生成本身远未死亡。全书论证三条主线:长上下文不能替代检索(Context Rot 证明上下文越长模型越不可靠);评估先于优化(公开基准已污染,须建自有黄金数据集);复杂性不是目的(慎用图数据库等过度工程)。涵盖 ColBERT 后期交互、推理增强检索(Promptriever、Rank1)、多重表示与智能路由、FreshStack 评估指标等前沿方法,提出'评估驱动+多表示+推理增强+克制架构'的实践观。
Pocket FM 创始人 Rohan Nayak 分享其 AI 写作系统 Sherpa 的构建历程。通用 LLM 因训练目标(逻辑推理、快速给答案)与创意写作需求(张力、情感、悬念、节奏变化)相悖而写不好故事,且缺乏清晰的强化学习成功信号。微调现成模型的尝试均告失败后,团队自研 Sherpa harness,由规划器、叙事世界模型(NWM,维护结构化故事状态与记忆)和散文引擎三大组件构成,并利用 Pocket FM 亿级用户的收听数据做强化学习,用户留存与完听率成为写作质量的天然反馈信号。盲测中 Sherpa 在 65.6%-97.1% 的配对比较中胜出,NWM 多跳检索准确率达 86.7%,成本约为同类方案的 1/21。
本文深度解读 DeepSeek-V4.1-Flash 技术报告,该模型通过 CED 不对称编码器-解码器架构、CSA2 跨层稀疏注意力复用、FP4 主 KV 量化及 SWA Bounded Replay 近似恢复四项设计,将常驻 HBM 的全局 KV 缓存降至 890 bytes/token(约为上一代四分之一),持久化缓存降至八分之一。文章详细解析各项技术的原理与协作机制,澄清了对压缩数字的常见误读,评估模型能力变化,并与 PagedAttention、MiniCache 等已有 KV 压缩路线对比,指出该工作将缓存压缩从算法点推进为面向百万 token 长程 agent 场景的系统级共同设计,同时讨论其证据强度与局限。
作者对蚂蚁百灵发布的金融模型 Ling-3.0-flash-Fin 与其通用基座 Ling-3.0-flash 进行了 441 轮对比实测,使用微软 FY26 Q4 财报和宁德时代 2025 年报等一手公开材料,设计八类任务。结果显示两个模型都能以分析师水准完成建模、口径辨析、抗幻觉等任务,准确率上金融版没有体现出明显优势;唯一显著差距在长篇输出场景,金融版更易'想太多'后返回空白(研报撰写失败率 18.6% vs 0%)。文章还给出反直觉发现:长上下文直投比 RAG 检索更准、更快、更便宜,并坦诚记录了测评过程中的多次自我纠错。
文章深入浅出地讲解了 AI Agent 记忆系统的工作原理,从基础的单会话与多会话记忆保持切入,引出 Google 提出的情景、语义与程序性记忆三分法。通过对比 OpenClaw 的实现方式与存在的问题,重点剖析了企业级方案 EverOS 的架构。EverOS 将记忆细分为六大类,并通过语义巩固、主动上下文重建等技术优化记忆的抽取、更新与检索。文章还包含 EverOS 的 API 调用示例及 20 个真实落地场景,为开发者提供了 Agent 记忆系统的全景指南。
本文是 Agent 高频面试题详解系列第 4 题,系统讲解 Agent 效果评测体系。文章基于 64 场面试面经分析,归纳出评测追问的八个方向,并结合 Anthropic、OpenAI 等实践经验展开:先明确评什么(Agent 评测难在结果在环境状态中、路径不唯一、结果不确定);评测集怎么建(题目来自真实失败、业务方、合成数据,注意分层、防泄露与防过拟合);谁来打分(代码判分、模型判分、人工判分三种方式的取舍,LLM-as-a-Judge 的位置偏差、冗长偏差等已知问题及校准方法);以及如何通过基线对比、多次运行排除随机性,证明改进真实有效。文章强调评的是 Harness 和模型的整体,判结果而非规定路径。
作者以制造业企业 AI 知识库项目为例,复盘了从 demo 到真正落地的完整链路。文章指出 demo 成功不等于企业可用,需要经历真实问题验证、资料核对、查询设计、业务验收、人工接管、知识更新和持续运营八步。核心观点包括:签约前用真实问题测试真实资料、区分单项查询与完整筛选需求、源头纠错修正原始资料、验收关注实际等待时间、设计人工接管路径、沉淀人工答案、明确知识运营负责人,以及报价时把建设、维护和知识更新分开核算。
本文是 Agent 高频面试题详解系列第一篇,聚焦 RAG(检索增强生成)链路。文章基于近两个月牛客网 82 场面试的统计,指出 RAG 是最常被追问的题目。内容先给出 RAG 整体架构图,解释为什么需要 RAG 及其与长上下文、grep、微调、工具调用、记忆等方案的边界;再沿离线、在线两条线逐环讲解:离线部分涵盖文档解析、切分策略、embedding 向量化、HNSW/IVF 索引原理;在线部分讲解问题改写、BM25 与向量多路召回、RRF 融合、交叉编码器重排等环节。每个环节均附上面试常见追问,并提供复习优先级参考。
文章指出许多人做 AI Agent 只是调用大模型 API 加上工具和 LangGraph,跑通 Demo 与企业级生产落地之间差距巨大。作者结合自身企业 AI 项目经验,将 Agent 工程师学习路线分为四个阶段:一是掌握基础,理解 Agent 工作原理;二是赋予执行能力,包括 MCP、浏览器自动化、记忆与上下文管理、沙箱与权限控制;三是安全、多 Agent 协作与人工审批,明确权限边界,防止错误放大;四是错误处理、执行轨迹评测、降级兜底与工程复盘。作者强调评测数据是判断系统优劣的关键,建议边做边学,完整交付一个项目比做十个 Demo 更有价值,真正稀缺的是能让 Agent 稳定运行的工程能力。