无需更新权重的 GRPO 替代方案:GEPA 算法解析
文章介绍了 Berkeley 团队提出的 GEPA 算法,该算法作为 GRPO 的替代方案,无需更新模型权重或进行 GPU 训练,仅通过优化提示词(Prompt)即可在 HotpotQA 等基准测试中取得更优成绩。GEPA 的核心在于利用 LLM 读取完整的推理轨迹,通过自然语言反思来迭代优化多模块系统中的每个提示词,从而避免了强化学习中将丰富信息压缩为单一标量信号的信息损耗问题。
文章介绍了 Berkeley 团队提出的 GEPA 算法,该算法作为 GRPO 的替代方案,无需更新模型权重或进行 GPU 训练,仅通过优化提示词(Prompt)即可在 HotpotQA 等基准测试中取得更优成绩。GEPA 的核心在于利用 LLM 读取完整的推理轨迹,通过自然语言反思来迭代优化多模块系统中的每个提示词,从而避免了强化学习中将丰富信息压缩为单一标量信号的信息损耗问题。
文章清晰解释了GEPA的核心思想、算法步骤和与GRPO的对比,提供了具体案例和DSPy应用,信息密度高且实用性强,但时效性因论文已发布一年而略有折扣。
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向,并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节:1)Agentic Evaluations,讲解如何评估 Agent 及 benchmark 与真实体验的差异;2)Agent 强化学习的难点,包括环境搭建与 reward 设计;3)用 Agent 执行轨迹做 SFT 微调;4)将大模型能力蒸馏给小 Agent;5)SFT 后用 GRPO 继续 RL 训练;6)用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube,代码全部开源。
文章解读了一篇关于 FDE(Forward Deployed Engineer)的论文《FDE-Gym》。该论文将真实企业项目改造成覆盖金融、医疗、制造、能源等 18 个行业的 95 个任务,评测 AI Agent 承担真实企业交付工作的能力。Agent 仅获得客户最初的一句话需求,需自行读文档、查系统、确认信息并判断客户真正的问题。评分不仅要求完成需求,还要求交付系统真正改善业务指标,乱找人、反复试错都会产生成本。结果显示最强模型平均得分仅 0.56,95 个任务中仅真正解决 14 个,最大瓶颈在于未写入需求的业务规则、隐性约束以及客户未表达清楚的问题。文章指出 FDE 的难点在于在信息不完整、需求模糊的环境里判断该解决什么并真正交付。
DAIR.AI 汇总了本周五篇重要的 AI 论文:(1) Harness Learning,通过 RL 训练提议模型在测试时修订 agent 的 harness 代码而非模型权重,实现可泛化的适应能力;(2) CorpusMap,微软提出的基于实体的语料库导航层,让 agent 搜索更准且省 34%-57% 的 token;(3) VeriHarness,Google 提出的 agentic 验证方法,揭示多数投票的盲点,在长周期任务上提升选择准确率;(4) HERMES,将仓库组件变成主动参与者的 harness,使 GPT-5.6 在仓库迁移任务上从 6.5% 提升至 31%;(5) Sakana AI 的 MASS,用同一基座模型兼任 agent、评估者与优化者,实现多智能体自我监督进化。
本文提出了2026年LLM工程路线图,指出与LLM工作不只是提示词,生产级系统需要对LLM的工程化、部署和优化有深入理解。文章总结八大支柱:提示工程(将prompt当作代码管理)、RAG系统(嵌入、检索、重排)、上下文工程(管理上下文窗口中各类信息的取舍)、微调(LoRA/QLoRA等技术)、Agent(工具调用循环与编排、状态管理、重试逻辑),并为每个领域提供了大量免费开源学习资源,如Anthropic、OpenAI官方指南及多个GitHub教程仓库。
文章介绍了 UT Dallas 的新论文 Jev-Mem,提出用 TypeSafe AI 的 Jev 模型替代通用 LLM 来处理 Agent 记忆系统中的小决策(如判断消息类型、记忆关联、检索终止等)。Jev 只返回结构化数值或标签,无需解析文本,通过 System One 轻量控制器与 System Two 生成式 LLM 的分工,显著提升效率。在 LoCoMo 基准上,答案质量相对最强基线提升 11%,构建速度快 6.6 倍,查询延迟降低 36.7%。文章也指出其局限:阈值依赖单一模型与基准、缺乏校准概率、消融实验不足,阈值在不同模型和数据分布下的泛化能力是最大隐患。
文章提出 Agent 轨迹(traces)正成为 AI 公司间的核心交易资产,甚至出现蒸馏攻击等争夺行为。作者指出 RL 训练、长程任务代理普及使 traces 价值激增,但多数企业仍未善用这一资产。文章分析了 traces 对数据厂商、前沿实验室和应用层的价值,以及在运营优化、安全护栏、持续改进三方面的用途。作者还剖析了从 traces 中提取价值的难点:数据非结构化、体量巨大、反馈混乱、长程信用分配困难等,并类比 2010 年代的大数据浪潮,认为 traces 将成为企业专有智能层和战略资产,唯有通过提炼与使用才能释放价值。
本文深入探讨了 Claude 模型中 effort(努力程度)参数的作用与使用策略。作者通过实验和 Terminal Bench 3.0 基准测试分析发现:effort 本质上是控制模型在任务上投入的算力与自主判断程度。高 effort 在验证和边界测试重要的场景(如硬件、代码审查、安全)表现更佳;低/中 effort 则适合快速迭代、保持人类在环。作者还比较了不同规格化程度任务在各级 effort 下的输出差异,并总结出一套高效工作流:先让模型访谈自己补全规格,用低 effort 实现,人工审查后,再用高 effort 做验证和测试。
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295,由知名速查表作者 Amidi 兄弟主讲,用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块:基础(NLP 演进、Transformer 架构、MoE、注意力变体)、训练(预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR)、系统与工程(分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议)、评估与前沿(LLM-as-a-judge、Diffusion LLM、多模态)。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好,并配有公开的 Study Guide 和 15 语言速查表,适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
DAIR.AI发布本周(9月7日-13日)顶级AI论文精选,涵盖五篇论文:Procedural Graphs提出用显式程序图指导长时程智能体,减少动作漂移;FrogNano证明4B编码智能体可通过纯强化学习与在线任务合成达到竞争性能;STAIR利用目录结构改进生成式检索,显著提升召回率并降低幻觉;AI-Native Design Docs主张以自然语言设计文档为持久产物,由编码子智能体重新生成实现;PARSER将阅读与推理分离,通过并行子智能体与迭代散射-聚集提升长文档处理效率。
本文探讨软件工程师如何转型为AI工程师。作者指出AI工程师日常工作中约80%仍是传统软件工程,核心是将现有AI模型(如GPT、Claude)集成到真实产品中。软件工程师已具备编程、API、数据库、系统设计等基础,只需补齐六大AI专项技能:理解LLM工作原理、调用LLM API、保证输出可靠性(提示工程与结构化输出)、掌握RAG与向量数据库、学习编排与Agent、以及LLMOps生产化运维。作者建议通过构建作品集、在团队中主动承担AI功能、使用AI工具提升效率来加速转型,强调转型并非抛弃既有技能,而是在其上叠加AI层。
文章探讨了 LLM 与 Harness(智能体外壳)之间的动态博弈。作者回顾了工具编排的四代演进:从 Function Calling、Tool Search、Code Mode 到 Model-native Code Execution。以 OpenCode 2 接入 GPT-6 Astra 后模型绕过定制解释层、直接写原生 Python 为例,指出前沿模型已将编程能力内化为默认行动策略,强行约束是逆着模型行事。架构思路因此从编排层变薄、控制层变厚迁移:权限拦截、可观测性、状态管理等责任转移至外部系统。作者还分析 Harness 难以自进化的原因——缺乏廉价反馈与客观评估标准。结论是 Harness 设计须保持动态滑动边界,模型已内化的能力果断让渡,控制面继续完善。