人类自我改进系统的第四次尝试:从生成到验证的演变
文章回顾了AI递归自我改进(RSI)的80年历史,将其划分为四次浪潮:随机突变(遭遇生成瓶颈)、数学证明(陷入验证瘫痪)、AutoML(过度拟合基准测试),以及当前大语言模型阶段。作者指出,随着LLM解决了代码生成的瓶颈,AI系统演进的核心挑战已剧烈转移至“验证”阶段。面对开放式任务,如何有效验证AI生成复杂系统的逻辑可靠性,成为了当前AI自我进化的真正天花板。
文章回顾了AI递归自我改进(RSI)的80年历史,将其划分为四次浪潮:随机突变(遭遇生成瓶颈)、数学证明(陷入验证瘫痪)、AutoML(过度拟合基准测试),以及当前大语言模型阶段。作者指出,随着LLM解决了代码生成的瓶颈,AI系统演进的核心挑战已剧烈转移至“验证”阶段。面对开放式任务,如何有效验证AI生成复杂系统的逻辑可靠性,成为了当前AI自我进化的真正天花板。
微软开源了 SkillOpt 项目,引入了“训练 Prompt”的新思路。与传统的 Agent Skill 开发不同,SkillOpt 在不改变模型权重的情况下,将神经网络训练方法(如 epoch、验证集)应用于优化 SKILL.md 文本。系统通过执行任务、打分、反思和筛选修改建议,实现技能文档的自动化迭代。论文表明,该方法在多模型环境下均有显著提升,且优化后的技能具备跨模型迁移能力。