本文深度解读斯坦福 CS329A Self-Improving AI Agents 课程第八讲，通过三篇前沿论文系统讲解智能体评测：METR 用'50%时间视界'衡量模型可完成任务的时长（每约7个月翻倍，但80%可靠性下缩短4-6倍）；OpenAI GDPval 用盲测胜率衡量经济价值（Claude Opus 4.1 达 47.6%，但趋势近似线性）；DeepScholar-Bench 评测知识综合的可信度（最高分仅31%，检索与综合是双重瓶颈）。核心结论：能力≠价值≠质量，三者共同撞上'上下文之墙'，评测需多指标并用并保持人类校验。
作者提出一个分析AI需求的框架，认为当前分析师普遍假设AI需求无限，却很少有人认真拆解需求来源。作者将任务按有界/无界与长时程/短时程分类：有界任务（如税务、会计）对成本敏感，终将由廉价模型和开源模型主导；无界任务（如AI研发、软件开发、量化交易）则依赖前沿模型token。据估计，这三类无界任务约占前沿实验室推理收入的50%，且它们与收入增长形成反身性反馈循环——AI繁荣本身催生了对AI的需求，这既能加速增长，也可能反向螺旋。
文章回顾了2026年AI技术的指数级爆发，特别是Claude Mythos模型在网络安全领域的突破性表现。该模型不仅通过了AISI的全套网络攻击模拟，更因能力过强导致METR基准测试面临挑战。Anthropic为此发起Project Glasswing联盟，优先利用AI进行网络防御，而非作为通用产品发布。文章最后展望了AI系统自主进行AI研发的可能性，认为这是继网络安全之后的下一个前沿领域，并称这种强大的通用能力如同双刃剑，既是巨大的风险也是巨大的机遇。
