Wiki 知识库

全部文档 / 标签: GDPval

1 篇
清除

智能体评测三要素:时长、价值与可信度 | 斯坦福 CS329A Part 8 深度解读

本文深度解读斯坦福 CS329A Self-Improving AI Agents 课程第八讲,通过三篇前沿论文系统讲解智能体评测:METR 用'50%时间视界'衡量模型可完成任务的时长(每约7个月翻倍,但80%可靠性下缩短4-6倍);OpenAI GDPval 用盲测胜率衡量经济价值(Claude Opus 4.1 达 47.6%,但趋势近似线性);DeepScholar-Bench 评测知识综合的可信度(最高分仅31%,检索与综合是双重瓶颈)。核心结论:能力≠价值≠质量,三者共同撞上'上下文之墙',评测需多指标并用并保持人类校验。

技术 › Agent meng shao 2026-09-1410.2 KB 11K 26 81