Wiki 知识库

智能体评测三要素:时长、价值与可信度 | 斯坦福 CS329A Part 8 深度解读

meng shao 2026-09-14 10.2 KB 11K 26

本文深度解读斯坦福 CS329A Self-Improving AI Agents 课程第八讲,通过三篇前沿论文系统讲解智能体评测:METR 用'50%时间视界'衡量模型可完成任务的时长(每约7个月翻倍,但80%可靠性下缩短4-6倍);OpenAI GDPval 用盲测胜率衡量经济价值(Claude Opus 4.1 达 47.6%,但趋势近似线性);DeepScholar-Bench 评测知识综合的可信度(最高分仅31%,检索与综合是双重瓶颈)。核心结论:能力≠价值≠质量,三者共同撞上'上下文之墙',评测需多指标并用并保持人类校验。

游客免费额度已用完

未登录每月可读 5 篇已用尽。登录/注册后再获 5 篇免费额度,注册不收费。

登录 / 注册