Wiki 知识库

Lies, Damned Lies, and Benchmarks

Diogo Almeida 2026-09-13 9.4 KB 41.1K 195 𝕏 文章列表

文章批判当前 AI 基准测试被过度优化的现象(benchmaxxing)。作者指出,当公共评测与巨额关注和资金挂钩时,实验室会通过训练相似数据、筛选上百个实验设置等方式变相刷分,基准测试随之失去了衡量通用智能的意义。文中列举了 Meta Llama 4 在 LMArena 测试多个私有变体、评测机构随舆论反复修改指数、厂商选择性引用榜单等案例,并指出 MMLU、GPQA 等基准早已失真。作者呼吁实验室诚实披露数据缺陷、用户自行做私有评测,并宣布 TypeSafe 将不在模型发布中提供标准基准表,以追求最大程度的诚实。