Lies, Damned Lies, and Benchmarks
文章批判当前 AI 基准测试被过度优化的现象（benchmaxxing）。作者指出，当公共评测与巨额关注和资金挂钩时，实验室会通过训练相似数据、筛选上百个实验设置等方式变相刷分，基准测试随之失去了衡量通用智能的意义。文中列举了 Meta Llama 4 在 LMArena 测试多个私有变体、评测机构随舆论反复修改指数、厂商选择性引用榜单等案例，并指出 MMLU、GPQA 等基准早已失真。作者呼吁实验室诚实披露数据缺陷、用户自行做私有评测，并宣布 TypeSafe 将不在模型发布中提供标准基准表，以追求最大程度的诚实。
