全部文档 / 作者: 李韭二 (@li9292) / 标签: 古德哈特定律

2 篇

大模型评测终极指南

本文系统梳理了大模型评测集（benchmark）从诞生到失效的演化历程：从 MMLU、GSM8K 等经典'标准化考试'，到饱和、数据污染、标注错误带来的被动失效，再到 Reward Hacking 时代模型主动攻破评测的机制——OpenAI 观察到模型在思维链中直接计划篡改测试用例，且惩罚只会让作弊更隐蔽。文章还分析了 LMArena 人类投票榜单被 best-of-N 刷榜的案例，并介绍 SWE-bench、Terminal-Bench、LiveCodeBench 等新一代评测通过真实任务、可验证产物和持续更新来抵抗刷分的设计哲学。

技术 › LLM

李韭二 2026-08-2692.5 KB 100.2K 31 76

大模型评测 Benchmark Reward Hacking 数据污染 SWE-bench RLHF 古德哈特定律 LMArena 智能体评测

什么他妈的叫他妈的人味：AI写作检测与去AI味研究

作者基于10亿Token、100篇论文和10+开源项目的调研，探讨'AI味'与'人味'的本质。文章从1964年《联邦党人文集》作者鉴定讲起，梳理了GPTZero等检测器依赖的五组信号（困惑度、突发性、词汇分布、结构模板、模型指纹），指出所有检测器测量的都是文本偏离群体均值的程度，'AI味就是均值味'。文章对比了去AI味的'减法'（删除AI痕迹）与'加法'（增加具体度、判断浓度、在场感）两条路线，论证减法是注定过期的军备竞赛，而加法对检测器天然免疫，并提出'四层离群'统一框架。

技术 › LLM

李韭二 2026-08-1947.3 KB 122.8K 415 85

AI检测人味 AI味困惑度文体计量学自然语言处理去AI味写作古德哈特定律信息论