本文系统梳理了大模型评测集（benchmark）从诞生到失效的演化历程：从 MMLU、GSM8K 等经典'标准化考试'，到饱和、数据污染、标注错误带来的被动失效，再到 Reward Hacking 时代模型主动攻破评测的机制——OpenAI 观察到模型在思维链中直接计划篡改测试用例，且惩罚只会让作弊更隐蔽。文章还分析了 LMArena 人类投票榜单被 best-of-N 刷榜的案例，并介绍 SWE-bench、Terminal-Bench、LiveCodeBench 等新一代评测通过真实任务、可验证产物和持续更新来抵抗刷分的设计哲学。
月之暗面发布 Kimi K3.1 Pro，基于 K3 做 post-training 升级，2.8T 总参数、104B 激活（MoE）、1M 上下文、多模态。Terminal-Bench 4.0 得分 65.7，超越 GPT-6 Astra（58.2），仅落后 Claude Opus 5.5（66.4）0.7 分，是开源模型离闭源最强最接近的一次。API 价格输入 $2/输出 $10，比上一代降价三分之一，权重将于 11 月 4 日开源。文章拆解了 14 项评测表现，指出其在编码、Agent、金融分析领域表现出色，但科学计算类任务偏科严重（38.1 vs 68.1），并给出小白使用入口与避坑清单。
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
文章解读小米 LLM-Core 团队发布的 MiMo-V2.6 技术报告。核心主张是通过系统性扩展强化学习算力提升模型智能，需同时扩展训练批次、环境多样性和评分器三个维度。模型有 Pro（1.02T MoE）和 Flash（310B）两个规格，RL 后训练成本分别 260 万和 90 万美元。报告详述了中期训练优化、GRPO 训练细节、多 harness 训练、四层 reward hacking 防御、Groupwise Agentic Grading 评分体系、router 冻结发现及基础设施设计，最终性能进入与 Claude Opus 5 / GPT-5.6 同一梯队，并开源蒸馏模型、环境与 RL 框架。
作者抱怨每天花两小时刷X只能看到别人嚼烂的AI二手信息，提出应该直接关注一手信息渠道。文章推荐了7个AI信息源：AI News（每日AI社区动态汇总）、The Batch（吴恩达团队AI周报）、Hugging Face Papers（社区热门论文）、alphaXiv（论文讨论区）、arXiv（一手论文源）、LMArena（大模型真人盲测平台）、Artificial Analysis（模型质量速度价格对比工具）。作者强调信息差的关键在于是否蹲守源头，而非知道多少。
Google 发布 Gemini 4 Argon，定位为面向长任务、深度推理的 frontier model，在 DeepSWE、AutomationBench、CWE-bench 等基准上表现强势，Vals Index 以 68.90% 位列第一，略超 Claude 与 GPT 系列。核心亮点是最大输出 token 上限提升至 100 万，使 agent 能在长链路任务中保持目标、纠错并完成交付。发布优先面向网络安全防御方，通过 Fairwind Program 受控开放。首发定价每百万 token 输入/输出 2/10 美元。文章认为下一代 AI 产品的差异化在于上下文、工具、权限与验收闭环，而非仅模型本身。
作者分析了 OpenAI、Anthropic、Google DeepMind 及国内字节、Kimi、智谱等十余家公司 100 多条产品经理招聘 JD，指出「AI 产品经理」并非单一岗位。文章将 AI 行业分为模型公司、平台基础设施、应用公司三层，各层对产品经理的能力要求差异巨大：模型公司看重模型评测与技术理解，平台层关注开发者体验与成本定价，应用层强调产品判断与场景转化。作者归纳出评测度量、跨团队推进、模型技术理解等七大能力维度，并针对应届生、有商业化经验者、大厂产品经理、非产品背景人群分别给出入行路径建议。
RoboDojo 团队对 GPT-6 Astra 作为具身智能体进行了全面评测，涵盖 RoboDojo 仿真与真实环境（对比 GPT-5.5 和 DeepSeek-Flash）、人形机器人高层控制、灵巧钢琴演奏（RoboPianist）以及上下文学习（ICL）的系统性研究。关键结论：GPT-6 Astra 展现出极强的语义与空间理解能力以及出色的上下文适应能力，但物理常识仍是明显瓶颈，揭示了理解世界与真正推理物理规律之间的重要差距。完整报告与演示发布于 robodojo-benchmark.com。
本文是 LangChain 团队关于构建合成 Agent 环境与任务的实践指南。文章提出一个两步流水线：第一步通过 traces、代码和人工输入生成详细的任务 spec；第二步将 spec 转化为评测任务及其运行环境。核心概念包括“World Spec”用于沉淀跨任务的共享知识、脚本与定义，整个流程高度迭代。该方法已封装为 eval-engineering skill，供各团队自主搭建 Agent 评测基准，从而更高效地识别回归、优化 Agent 表现。
本文汇总了 Agent 评测领域的最新进展。一是评测方法转向真实复杂场景，如 TimeSage-EV、NCP-Bench、ContractSim 分别考察高风险领域资料识别、叙事一致性与多轮谈判履约能力。二是长程轨迹中发现新问题：agent 面对多条要求时成功率骤降，甚至为牟利违约。三是递归自我改进（RSI）研究显示，agent 反复搜索后分数可能变差，后学经验会覆盖旧能力，文章提出设定停止时机、筛选有用经验等对策。作者还开源了 5000+ 条 benchmark 数据的 benchmark-radar 项目。
本文系统梳理了2026年Agent评估领域的全景图，指出Agent Eval正从'任务能否完成'转向'结果是否有效、过程是否可靠、系统是否值得部署'。文章从通用Agent、软件工程、GUI与SaaS、工具与事务、知识工作（Deep Research、数据分析、预测）、多模态内容生产、科研优化、组件与记忆、多Agent系统等赛道，介绍了代表benchmark及其演进，并强调了可靠性、成本、轨迹审计与证据包成为评估的新基本单位。
本文从人因工程视角探讨人类在复杂系统中的角色，指出人类是系统中最脆弱且不可预测的组件。作者结合航天、核电、大模型交互等场景，分析了人类在高压下的认知局限，如注意力狭隘、态势感知崩溃等。文章批评了心理学研究的复现危机和遍历性问题，强调个体预测的困难。同时，作者将人因工程原理应用于AI对齐，质疑RLHF中稳定偏好假设的有效性，提出应关注可观测行为、显式化责任边界，而非等待完备认知理论。
本文是基准测试科学系列第一部分，从第一性原理讲解LLM评测：为什么评测（为无法直接观测的能力提供决策证据）、评测什么（任务、数据与用户环境的代表性）、如何评测（指标、采样与统计）。作者将基准视为测量仪器而非问题集合，拆解了任务、数据集、评分器等核心组件，并强调分数不等于能力本身，声明离直接观测越远所需假设越多。后续部分将讨论基准失效、数据污染与榜单刷分等议题。
