Wiki 知识库

全部文档 / 标签: 评分器

2 篇
清除

What PMs need to know about verification loops in software factories

本文探讨了在软件工厂中验证循环(verification loops)对产品经理(PM)的重要性。文章指出,随着AI代理的普及,人类不再直接提示模型,而是通过编写循环让代理自主工作。验证循环是代理工作、评分、再工作的迭代过程,其中评分器(grader)是关键部分,PM应参与定义评分标准,以确保产品符合用户需求。文章详细介绍了验证循环的五个组成部分、五种评分方法(确定性检查、LLM作为评委、浏览器视觉验证、模拟环境和离线实验),并举例说明如何在构建循环和优化循环中应用这些方法。最终强调,PM在优化循环中可以利用验证循环来评估产品上线后的用户行为,从而推动产品改进。

技术 › LLM Amplitude 2026-08-2012.1 KB 1.7K 14 76

The science of benchmarking: from Zero to Hero [Part I]

本文是基准测试科学系列第一部分,从第一性原理讲解LLM评测:为什么评测(为无法直接观测的能力提供决策证据)、评测什么(任务、数据与用户环境的代表性)、如何评测(指标、采样与统计)。作者将基准视为测量仪器而非问题集合,拆解了任务、数据集、评分器等核心组件,并强调分数不等于能力本身,声明离直接观测越远所需假设越多。后续部分将讨论基准失效、数据污染与榜单刷分等议题。

技术 › LLM giovanni 2026-08-1428.0 KB 66