Wiki 知识库

全部文档 / 作者: giovanni

2 篇
清除

Nobody is talking seriously about AI demand

作者提出一个分析AI需求的框架,认为当前分析师普遍假设AI需求无限,却很少有人认真拆解需求来源。作者将任务按有界/无界与长时程/短时程分类:有界任务(如税务、会计)对成本敏感,终将由廉价模型和开源模型主导;无界任务(如AI研发、软件开发、量化交易)则依赖前沿模型token。据估计,这三类无界任务约占前沿实验室推理收入的50%,且它们与收入增长形成反身性反馈循环——AI繁荣本身催生了对AI的需求,这既能加速增长,也可能反向螺旋。

技术 › LLM Giovanni Cattani 2026-09-0214.6 KB 828.3K 2K 65

The science of benchmarking: from Zero to Hero [Part I]

本文是基准测试科学系列第一部分,从第一性原理讲解LLM评测:为什么评测(为无法直接观测的能力提供决策证据)、评测什么(任务、数据与用户环境的代表性)、如何评测(指标、采样与统计)。作者将基准视为测量仪器而非问题集合,拆解了任务、数据集、评分器等核心组件,并强调分数不等于能力本身,声明离直接观测越远所需假设越多。后续部分将讨论基准失效、数据污染与榜单刷分等议题。

技术 › LLM giovanni 2026-08-1428.0 KB 66