我们复现了那个决策模型教程
作者复现 Nish Tahir 的《Build your own decision model》教程，在 CommonsenseQA 上验证基于语言模型单次前向读取选项 token 概率作为置信度的决策模型方法。复现发现教程方法成立但需补两个关键前提：读数位置必须放在 assistant 轮，模型需用 8B 而非 1.7B。温度缩放校准有效，而微调增益主要来自修正 harness。作者还将方法应用于素材席位判定任务，发现模型间一致标签不等于准确率，结论需以人工标签为准。核心启示：核对读数位置的概率质量、报告覆盖率、用独立数据拟合温度。
