How To Use Decision Models for Evals
文章介绍了决策模型（如 TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef、OpenAI 的 Decisions API）作为 LLM judge 的低成本替代方案在自动化评估中的应用。作者基于 100 条公寓租赁 Agent 的对话轨迹，测试各模型识别失败案例的性能与成本，并重点讲解决策阈值的调优：默认阈值 0.50 未必适合具体任务，需根据精确率与召回率的业务权衡（如 F1 优化或最低 80% 双重要求）来选择阈值。文章还提供了用编码 Agent 进行阈值调优的示例提示词，并讨论了校准与分数解释等实用方法。
