本文介绍了如何使用 TypeSafe AI 的决策模型 Jev 作为 LLM Judge 来评估 Agent 的表现（Jev-as-a-Judge）。与只看最终回复不同，Jev 会阅读完整轨迹（用户请求、工具调用及结果、最终回复），将标准转化为预定义问题，并返回带置信概率的判定。文章通过退款 Agent 示例演示了 Playground 的使用，说明如何设定阈值将运行分为通过、失败和人工复核三类。研究显示，该接受-升级模式比 GPT-6 单独判断更准确且成本大幅降低。作者强调需先用人工标注验证 Jev 的可靠性，能用代码检查的事实性问题就不需要 Judge，将 Jev 保留给需要阅读理解的判断。
本文是构建自定义 AI Agent Harness 的教程。Harness 是驱动 Agent 循环的代码，负责模型路由、工具安全检查和答案校验等判断决策。传统做法需调用聊天模型，成本高导致检查被跳过。Jev 是 TypeSafe AI 推出的专用小型决策模型（System One 模型），以 0-1 概率快速回答问题，成本极低，可对每步操作进行实时检查。教程使用 Pi SDK（TypeScript 工具包）构建 Harness，通过 beforeToolCall 等钩子集成 Jev，实现破坏性操作拦截、模型路由、失败降级和答案质量校验，并以徒步调查笔记 Agent 为运行示例演示完整流程。
本文是 Jev（一个通用 System One 模型）的新手指南。Jev 专为快速、聚焦的判断设计，而非长推理或开放式写作。用户给它提供上下文（状态）和决策表（问题），它返回结构化答案及不确定性概率。答案类型包括 Choice（单选）、Noul（是/否概率）和 Score（有序打分），可一次请求多个互不影响的问题。文章介绍了 Jev Playground 中的六个用例，如支持工单分流、模型路由、Agent 工具调用守卫、智能家居请求等，并强调最终决策应由代码完成：设置阈值、硬规则和权限判断。Jev 适合重复性、答案有界的判断场景，但在算术、计数、日期、对抗性输入等方面表现不均，需谨慎使用。
