文章介绍了决策模型（如 TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef、OpenAI 的 Decisions API）作为 LLM judge 的低成本替代方案在自动化评估中的应用。作者基于 100 条公寓租赁 Agent 的对话轨迹，测试各模型识别失败案例的性能与成本，并重点讲解决策阈值的调优：默认阈值 0.50 未必适合具体任务，需根据精确率与召回率的业务权衡（如 F1 优化或最低 80% 双重要求）来选择阈值。文章还提供了用编码 Agent 进行阈值调优的示例提示词，并讨论了校准与分数解释等实用方法。
文章探讨了 Agent 评估（evals）的重要性与实践方法。作者将 Agent 定义为模型加 Harness 的组合，区分了模型评估与 Harness 评估，并对比了 SDLC 中的测试与 ADLC 中的评估差异。文章澄清了评估的核心概念（task、trial、outcome、grader 等），指出评估的冷启动门槛比想象中低，从真实失败案例中提取 20-50 个任务即可起步。作者强调应只构建任务完成率和正确性两个基础指标，主张评估结果而非路径，并建议纳入负向用例、部分得分机制，坚持阅读轨迹记录，关注分心、token 消耗、延迟、上下文膨胀和一致性等信号。
文章对比了社区开源的 DS Bot（DeepSeek-Bot）与 Grok Bot 两款多角色 AI 助手。核心差异在于'动手能力'：Grok Bot 提供托管云电脑，可操作浏览器、跨网站执行任务且合盖继续运行；DS Bot 内置浏览器仅能读网页，但支持自选模型、MCP/Skills 扩展和可检查的 Markdown 记忆。文章从网页操作、模型控制权、数据与权限、成本等维度给出选购建议：不想维护、需要网页自动化选 Grok Bot；已有 API、重视控制权选 DS Bot。作者建议先用一个每周固定任务实测，再决定是否扩展。
Latent Space 首期「High Taste Testers」栏目中，五位 AI 重度用户在 OpenAI DevDay 2026 后畅谈产品真相。核心观点：模型前沿没有让人失望，产品执行让人失望；Dots 等功能藏得太深、远程执行与状态迁移未解决；Codex 桌面端更新频遭差评；行业应从 agent 转向 assistant，助手胜负在减负；Jev 决策模型改变的是成本曲线而非能力边界；信任是这一代模型的真正分水岭；分发与深度的矛盾注定产品分裂，各自占据生态位。
作者复现 Nish Tahir 的《Build your own decision model》教程，在 CommonsenseQA 上验证基于语言模型单次前向读取选项 token 概率作为置信度的决策模型方法。复现发现教程方法成立但需补两个关键前提：读数位置必须放在 assistant 轮，模型需用 8B 而非 1.7B。温度缩放校准有效，而微调增益主要来自修正 harness。作者还将方法应用于素材席位判定任务，发现模型间一致标签不等于准确率，结论需以人工标签为准。核心启示：核对读数位置的概率质量、报告覆盖率、用独立数据拟合温度。
本文系统整理了 Jev 及同类决策模型的学习资料，涵盖 12 大主题、58 份资料、80 个链接。文章首先解释了 Jev 是 TypeSafe AI 推出的决策模型，输入为状态、问题和候选项，输出为结构化的选择、评分及概率分布。作者分析了评估此类模型的关键维度：动态候选项、受限输出与概率校准、推理方式、训练方式及答案边界。随后提供了按目的划分的阅读路径（入门、本地试用、训练研究、中文场景、Agent 应用），并分类整理了云端决策服务（OpenAI Decisions、Liquid d1）、开放模型（Cloudflare Clef、Perplexity Decider、GLiNER2.5-Decide）及本地社区实现（Laya、Kev）等资源，是一份完整的决策模型学习导航。
本文介绍了如何使用 TypeSafe AI 的决策模型 Jev 作为 LLM Judge 来评估 Agent 的表现（Jev-as-a-Judge）。与只看最终回复不同，Jev 会阅读完整轨迹（用户请求、工具调用及结果、最终回复），将标准转化为预定义问题，并返回带置信概率的判定。文章通过退款 Agent 示例演示了 Playground 的使用，说明如何设定阈值将运行分为通过、失败和人工复核三类。研究显示，该接受-升级模式比 GPT-6 单独判断更准确且成本大幅降低。作者强调需先用人工标注验证 Jev 的可靠性，能用代码检查的事实性问题就不需要 Judge，将 Jev 保留给需要阅读理解的判断。
这是一篇面向 AI 项目决策者的科普文章，无需技术背景，逐层拆解 AI Agent 的十三层结构。作者从核心三要素（模型、上下文、工具）讲起：模型是无状态、只会预测下一个词的神经网络；上下文包含系统提示、技能、规则、工具定义等，按 token 计费；工具在用户侧运行。后续层涵盖如何优化输出质量（上下文卫生、专有信息、大小与位置）、什么是 Agent、幻觉、知识库、记忆、Harness、子代理、长时循环、评估、交互式与无头模式、助手与自主 AI 的区别，以及 Skill 的价值。所有数据均来自已发表论文或标注为厂商声明的文档，文末附向团队提问的清单与要点总结。
本文介绍 AI Agent 的评估驱动开发（Eval-Driven Development）。作者指出 vibe coding 可以快速构建应用，但仅靠手工测试提示词无法保证 Agent 质量上线。文章解释了评估的核心概念：eval 是应用于 trace 的评分器，包括 Case、Run 等基本构件，并详述四种评分方式——确定性检查、参考答案评分、规则评分和轨迹评分。文章还区分线上评估（监控生产环境真实流量）与线下评估（发布前测试），强调两者缺一不可，并通过 promotion 机制将生产问题转化为测试用例，形成持续改进闭环。
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
文章介绍 Nowledge Mem 团队受 TypeSafe 团队的 Jev 决策模型启发，在记忆系统中将“决策”与“生成”分离的实践。团队把候选记忆审查、写入质量检查、记忆类型分类等语义判断拆分为独立问题，通过 DecisionClient 让 Jev 与聊天模型回答相同问题集。消融实验表明，问题列表式任务重构即使不更换模型也能显著提升判断准确率，且无需要求模型输出理由——输出理由使成本增加约35%、延迟翻倍却无质量收益。作者将 Jev 类模型视为低延迟智能协处理器，可分担系统中的语义决策，如同反射与自主神经系统分担大脑工作。
Mathias Strasser（Scissero）基于 Qwen3.5 和 Gemma 4 微调出 Jeff 系列 0.8B/2B 决策模型，用于零样本分类：输入描述与选项，一次前向传播返回各选项校准概率。模型在 RTX PRO 6000 上约 22 毫秒、M4 Max 上 28 毫秒即可完成一次决策，0.8B 仅 1.7GB，可直接本地部署。整体基准分 Jeff-2B 达 83.1，几乎追平 Jev 的 83.0；Doom 零样本测试中 Jeff-0.8B 在无人提示规则下达到 6.55，追平 Jev 公布成绩。作者诚实列出局限：不能推理、最多 26 个选项、只支持英文文本等。代码 MIT、权重 Apache 2.0 开源。
Jared Palmer（Cognition）开源了 Kev，一族建在 Qwen3.5/3.8 之上的 Jev 式小型决策模型（0.8B~27B，Apache-2.0）。文章介绍了 Kev 与 Jev 的对比数据：Kev-27B 在新数据源上与 Jev 相差一个点以内，但作者强调这不是受控比较。最有价值的部分是完整的微调闭环：通过 coding agent 的 skill，可自动从用户代码中找出问题、转换已有标签、在 Modal 上微调并部署，一次 Kev-4B 训练在 H100 上约 1 美元，示例中把准确率从 67.7% 提到 73.6%。文章还总结了校准温度、问题隔离设计等工程细节，以及作者诚实的自我限制态度。
