Mathias Strasser（Scissero）基于 Qwen3.5 和 Gemma 4 微调出 Jeff 系列 0.8B/2B 决策模型，用于零样本分类：输入描述与选项，一次前向传播返回各选项校准概率。模型在 RTX PRO 6000 上约 22 毫秒、M4 Max 上 28 毫秒即可完成一次决策，0.8B 仅 1.7GB，可直接本地部署。整体基准分 Jeff-2B 达 83.1，几乎追平 Jev 的 83.0；Doom 零样本测试中 Jeff-0.8B 在无人提示规则下达到 6.55，追平 Jev 公布成绩。作者诚实列出局限：不能推理、最多 26 个选项、只支持英文文本等。代码 MIT、权重 Apache 2.0 开源。
Jared Palmer（Cognition）开源了 Kev，一族建在 Qwen3.5/3.8 之上的 Jev 式小型决策模型（0.8B~27B，Apache-2.0）。文章介绍了 Kev 与 Jev 的对比数据：Kev-27B 在新数据源上与 Jev 相差一个点以内，但作者强调这不是受控比较。最有价值的部分是完整的微调闭环：通过 coding agent 的 skill，可自动从用户代码中找出问题、转换已有标签、在 Modal 上微调并部署，一次 Kev-4B 训练在 H100 上约 1 美元，示例中把准确率从 67.7% 提到 73.6%。文章还总结了校准温度、问题隔离设计等工程细节，以及作者诚实的自我限制态度。
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
本文介绍一种无需微调的方法，把现成的 LLM（GLM-5.3-Flash）变成类似 Jev 的专用决策模型（System One 模型）。核心做法是给选项编号、预填答案、通过读取选项索引上的概率分布，让模型在一次前向传播中给出类型化决策及其置信度。文章详细说明了 vLLM 部署中的三个实现细节（allowed_token_ids、logprob_token_ids、tokenizer 分词），并在 29 个公开数据集上与 Jev、Laya 进行基准对比：文本决策准确性与 Jev 相当，延迟相近但成本较高；由于具备视觉能力，还能做图像上的类型化决策，这是 Jev 和 Laya 做不到的。文章还讨论了推理模式的准确性收益与成本代价、选项数量与重命名对结果的影响，并开源了实现与基准代码。
这是一篇关于微调小型LLM的完整实战指南。作者指出不需要70B大模型或昂贵算力，1.5B参数模型在200-500个优质样本上微调后，可在特定任务上超越通用提示的前沿模型。文章以商业融资文案生成为例，详细讲解了微调的实际目标、建立基线（纯提示、RAG、微调）的先后顺序，并分步骤介绍了小型基座模型选择（如Qwen2.5-1.5B）、数据权利合规、可复现数据下载、PDF文本提取与OCR、文本清洗、训练数据集构建、QLoRA训练、评估与部署，每一步均附完整代码。
文章回顾了Karpathy在2023年指出的本地LLM推理瓶颈：解码阶段受限于内存带宽，每次前向传播只生成一个token，使得推理速度存在硬上限。以M5芯片和4-bit Qwen3.5 9B为例，理论极限约29 token/s，llama.cpp和MLX接近该上限。开源推理引擎Uzu通过组合优化突破瓶颈：采用4-bit/8-bit整数量化降低内存流量，利用M5的int8硬件加速路径，在量化前应用块对角随机Hadamard变换抑制离群值误差，并通过推测解码一次性验证多达16个草稿token。实测Uzu在M5上达到92-117 token/s，显著超越llama.cpp和MLX。
本文系统整理了 Jev 及同类决策模型的学习资料，涵盖 12 大主题、58 份资料、80 个链接。文章首先解释了 Jev 是 TypeSafe AI 推出的决策模型，输入为状态、问题和候选项，输出为结构化的选择、评分及概率分布。作者分析了评估此类模型的关键维度：动态候选项、受限输出与概率校准、推理方式、训练方式及答案边界。随后提供了按目的划分的阅读路径（入门、本地试用、训练研究、中文场景、Agent 应用），并分类整理了云端决策服务（OpenAI Decisions、Liquid d1）、开放模型（Cloudflare Clef、Perplexity Decider、GLiNER2.5-Decide）及本地社区实现（Laya、Kev）等资源，是一份完整的决策模型学习导航。
文章介绍 Nowledge Mem 团队受 TypeSafe 团队的 Jev 决策模型启发，在记忆系统中将“决策”与“生成”分离的实践。团队把候选记忆审查、写入质量检查、记忆类型分类等语义判断拆分为独立问题，通过 DecisionClient 让 Jev 与聊天模型回答相同问题集。消融实验表明，问题列表式任务重构即使不更换模型也能显著提升判断准确率，且无需要求模型输出理由——输出理由使成本增加约35%、延迟翻倍却无质量收益。作者将 Jev 类模型视为低延迟智能协处理器，可分担系统中的语义决策，如同反射与自主神经系统分担大脑工作。
作者基于 Glean 的四个真实企业场景测试了 Jev——一个输出类型化决策（选项、分数、概率）而非生成文本的'System One'模型。文章梳理了通用 LLM、零样本分类器、微调分类器与 Jev 的替代方案权衡，并对比了 Qwen/SGLang、Kev 等开源复现。实验显示：查询分类上 Jev 零样本明显优于 Laya 但微调后反超；模型路由（专家转移）是最强结果，准确率更高且中位加速 8.1 倍；重排序中 Jev 的 Choice 表述最强，但平均 41 个候选中约 37 个分数相同需靠生产排序打破平局。结论是 Jev 在新任务或标签频繁变化时最具吸引力，是否被高估取决于具体场景。
文章介绍TypeSafe于2026年9月发布的Jev——一个定位为System One Model的快速决策模型。它不生成文本，而是在数百毫秒内对预定义选项输出概率，官方声称比大模型快40-200倍、便宜40-400倍。作者分析了大语言模型擅长解释而企业流程需要明确选择的矛盾，探讨Jev背后的分层系统架构：确定性规则、快速决策模型、大模型与人类各司其职。文章列举了客服路由、AI安全评测、销售实时决策、边缘设备、智能体编排五类最先爆发的商业机会，提供了计算决策价值的成本框架和七天验证方法，同时警示结构化输出可能固化盲区、概率制造虚假科学感、责任漂移等风险。核心观点：AI市场的下一个更大机会在海量廉价决策，而非少量昂贵的文本生成。
文章探讨了决策模型 Jev 在 DevOps 领域的早期应用，提出“JevOps”概念。DevOps 充满大量小型语义决策（如日志是否值得调查、告警是否严重、修复是否有效等），传统依赖确定性规则、分类器或 LLM。Jev 以低成本、低延迟的方式将这些语义决策直接嵌入运维系统。文章列举了多个案例：Cribl 探索遥测管道中的语义决策、Jev Logs 实现日志分流、Jevernetes 应用于 Kubernetes 日志、Datadog 将 Jev 用于生产环境 Agent 评估、SREGym 在 SRE Agent 旁构建第二评估循环、以及 Jev 对高风险动作的语义门控审查，展示了决策模型在各运维环节的广阔前景。
文章介绍了如何将决策模型Jev嵌入现有Agent工作流：将任务拆分为四部分——开放式生成交给LLM，决策判断交给Jev，确定性规则用代码处理，有后果的授权交由人工。作者讲解了Jev的三种问题类型（Choice、Score、Noul）及适用场景，并以晨间简报为例演示如何构建一个保存交接任务的路由器，从Demo逐步演进为可长期运行的完整工作流，还总结了模型路由、工具调用审查、上下文筛选等11类决策层可接入的位置。
TypeSafe AI 发布了决策模型 Jev，不同于传统 LLM，它不生成文本，而是返回带概率的结构化决策结果，在路由、分类等窄任务上比领先 LLM 快 200 倍、便宜 400 倍，并具有一致性和可并行性。LangChain 团队认为这与其'prod, not god'理念契合：代码掌控工作流，AI 只处理需要语义判断的分支。文章介绍如何用 LangGraph 编排 Jev 决策，包括节点、状态和边的架构，以及持久化执行、人在环路和可观测性等可靠运行时能力，实现可靠、可测试的 AI 驱动生产系统。
