System One Models: What Comes After Agentic Software
文章介绍 TypeSafe 发布的 Jev 模型，一种用于快速语义决策而非生成或长推理的 System One 模型，延迟低至 70ms 且成本低廉。作者认为这类模型可将小型语义智能分散嵌入应用的各个决策点，而非集中于 Agent 循环中，从而推动微推理时代的到来。这将使代码库中包含更多非确定性判断，同时应用层更明确地掌控编排控制流，推理模型则退居处理模糊和复杂案例的升级路径。文章还探讨了围绕微推理所需的基础设施（批处理、缓存、模型路由），并以自动驾驶和 Waymo 的 ML-primary 架构类比这种通用语义模型进入控制循环的新范式。
