Wiki 知识库

全部文档 / 作者: yibie / 标签: Jev

7 篇
清除

Pi 1.0:一次重新思考——MCP 进核心与 CodeMode 编排层

文章解读 Pi 1.0 发布:Pi 从公开拒绝 MCP 转变为将其纳入核心支持。关键不在改变主意,而是为支持 MCP 所做的改动(沙箱、解释器、工具元数据、延迟加载)本身具有普遍价值,同时也让 Jev 等非 LLM 模型受益。核心概念 CodeMode 是跑在 harness 受信任侧的编排层沙箱,用 JavaScript(可作 WASM 分发)自由组合工具调用与模型调用,状态保存在会话记录中。Pi 团队认为 MCP 的问题是外部服务器难以组合,希望其向 OpenAPI 式结构化数据演进。此外还发布了构建长时间运行 agentic 应用的新基座 Pi Durable,以及延迟工具加载、缓存预热等改进。

技术 › Harness Engineering yibie 2026-10-0211.8 KB 15.2K 82 77

Jeff:把 Jev 类决策模型压到 0.8B,跑在本地

Mathias Strasser(Scissero)基于 Qwen3.5 和 Gemma 4 微调出 Jeff 系列 0.8B/2B 决策模型,用于零样本分类:输入描述与选项,一次前向传播返回各选项校准概率。模型在 RTX PRO 6000 上约 22 毫秒、M4 Max 上 28 毫秒即可完成一次决策,0.8B 仅 1.7GB,可直接本地部署。整体基准分 Jeff-2B 达 83.1,几乎追平 Jev 的 83.0;Doom 零样本测试中 Jeff-0.8B 在无人提示规则下达到 6.55,追平 Jev 公布成绩。作者诚实列出局限:不能推理、最多 26 个选项、只支持英文文本等。代码 MIT、权重 Apache 2.0 开源。

技术 › LLM yibie 2026-09-3011.8 KB 8.5K 98 86

有人把 Jev 开源复刻了,还给出了「自己微调」的完整闭环

Jared Palmer(Cognition)开源了 Kev,一族建在 Qwen3.5/3.8 之上的 Jev 式小型决策模型(0.8B~27B,Apache-2.0)。文章介绍了 Kev 与 Jev 的对比数据:Kev-27B 在新数据源上与 Jev 相差一个点以内,但作者强调这不是受控比较。最有价值的部分是完整的微调闭环:通过 coding agent 的 skill,可自动从用户代码中找出问题、转换已有标签、在 Modal 上微调并部署,一次 Kev-4B 训练在 H100 上约 1 美元,示例中把准确率从 67.7% 提到 73.6%。文章还总结了校准温度、问题隔离设计等工程细节,以及作者诚实的自我限制态度。

技术 › LLM yibie 2026-09-289.8 KB 7.4K 78 88

把 GLM-5.3-Flash 变成一个 Jev 式的 System One 模型

本文介绍一种无需微调的方法,把现成的 LLM(GLM-5.3-Flash)变成类似 Jev 的专用决策模型(System One 模型)。核心做法是给选项编号、预填答案、通过读取选项索引上的概率分布,让模型在一次前向传播中给出类型化决策及其置信度。文章详细说明了 vLLM 部署中的三个实现细节(allowed_token_ids、logprob_token_ids、tokenizer 分词),并在 29 个公开数据集上与 Jev、Laya 进行基准对比:文本决策准确性与 Jev 相当,延迟相近但成本较高;由于具备视觉能力,还能做图像上的类型化决策,这是 Jev 和 Laya 做不到的。文章还讨论了推理模式的准确性收益与成本代价、选项数量与重命名对结果的影响,并开源了实现与基准代码。

技术 › LLM yibie 2026-09-2814.3 KB 2.8K 17 87

一个给 LLM 用的 Jev 式封装,连视觉模型也能用

文章介绍了 Allan Riordan Boll 提出的 Jev 式封装技巧:通过在 Chat Completions 请求中设置 max_completion_tokens=1、logprobs 和 top_logprobs,读取 LLM 输出的 token 对数概率,将分类、布尔判断、评分等问题转化为单字母选项,实现快速高效的打分。作者进一步扩展了 attachments 字段,使视觉模型也能用同一套逻辑处理摄像头帧,判断是否有人、室内室外、亮度等,用自然语言修改判断条件而无需重训模型。文中还给出关键细节:归一化时防御性检查 API 是否静默省略了选项分数,避免得到错误的概率分布。作者强调其价值在于灵活性而非性能。

技术 › LLM yibie 2026-09-277.7 KB 2.6K 25 83

把 Jev 插进 RAG:爆速与降本到底能不能实现,实测验证

本文实测了 TypeSafe AI 发布的不生成文本的 AI 模型 Jev 在 RAG 检索流程中的效果。作者在重排、回答判断、检索前置门卫三个环节插入 Jev 进行验证:重排方面,Jev 以八分之一的成本达到接近 Cohere Rerank 的精度;在调用 LLM 之前用 Jev 判断「无法回答」,响应速度提升 5.6 倍,成本降至二十七分之一;在检索之前拦掉范围外提问,速度提升 7.4 倍,成本降至七十五分之一。此外,Jev 还能一次请求同时完成重排和回答判断。结论是用 Jev 改善 RAG 速度与成本可行,但需慎重设定阈值,避免误拦可回答问题。

技术 › LLM yibie 2026-09-2416.7 KB 10.8K 85 85

面向 coding agent 的 Jev 工程学

本文基于 Diogo Almeida 的设计笔记,从第一性原理重新审视 coding agent 的设计。作者以「如果没有 KV cache 会怎样设计」为切入点,揭示当前 agent 围绕缓存经济性形成的「只追加对话记录」范式的六大症状:路由失效、工具挤占上下文、压缩有损、子 agent 平庸、重启丢状态、内置能力争论。文章指出 token 主要消耗在读取与搜索而非写代码,并提出以 Jev 决策层为核心的方案:元注意力上下文组装、查询感知压缩、可见性阶梯、可编程权限、安全感知路由与三级工具披露,把上下文当作被有意组装而非偶然累积的对象。

技术 › Harness Engineering yibie 2026-09-2216.5 KB 8.9K 57 83