Wiki 知识库

全部文档 / 标签: token概率

1 篇
清除

一个给 LLM 用的 Jev 式封装,连视觉模型也能用

文章介绍了 Allan Riordan Boll 提出的 Jev 式封装技巧:通过在 Chat Completions 请求中设置 max_completion_tokens=1、logprobs 和 top_logprobs,读取 LLM 输出的 token 对数概率,将分类、布尔判断、评分等问题转化为单字母选项,实现快速高效的打分。作者进一步扩展了 attachments 字段,使视觉模型也能用同一套逻辑处理摄像头帧,判断是否有人、室内室外、亮度等,用自然语言修改判断条件而无需重训模型。文中还给出关键细节:归一化时防御性检查 API 是否静默省略了选项分数,避免得到错误的概率分布。作者强调其价值在于灵活性而非性能。

技术 › LLM yibie 2026-09-277.7 KB 2.6K 25 83