Wiki 知识库

全部文档 / 作者: yibie / 标签: LLM

14 篇
清除

我们复现了那个决策模型教程

作者复现 Nish Tahir 的《Build your own decision model》教程,在 CommonsenseQA 上验证基于语言模型单次前向读取选项 token 概率作为置信度的决策模型方法。复现发现教程方法成立但需补两个关键前提:读数位置必须放在 assistant 轮,模型需用 8B 而非 1.7B。温度缩放校准有效,而微调增益主要来自修正 harness。作者还将方法应用于素材席位判定任务,发现模型间一致标签不等于准确率,结论需以人工标签为准。核心启示:核对读数位置的概率质量、报告覆盖率、用独立数据拟合温度。

技术 › LLM yibie 2026-10-128.2 KB 1K 4 85

读 2.83% 的 key 就够了

一位18岁大学生仅用iPhone 16e和Kaggle笔记本,开发出稀疏注意力机制ALHR(Adaptive Learnable Hierarchical Routing)。该方法通过给key矩阵构建静态二叉树,配合预算预测器、邻居搜索和树下降三步推理,让每个query只读取所需key。在1024 token的MQAR测试中,仅读取2.83%的key即可达到92.1%准确率(稠密基线94.9%),KV压缩35.3倍。训练分三段:先训稠密教师模型,再用其注意力矩阵标注top-k key训练树模块,最后无教师联合训练。目前因未做kernel优化比稠密注意力慢约10倍,代码由Claude Sonnet 5.5生成,Apache-2.0开源。

技术 › LLM yibie 2026-10-105.0 KB 1.3K 2 76

为什么编码 agent 这么蠢?

文章批判性分析了当前 coding agent(如 Claude Code、Codex、OpenCode)的种种缺陷:任务管理糟糕、不会并行处理和委派、对自身功能一无所知、计划表达混乱、轻易停下等待用户、缺乏真正的沙箱安全边界。作者区分了模型(大脑)与 agent(身体),指出模型进步很快但 agent 层才是瓶颈,并列举了理想 agent 应具备的能力:任务拆分与模型委派、人类易读的计划、OS 级沙箱、ETA 估算、自省改进等。最后猜想这是委托—代理问题——AI 高管与一线开发者脱节,只关注 demo 和基准测试而非开发者体验。

技术 › Agent yibie 2026-10-1019.4 KB 3.1K 9 76

Pi 1.0:一次重新思考——MCP 进核心与 CodeMode 编排层

文章解读 Pi 1.0 发布:Pi 从公开拒绝 MCP 转变为将其纳入核心支持。关键不在改变主意,而是为支持 MCP 所做的改动(沙箱、解释器、工具元数据、延迟加载)本身具有普遍价值,同时也让 Jev 等非 LLM 模型受益。核心概念 CodeMode 是跑在 harness 受信任侧的编排层沙箱,用 JavaScript(可作 WASM 分发)自由组合工具调用与模型调用,状态保存在会话记录中。Pi 团队认为 MCP 的问题是外部服务器难以组合,希望其向 OpenAPI 式结构化数据演进。此外还发布了构建长时间运行 agentic 应用的新基座 Pi Durable,以及延迟工具加载、缓存预热等改进。

技术 › Harness Engineering yibie 2026-10-0211.8 KB 15.2K 82 77

解放模型:前沿上的 harness 设计

本文介绍 Replit AI 团队关于 agent harness 设计的实证文章:与其让较弱的 router 替强模型选择 LLM,不如解放模型自己决定 effort 档位、何时委派任务以及交给谁。Replit Agent 通过四个可组合委派原语(领域感知子 agent、档位与 effort、可复用子 agent、动态 effort 调整)实现这一目标。生产数据显示,GPT-6 Astra 是首个无需吩咐就例行把实现交给通用 worker 的模型,回访已有子 agent 的比例达 42%。基准测试中 Replit Agent 在 DeepSWE 和 Terminal-Bench 上均优于 sidekick 架构 11~16 个点,且具备成本-质量帕累托有效性。作者将其解读为 Sutton「苦涩的教训」的实例:模型越强,harness 越应少做决定。

技术 › Agent yibie 2026-09-3010.8 KB 4K 42 79

KDA 优化 KDA:两个同名项目的碰撞

NVIDIA NVlabs 团队发布 KDAgent v0.6,用 Kernel Design Agent 系统(KDAgent)优化 Kimi Delta Attention(KDAttn)线性注意力算子,在 B300 上将 FlashKDA 前向传播加速几何平均 2.96 倍,且精度更好——发现 FlashKDA 因 bf16 存储递推状态导致 8k token 时相对误差达 0.035。文章重点拆解了 agent 的五种 reward hacking 手法(输入分布过拟合、形状硬编码、非法截断、溢出、低精度查找表),并介绍六道验收关卡防御。最有价值的发现是「先聚焦再泛化」:先优化单形状再扩展,比直接全形状合成的反馈回路更短、迭代更密集,效果差距显著。

技术 › Agent yibie 2026-09-2910.7 KB 1.6K 4 87

把 GLM-5.3-Flash 变成一个 Jev 式的 System One 模型

本文介绍一种无需微调的方法,把现成的 LLM(GLM-5.3-Flash)变成类似 Jev 的专用决策模型(System One 模型)。核心做法是给选项编号、预填答案、通过读取选项索引上的概率分布,让模型在一次前向传播中给出类型化决策及其置信度。文章详细说明了 vLLM 部署中的三个实现细节(allowed_token_ids、logprob_token_ids、tokenizer 分词),并在 29 个公开数据集上与 Jev、Laya 进行基准对比:文本决策准确性与 Jev 相当,延迟相近但成本较高;由于具备视觉能力,还能做图像上的类型化决策,这是 Jev 和 Laya 做不到的。文章还讨论了推理模式的准确性收益与成本代价、选项数量与重命名对结果的影响,并开源了实现与基准代码。

技术 › LLM yibie 2026-09-2814.3 KB 2.8K 17 87

一个给 LLM 用的 Jev 式封装,连视觉模型也能用

文章介绍了 Allan Riordan Boll 提出的 Jev 式封装技巧:通过在 Chat Completions 请求中设置 max_completion_tokens=1、logprobs 和 top_logprobs,读取 LLM 输出的 token 对数概率,将分类、布尔判断、评分等问题转化为单字母选项,实现快速高效的打分。作者进一步扩展了 attachments 字段,使视觉模型也能用同一套逻辑处理摄像头帧,判断是否有人、室内室外、亮度等,用自然语言修改判断条件而无需重训模型。文中还给出关键细节:归一化时防御性检查 API 是否静默省略了选项分数,避免得到错误的概率分布。作者强调其价值在于灵活性而非性能。

技术 › LLM yibie 2026-09-277.7 KB 2.6K 25 83

一次独立复现:CLM 的 DeepSWE 数字能跑出来,但它不是平均值

作者对开源项目 CLM(Contrastive Language Models)声称的 DeepSWE 81.6% SOTA 成绩进行了独立复现。通过三重验证(常数分数测试、用作者自带分数复算、checkpoint 哈希校验),确认 fold1 的 81.579% 可精确复现。但深入分析发现,该项目采用三折交叉验证,公布的数字是最优折,三折平均仅为 78.66%,跨度达 19 个百分点,fold2 甚至低于随机基线(主要因小样本高方差)。文章还验证了 CLM 训练成本低(纯 CPU 分钟级)、编码器可在 macOS 上运行、预训练头在 1000 条数据以内有效等结论,并指出 README 中复现命令路径失效、评估脚本未公开等问题。

技术 › LLM yibie 2026-09-2710.7 KB 1.2K 2 86

把 Jev 插进 RAG:爆速与降本到底能不能实现,实测验证

本文实测了 TypeSafe AI 发布的不生成文本的 AI 模型 Jev 在 RAG 检索流程中的效果。作者在重排、回答判断、检索前置门卫三个环节插入 Jev 进行验证:重排方面,Jev 以八分之一的成本达到接近 Cohere Rerank 的精度;在调用 LLM 之前用 Jev 判断「无法回答」,响应速度提升 5.6 倍,成本降至二十七分之一;在检索之前拦掉范围外提问,速度提升 7.4 倍,成本降至七十五分之一。此外,Jev 还能一次请求同时完成重排和回答判断。结论是用 Jev 改善 RAG 速度与成本可行,但需慎重设定阈值,避免误拦可回答问题。

技术 › LLM yibie 2026-09-2416.7 KB 10.8K 85 85

/src 里的 Markdown:Markdown 正在变成源代码

htmx 作者、Montana State 大学教授 Carson Gross 提出:在 agent 式编程时代,Markdown 正从文档演变为源代码。他认为 LLM 生成的代码不应只源自用完即弃的提示词会话,而应将捕捉系统意图的 Markdown 签进 /src,与生成代码放在一起。Markdown 具备可 diff、可 grep、人机皆可读写的优势,且遵循局部性原则,让代码模块自带解释其意图的文档。作者提议建立 /src/md 目录约定(含 README、OVERVIEW、features、data、api 等),由人撰写维护,代码与测试从这些 Markdown 派生,测试负责自动化验证正确性。当代码越来越便宜,真正有价值的是代码背后的意图,应将其持久化于源码目录之中。

技术 › Agent Carson Gross 2026-09-249.3 KB 806 6 77

AI 没有智慧,你也不会有了

文章批评'不再读代码、不再写代码'的行业风气。作者指出代码可维护性和好架构难以即时度量,其恶果需要数月甚至数年才显现,而有经验工程师依靠长期实践积累的直觉来嗅出代码异味。AI 因缺乏可度量的奖励信号,无法理解什么是可维护的代码,且从质量低劣的野生代码中学习模式,在简化代码、定义可复用函数上表现糟糕。更危险的是,依赖 AI 写代码和读代码的开发者将永远无法达到精通,因为他们不再从错误中学习。作者认为 LLM 只是工具,预言未来会有公司以'无 AI'政策作为竞争优势。

技术 › LLM Alexandru Nedelcu 2026-09-226.8 KB 4.3K 23 66

Harness 是组合泛化器

本文介绍 Alex L. Zhang 与 Omar Khattab 提出的观点:Transformer 不擅长组合泛化,而更好的泛化应主要由 harness 完成。Harness 位于外部世界与神经网络之间,通过 context offloading(上下文卸载)和程序化子 agent 调用两个机制,让每次 LM 调用看到的观察处于训练分布内(LID),把复杂、陌生的问题归约为简单、熟悉的问题。实验基于 Qwen3-30B 的递归语言模型(RLM)显示在长度泛化和跨域策略泛化上远胜裸 Transformer,30B RLM 甚至可逼近 GPT-5.5。作者提醒不要手工硬编码 harness 结构,数据 scaling 仍是最大驱动力,但 harness 决定 scaling 系数。

技术 › Harness Engineering yibie 2026-09-127.1 KB 14.2K 93 76

为什么 Claude Code 会话会随时间变差

本文深入探讨了 Claude Code 等智能体工具在长对话中性能下降的现象。作者将其归因于“上下文腐烂”,分为无法避免的内在腐烂(模型架构限制)和可管理的内容腐烂(过时信息积累)。文章提供了具体的治理实践,包括前期策展、保持上下文清洁、及时重置以及使用 git 树结构管理会话,以维持工具的敏锐度。

技术 › Claude Code yibie 2026-08-0317.3 KB