Wiki 知识库

全部文档 / 标签: Traces

3 篇
清除

面向发现式智能的基准:TRACES

本文介绍 Apodex Discovery 提出的 TRACES 基准,用于评估 AI 系统能否通过证据充分、可审计、可修复的调查得到正确结果。与传统基准只衡量最终答案不同,TRACES 将评估单位扩展为完整调查过程,通过结果验证器与盲评的过程验证器(HDS6:工具、修复、备选解释、连贯性、证据、适用边界)双通道评价。基准提供 AAV 衣壳设计、药物再利用、临床试验、大模型工程四个可执行环境,实验显示过程诊断反馈可使结果得分平均提升 0.155。文章还比较了 TRACES 与 MMLU、SWE-bench 等基准的差异。

技术 › Agent Dongxi 东锡 NLP 2026-08-2311.9 KB 10.3K 19 74

LangSmith Engine 构建详解:利用 Agent 优化 Agent

文章详细介绍了 LangSmith Engine 的技术架构与实现细节。Engine 是一个构建在 LangSmith 平台之上的元 Agent,旨在解决大规模 Agent 部署中的调试难题。它能够自动分析海量 Traces,识别如工具循环调用、参数错误等重复性失败模式,并将其转化为具体的“问题”,进而建议评估器、数据集示例或代码修复方案。

技术 › Agent Palash Shah 2026-05-2044.6 KB 69.2K 173 80

Agent 可观测性需要反馈机制以驱动学习

文章指出 Agent 可观测性不仅用于调试,更是驱动系统学习的关键。区别于传统软件,Agent 系统必须将链路追踪与反馈信号(如用户显性反馈、隐性行为、LLM 评测或确定性规则)紧密闭环,以在模型、控制架线和上下文层面实现自动或人工驱动的持续改进。

技术 › Agent Harrison Chase 2026-05-0611.2 KB 59.3K 214 84