Wiki 知识库

全部文档 / 标签: 基准测试

34 篇
清除

Best Open-Source Agent Memory Systems (Self-Hosted, 2026)

本文深入比较了2026年可自托管的开源AI代理记忆系统,包括Mem0、Cognee、Graphiti/Zep、Letta和Hindsight。文章强调开源与可自托管并非同义,并提出了五个评估维度:检索准确性、自托管现实、功能对等性、许可证和架构。通过公开基准测试和实际部署要求,作者揭示了各系统的真实优劣,特别指出Mem0社区最大但基准测试饱和,Graphiti擅长时间推理但需外部图数据库,Hindsight在准确性和部署简便性上领先。文章旨在帮助读者根据自身需求选择最合适的记忆层系统。

技术 › LLM Vectorize 2026-08-1215.1 KB 943 17 83

LAB: 模拟律师事务所知识环境与AI智能体基准测试

本文介绍了开源的模拟律所环境Calderwood & Harkness (C&H),旨在测试大语言模型在企业级海量知识(超1亿Token)中的检索与推理能力。C&H包含46个客户和266个案件。基准测试表明,当前先进模型在全面搜索和判断信息检索的“完整性”上存在严重瓶颈,导致任务完成度受限。作者指出,未来的改进方向是让智能体预先构建更丰富的语料库表示(如索引、摘要、记忆),以分摊运行成本并提升企业级知识处理能力。

技术 › Agent Julio Pereyra 2026-08-088.8 KB 298.1K 234 86

AutoAgent:首个用于自优化代理框架的库

本文介绍了开源库 AutoAgent,这是一个能够自主优化任何领域代理的框架。通过引入“元代理”概念,AutoAgent 可以自动调整任务代理的提示、工具和编排逻辑,从而在 SpreadsheetBench 和 TerminalBench 测试中取得卓越成绩。文章探讨了“模型同理心”的重要性,并详细阐述了该框架如何通过拆分元任务与任务、利用推理轨迹以及避免过拟合来实现性能的持续提升。

技术 › Agent Kevin Gu 2026-04-036.9 KB 3.9M 5.8K 78

Claude Skill-creator 史诗级升级:评估、基准测试与多代理并行

Anthropic 官方 Skills 生成器 Skill-creator 迎来重大更新,新增四大核心功能:评估系统、基准测试、多代理并行测试及描述调优。此次升级解决了长期以来 Skills 质量“黑盒”的痛点,通过量化测试(如通过率、耗时、Token用量)和自动迭代优化,显著提升了 Skills 的触发准确率和执行效果。

技术 › Agent 数字生命卡兹克 2026-03-1114.0 KB 176.2K 1.3K 82