LAB: 模拟律师事务所知识环境与AI智能体基准测试
本文介绍了开源的模拟律所环境Calderwood & Harkness (C&H)，旨在测试大语言模型在企业级海量知识（超1亿Token）中的检索与推理能力。C&H包含46个客户和266个案件。基准测试表明，当前先进模型在全面搜索和判断信息检索的“完整性”上存在严重瓶颈，导致任务完成度受限。作者指出，未来的改进方向是让智能体预先构建更丰富的语料库表示（如索引、摘要、记忆），以分摊运行成本并提升企业级知识处理能力。
全部文档 / 作者: Julio Pereyra / 标签: 企业知识
1 篇
