Why model routing must be in the harness
本文探讨了模型路由为何应置于代理的harness中而非网关层。随着代理部署扩大，推理成本上升，模型路由成为控制成本的关键。作者基于生产数据指出，harness层路由可降低58%成本且不损质量，因为harness能结合会话缓存、任务状态和结果来动态选择模型，而网关缺乏这些上下文。文章强调，模型切换需权衡缓存失效成本，只有harness能判断何时切换最经济。
全部文档 / 作者: Abhay Singhal
1 篇
