不懂 Model Infra，写不好 Harness
本文深入探讨了构建高效 Agent Harness 框架时，理解底层模型推理基础设施（Model Infra）的重要性。作者指出，许多 Harness 将模型 API 视为黑盒，导致在应用层的优化可能破坏 KV 缓存、增加成本并降低解析可靠性。文章详细分析了缓存机制（GPU/CPU/SSD）、影响缓存命中的因素（如动态 system prompt、工具 schema 变化）、本地执行耗时对缓存窗口的消耗，以及解析一致性问题。最后，作者提出了稳定前缀、异步工具执行、不可变历史等实践原则，并建议通过监控缓存命中率、一致性等指标来评估 Harness 质量。
