本文探讨了AI与非AI应用中的延迟优化模式。作者指出延迟是指从用户操作到首个有用结果出现的时间，用户感知的是完整关键路径而非单个组件。文章将延迟优化归纳为四大类共19种模式：一是本地化，包括同置、复制、分区和缓存；二是减少工作量，包括算法优化、选择性数据处理、初始化复用、请求合并和运行时调优；三是并发执行，包括避免同步、独立并发、渐进式响应、并发预算和对冲请求；四是预测性优化，提前处理可预测的工作。这些模式既适用于传统应用，也适用于涉及LLM调用、MCP服务器和Agent协调的现代AI应用路径。
DAIR.AI 盘点本周 AI 领域重要论文：微软 Agent Lightning 通过端点代理将任意 Agent harness 接入 RL 训练；Skill 触发瓶颈论文提出三层协议缓解提示词槽位稀缺；Harness 级遗忘现象被命名并给出测量协议；对十个真实 Agent 应用的剖析发现非 LLM 组件主导一半应用的延迟；Skill 机制研究表明程序性锚定远胜知识注入且库规模过大导致精度崩塌。核心主题是 harness 应成为训练与优化栈中的一等公民。
本文介绍了在多智能体流水线中，通过引入确定性Reducer层来优化成本与延迟的实践。作者以40个Claude Haiku worker并行处理、Claude Sonnet汇总的架构为例，指出原始输出包含大量重复、格式错误和冗余信息，导致昂贵的合成模型浪费在数据清洗上。通过代码实现去重、过滤和分组，成本降低86%，延迟降低78%，并意外发现23处矛盾。文章强调结构化归约不仅是成本优化，更是质量保障，并提供了代码示例、防护措施和操作指南。
