本文实测了 TypeSafe AI 发布的不生成文本的 AI 模型 Jev 在 RAG 检索流程中的效果。作者在重排、回答判断、检索前置门卫三个环节插入 Jev 进行验证：重排方面，Jev 以八分之一的成本达到接近 Cohere Rerank 的精度；在调用 LLM 之前用 Jev 判断「无法回答」，响应速度提升 5.6 倍，成本降至二十七分之一；在检索之前拦掉范围外提问，速度提升 7.4 倍，成本降至七十五分之一。此外，Jev 还能一次请求同时完成重排和回答判断。结论是用 Jev 改善 RAG 速度与成本可行，但需慎重设定阈值，避免误拦可回答问题。
本文整理了 Hamel Husain 的 Maven 课程「AI Product Engineering」13 场讲座（共 9.5 小时）的笔记精华，按 Evals、Context、Systems 三大主题组织。核心结论是 AI 产品优化的顺序：先优化检索与上下文（投入产出比最高），再改进系统与执行框架，最后才考虑 post-training。Evals 贯穿一切改进，是判断优化效果的前提。文章涵盖数据 Agent 评测、模型级联降本、自动化错误分析、多向量检索、嵌入模型优化、OCR 选型、推理延迟调试、开源模型经济学等具体实践，强调评测环境应反映生产环境的真实脏乱，模型推理能力往往远超其所得的检索质量。
文章提出个人和小团队构建 AI 知识库的五个升级阶段：从直接上下文验证价值，到全文检索精确命中，再到混合检索提升召回率，随后引入 Agentic 检索解决复杂问题，最后按需引入图谱或视觉检索。强调架构应基于真实失败逐步迭代，每升级前需明确失败原因、验证指标和成本责任。
本文探讨了Agent内存系统的设计核心原则：利用存储廉价与注意力昂贵的非对称性。文章通过分析MemoryOS、Hindsight和supermemory三个案例，阐述了分层内存架构的必要性。这种架构通常包含热数据、温数据和冷数据三层，通过不同的访问模式、数据形状和提升机制，在降低上下文噪音的同时保留关键信息，从而在有限的注意力窗口内实现最优的检索质量。
