Designing eval datasets for LLM applications
本文是 Langfuse Academy 系列的一部分，深入探讨了 AI 工程生命周期中的数据集设计。文章解释了数据集如何连接生产监控与开发迭代，详细介绍了数据集项的三个核心字段（输入、期望输出、元数据）及不同的评估模式。此外，文章还分享了构建高质量数据集的最佳实践，包括如何定义范围、确定规模，以及如何从生产 Trace、手工编写和合成数据中起步。
相关文档
AI 工程评估方法详解：Manual、Code 与 LLM-as-a-judge
文章阐述了 AI 工程闭环中评估环节的重要性，详细介绍了手动评估、基于代码的确定性评估以及 LLM-as-a-judge 三种主要方法。作者建议从手动审查开始建立直觉，逐步定义并自动化具体的失败模式。文章还探讨了基于参考与无参考评估的区别，并强调应结合多种方法，优先使用二值评分以确保评估的清晰性与可靠性。
AI 落地的四道坎 -- 本体、评估、信任、维护 | 峰会洞察 02
本文是硅谷101 Alignment 峰会 Day 1 下半场的深度纪要，总结出 AI 落地的四道坎：本体、评估、信任、维护，且四道坎都不在模型本身。机器人领域模型大小被物理参数封顶，数据质量与多样性之争可统一为数据金字塔，触觉数据与跨本体抽象是关键；世界模型定义仍在发散，AMD 收购 World Labs 释放垂直整合信号，评估工具的缺失是最大短板；Agent 的真正瓶颈是信任而非模型，企业需渐进开放权限，云端 agent 基础设施有大量脏活，交互范式需摆脱聊天框。作者结合一线信号给出创业与投资判断。
为什么我们需要 Agent 评测
本文是 Agent 评测系列的第一篇文章，作者结合业界共识与个人实践，阐述了 Agent 评测的重要性。文章从一次线上问题修复切入，说明传统后端开发流程难以应对 Agent 的概率性输出与执行路径的不确定性。作者给出 Agent 评测的定义：围绕具体任务，按明确标准检查 Agent 执行过程（trace）和结果的方法。核心价值包括：防止越修越坏、判断改动是否真的变好、确认任务稳定性、明确完成标准、指导迭代优先级。文章还提出评测落地的五步流程：整理任务、写清标准、准备一致环境、运行新旧版本对比、持续更新案例，并提醒注意评测集划分、标准本身可能出错等问题。
Use Jev to extract signals from millions of chat agent traces
本文介绍如何利用 Jev 类模型大规模分析数百万条聊天 Agent 生产轨迹，从中提取失败信号。传统 LLM-as-a-judge 评估依赖采样以控制成本，而 Jev 类模型可在同一上下文中并行回答多个问题，以极低成本对全部轨迹进行全面评估。文中讨论了显式反馈、行为追踪、事实结果和对话信号等不同类型的用户信号，并以航班改签客服对话为例，展示如何同时捕捉后续提问、用户挫败感和结果满意度等维度。文章最后介绍如何在 Langfuse 中配置基于 Jev 的批量评估模板，实现生产信号的监控与可视化。
OpenAI 官方的 GPT-6 Astra 提示词
本文整理了 OpenAI 官方针对 GPT-6 Astra 模型发布的提示词建议。Astra 比 GPT-5.6 Sol 更爱提问，官方给出提示词让其直接执行任务；针对 Skill 过多导致指令冲突的问题，建议定期检查上下文文件并明确优先级，可让模型指出受哪条规则影响；此外 Astra 在代码任务上容易过度测试，官方建议只在发现新失败或风险时扩大测试范围。作者认为 Astra 是相对完善的模型，但与 fable5.1 相比仍有差距。
什么是 Eval？为什么它决定了 AI 项目能不能真正落地
文章系统讲解了 Eval（评估）在 AI 工程中的核心地位。作者将 Eval 比喻为'给 AI 考试'，介绍了构成评估闭环的关键要素：Golden Set（考题库）、Rubric（评分标准）、评分方式（规则、人工、LLM-as-a-Judge）和 Eval Report（成绩单）。文章指出没有 Eval 的 AI 开发容易沦为'凭感觉调 Prompt'，无法回答版本是否真的提升、幻觉率是否下降等关键问题。作者强调 AI 项目应遵循 Build → Eval → Analyze → Improve 的迭代流程，Eval 是 AI FDE 的核心能力，'能运行'和'可交付'之间隔着一套完整的评估体系。
AI 工程技能图谱：构建与部署 AI 应用
吴恩达详细阐述了 AI 工程技能图谱中的核心技能——构建与部署 AI 应用，包含六大方面：LLM 基础（分词、上下文窗口、工具调用等）、用数据为模型提供基础（RAG、向量索引、知识图谱）、构建 Agentic 系统（工作流、Agent harness、多智能体编排）、评估驱动开发（evals 与错误分析循环）、生产环境运营（可观测性、回归测试、成本与延迟优化）以及机器学习基础。该技能图谱基于大量招聘信息、专家访谈和调研形成，强调 AI 系统因输出不可预测而比传统软件开发更具迭代性。
如何构建可持续维护的评估集
本文介绍了如何为AI Agent构建可长期维护的评估（eval）指标体系。指标分三类：目标指标、护栏指标和运营指标，三者结合使用。候选指标来源于错误分析和产品目标与硬约束。并非所有候选都值得跟踪：一次性问题用prompt修改解决即可，只有需要持续追踪的泛化问题才建指标；每个指标必须与具体决策挂钩，否则就是噪音。从零开始时，可先阅读30-50条trace并用自由文本笔记聚类失败模式。此外需定期重跑错误分析、退役失效指标，并警惕Goodhart定律导致的过拟合。
你的 Agent 框架应该能够自我修复
文章探讨了AI Agent在生产环境中失败时，传统可观测性工具仅能提供追踪数据，而无法自动解决修复问题的瓶颈。作者介绍了开源平台Opik，它通过四层架构（Tracing追踪、Ollie诊断与修复、Test Suites测试集、Agent Sandbox沙盒）形成闭环。该平台能自动诊断错误链路，内置代码代理提出修复方案，并将真实失败转化为回归测试，从而实现Agent框架的自我修复与持续优化。
Harness Engineering: 构建模型外围的系统
文章探讨了从“提示词工程”到“Harness Engineering（驾驭工程）”的范式转变。基于Lilian Weng的论文，指出AI Agent的成功不再仅依赖模型本身，而是其外围的系统（Harness）。Harness涵盖了工作流、上下文、记忆、权限和评估等运行时组件，类似于操作系统。与提供灵活性的框架不同，Harness专注于生产环境中的执行可靠性、持久状态和严格控制。文章还分析了三种设计模式及通向自我改进的优化阶梯，强调将持久状态存储于文件而非上下文中，是实现系统可靠性与自动优化的关键。
如何设计与构建 AI Agent 评估数据集
当应用仅靠直觉调试无法满足需求时，构建评估数据集至关重要。本文详细介绍了设计AI Agent评估数据集的五个核心步骤：1.明确数据集的最小目标；2.检查生产记录、现有资产等可用数据源；3.规划输入分布，合理搭配场景与难度；4.决定评估机制，选择基于参考或无参考的评估方式；5.定义包含输入、预期输出和元数据的结构化项目模式。通过迭代设计，确保系统质量可量化和持续改进。
12个月成为AI工程师的路径
本文介绍了如何在12个月内通过六个阶段的学习和实践，成为一名AI工程师。重点是掌握Python编程、模型API使用、构建RAG系统、开发Agent、评估和部署能力。强调通过实际项目作品集而非学历来证明能力。
