文章系统讲解了 Eval（评估）在 AI 工程中的核心地位。作者将 Eval 比喻为'给 AI 考试'，介绍了构成评估闭环的关键要素：Golden Set（考题库）、Rubric（评分标准）、评分方式（规则、人工、LLM-as-a-Judge）和 Eval Report（成绩单）。文章指出没有 Eval 的 AI 开发容易沦为'凭感觉调 Prompt'，无法回答版本是否真的提升、幻觉率是否下降等关键问题。作者强调 AI 项目应遵循 Build → Eval → Analyze → Improve 的迭代流程，Eval 是 AI FDE 的核心能力，'能运行'和'可交付'之间隔着一套完整的评估体系。
文章阐述了 AI 工程闭环中评估环节的重要性，详细介绍了手动评估、基于代码的确定性评估以及 LLM-as-a-judge 三种主要方法。作者建议从手动审查开始建立直觉，逐步定义并自动化具体的失败模式。文章还探讨了基于参考与无参考评估的区别，并强调应结合多种方法，优先使用二值评分以确保评估的清晰性与可靠性。
本文介绍如何成为年薪百万美元的前置部署工程师（FDE），通过为企业部署 AI 代理创造数百万美元价值。核心工作流包括：先用'人类 API'方法访谈员工、挖掘系统记录，绘制真实业务流程；将每个步骤归类为删除、普通代码、代理或人工介入四类；在客户现有系统（如 Salesforce、NetSuite）内构建代理，避免重培训；按成本节约、收入提升和风险规避三个维度向 CFO 等买家量化展示成果。文中给出实际案例：应付账款流程从 17 步精简到 7 步，单张发票成本从 31 美元降至 6 美元。
作者分享了将 Eval（评估体系）融入 Codex 工作流后的实践心得。核心观点是：AI Coding 越强，Eval 越重要，因为 Build 变便宜了，但'什么叫完成'并未变简单。文章指出 Tests Passed 不等于任务正确，Testing 是底线，Eval 是交付线。作者重构了工作流程：Baseline → Build → Test → Eval → Analyze → Fix → Re-Eval → Release，强调先跑 Baseline 而非上来就改 Prompt，利用失败分类找出瓶颈，通过 Release Gate 定义验收标准。同时提出 Ground Truth 必须由人工确认，AI 不能既出题又评分。最终结论：人应从让 AI 写代码，转向给 AI 定义验收标准。
本文翻译并评述了 Chill Interview 的 Anthropic FDE 面试指南。FDE 岗位要求候选人同时具备生产级工程能力、Claude 与智能体系统能力、客户需求梳理能力、安全与可靠性意识，以及在不确定环境中自主推进的能力。文章详细拆解了面试流程各环节（简历筛选、招聘初筛、技术编程轮、Applied AI 构建轮、客户需求访谈、系统设计、价值观面试等）的考察重点、常见题型、评分点与备考建议，并强调候选人要避免表现得像「只会做 AI 演示原型的人」，需能交付经得起企业现实考验的生产系统。
本文介绍了 Forward Deployed Engineer (FDE) 这一岗位在 AI 时代的复兴。FDE 起源于 Palantir，是指深入客户现场将产品从演示推向生产的工程师。随着 AI 从辅助工具转向具备写权限的 Agent，企业对责任边界、流程重构的需求激增，使得 FDE 再次成为热点。文章详细解析了 FDE 的工作内容、小队作战模式及其在产品反馈中的核心价值。
本文通过 Superpowers 6 的案例，指出 AI 已突破代码生成，开始具备流程优化与管理能力。AI 审计并改进了自己的工作流，实现了降本增效。文章强调，在 AI 自动化“判断力”的时代，人类的核心价值已从操作机器转向构建诚实可靠的评估系统，即在幻觉与自我欺骗面前，坚持用 Eval 记分牌揭示真相。
本文是 Langfuse Academy 系列的一部分，深入探讨了 AI 工程生命周期中的数据集设计。文章解释了数据集如何连接生产监控与开发迭代，详细介绍了数据集项的三个核心字段（输入、期望输出、元数据）及不同的评估模式。此外，文章还分享了构建高质量数据集的最佳实践，包括如何定义范围、确定规模，以及如何从生产 Trace、手工编写和合成数据中起步。
作者复盘2026 AI先锋未来人才大赛全国总决赛的12个FDE（前沿部署工程师）项目，涵盖化工调度、编程教育、低空安防、供应链、雅思诊断、AI短剧、乐园服务、3D打印、家电售后、汽车维修、内容营销和招投标等领域。文章逐一拆解各项目的实现方式与业务价值，并总结三点观察：多数场景不需要垂类模型，业务理解是AI应用的关键门槛，能演示与创造商业价值之间仍有距离。作者认为FDE代表AI时代正在形成的具体工作方式，非计算机背景者也能借AI解决真实行业问题。
这篇文章面向不懂技术的中小企业老板，从甲方视角探讨企业如何持续吃到 AI 模型升级的红利。作者提出'上下文'与'闭环'两个核心概念：代码世界因信息现成、对错反馈快而最先被 AI 攻克，实体企业则需要主动生产上下文和闭环。作者建议企业先建立品味，把关键业务信息用飞书多维表格记录，实现人和 Agent 共用；老板应亲自下场把 Agent 当联席 CEO；新公司可追求围绕 Agent 重构组织的一流解，老公司宜在存量架构上小步调整、从增量业务入手的二流解，最终把公司变成'模型越强，自己越受益'的组织。
作者以 FDE（前线部署工程师）身份，为父母经营的 4 人小物流公司做 AI 落地。文章完整记录了从商机发现、需求调研、方案设计到落地交付的全过程：梳理藏在家人脑中的隐性业务规则，识别手写车号、多系统操作等数据与技术难题，并按风险高低分三阶段推进——先做信息核对，再尝试报车，资金类操作保留人工审核。最终用腾讯 WorkBuddy 将小时级工作缩短到一分钟。复盘指出 AI 落地真正的难点在于：小公司数字化基础薄弱、隐性规则多、交付需手把手教学、信任建立难，以及成本收益难以平衡。技术终要为人服务。
作者分享了将25条思考类提示语（苏格拉底式提问、第一性原理、乔哈里视窗、逆向法等）封装为开源skill「老爷爷」的过程。受Matt Pocock的ask-matt路由启发，该skill可根据用户当前处境自动匹配最合适的提示语，解决「提示语存了一堆但从来不用」的问题。作者强调原提示语一字不改的原则，避免工程化改写导致的性能下降，并介绍了乔哈里视窗和逆向法两个实用方法，主张让AI负责挑选提示语、人负责感知问题的分工方式。
文章提出企业AI落地的核心卡点不是提示词，而是大模型无法进入本地业务流。作者以FDE（前线部署工程师）视角，提出'数字员工管理思维'，总结本地交付四大支柱（工位、规则、原料、连接器），并以WorkBuddy为载体，手把手演示搭建公众号自动内容交付流水线的完整SOP：安装绑定本地文件夹、采访式制作账号定位卡、选题灵感细化与竞对爆款监控入库、技能挂载与MCP连接器配置、工业化成稿与质检、微信草稿箱定时推送，最终走向企业级FDE交付与商业变现闭环。
