文章介绍了在 LLM/Agent 产品中，除了搭建在线评估器之外，更应优先捕获用户评判信号（signals of judgment）。用户在使用过程中已通过行为在'评判'AI 输出质量，只需在应用中埋点捕获。信号分为四类：显式评分（点赞/星级，明确但稀少）、行为信号（复制、重新生成、放弃等，覆盖率高）、会话信号（改写问题、纠正、要求转人工等）和结果信号（草稿被原样发送、工单保持关闭等，最强但最难实现）。文章还讨论了信号解读方法：负信号值得逐条排查，正信号只看趋势；以及自我选择、幸存者偏差、界面曝光、群体差异等固有偏差，提醒不要单以正信号为优化目标。
本文介绍如何利用 Jev 类模型大规模分析数百万条聊天 Agent 生产轨迹，从中提取失败信号。传统 LLM-as-a-judge 评估依赖采样以控制成本，而 Jev 类模型可在同一上下文中并行回答多个问题，以极低成本对全部轨迹进行全面评估。文中讨论了显式反馈、行为追踪、事实结果和对话信号等不同类型的用户信号，并以航班改签客服对话为例，展示如何同时捕捉后续提问、用户挫败感和结果满意度等维度。文章最后介绍如何在 Langfuse 中配置基于 Jev 的批量评估模板，实现生产信号的监控与可视化。
文章探讨了 Agent 系统如何在不更新模型权重的情况下实现自我改进。作者提出两条独立回路：成功运行可产出可复用流程（如 Hermes 的 SKILL.md 程序性记忆），失败运行可产出经审查的修复和回归用例。通过 Opik 工具链，生产失败被转化为结构化反馈：trace 记录、源码级诊断、人工批准 diff、重跑验证、回归测试。文章强调改动需版本管理、评估需确定性校验器，系统并非自动学习，而是把事故变成可审查的改进输入。
本文介绍了如何为AI Agent构建可长期维护的评估（eval）指标体系。指标分三类：目标指标、护栏指标和运营指标，三者结合使用。候选指标来源于错误分析和产品目标与硬约束。并非所有候选都值得跟踪：一次性问题用prompt修改解决即可，只有需要持续追踪的泛化问题才建指标；每个指标必须与具体决策挂钩，否则就是噪音。从零开始时，可先阅读30-50条trace并用自由文本笔记聚类失败模式。此外需定期重跑错误分析、退役失效指标，并警惕Goodhart定律导致的过拟合。
作者分享了WorkBuddy与企业微信正式打通后的使用体验。7个月前WorkBuddy只能作为单向传话筒被拉进企微群，如今联合版本让AI真正融入企业：它能理解企微内的消息、文件、日程、会议等全部上下文，产出的PPT可直接发回群聊并沉淀为公司资产。文章介绍了开通步骤（需认证企微）、三种任务入口，并演示了项目管理催进度、选题日报等实用场景，还强调了数据不外流和权限统一管理的安全性。此外，作者重点介绍了企业版可观测中心的三层监控机制（实时观测、会话追踪、轨迹详情），并建议普通人应在平台内沉淀经验、构建Skill，而非与平台抢入口。
本文是 Agent 评测系列的第一篇文章，作者结合业界共识与个人实践，阐述了 Agent 评测的重要性。文章从一次线上问题修复切入，说明传统后端开发流程难以应对 Agent 的概率性输出与执行路径的不确定性。作者给出 Agent 评测的定义：围绕具体任务，按明确标准检查 Agent 执行过程（trace）和结果的方法。核心价值包括：防止越修越坏、判断改动是否真的变好、确认任务稳定性、明确完成标准、指导迭代优先级。文章还提出评测落地的五步流程：整理任务、写清标准、准备一致环境、运行新旧版本对比、持续更新案例，并提醒注意评测集划分、标准本身可能出错等问题。
文章探讨 AI Native 组织中 Verification（验证工程）正成为关键工程环节。当 AI 和多个 agent 高频生成并提交代码时，验证速度和可靠性成为新瓶颈。作者提出设立专门的 Verification Engineer 岗位，并分享实践：用 Rust 工具链缩短反馈时间、程序化 E2E 分层、agent 定期真实操作巡检、使用 PGlite 减轻环境负担、merge queue 验证合并后代码、mutation testing 验证测试有效性，以及为验证系统本身建立可观测性指标（如反馈耗时、缓存命中率、flaky 测试跟踪），以实现更快、更可信的代码验证闭环。
文章探讨了决策模型 Jev 在 DevOps 领域的早期应用，提出“JevOps”概念。DevOps 充满大量小型语义决策（如日志是否值得调查、告警是否严重、修复是否有效等），传统依赖确定性规则、分类器或 LLM。Jev 以低成本、低延迟的方式将这些语义决策直接嵌入运维系统。文章列举了多个案例：Cribl 探索遥测管道中的语义决策、Jev Logs 实现日志分流、Jevernetes 应用于 Kubernetes 日志、Datadog 将 Jev 用于生产环境 Agent 评估、SREGym 在 SRE Agent 旁构建第二评估循环、以及 Jev 对高风险动作的语义门控审查，展示了决策模型在各运维环节的广阔前景。
作者结合实际工作经验，整理出一份 AI Harness 开发的 11 条技能清单，涵盖后端与系统设计、RAG 与向量数据库、记忆与上下文管理、工具调用与 MCP、Agent 编排、护栏校验、评测、可观测性、模型路由降级、排队负载均衡以及推理部署引擎。作者指出 Harness 开发是硅谷热门方向（如 YC Demo Day 上大量项目），建议普通开发者从 AI 应用入手，把模型接入具体业务，并给出将清单交给 AI 逐项学习的 prompt 方法。
作者Polar分享出海产品运营心得：基本盘稳固后应聚焦深耕而非盲目拓展。核心观点包括：用户注意力是基本盘方向（视频、办公、学习），自动化工具是弹药库；搁置无产出站点，精力有限需断舍离；用Agent等新技术深耕已有方向；持续做外链；高优先级做用户运营，将反馈转化为产品。强调不做什么和做什么一样重要，市场嘈杂时更要稳住基本盘。
本文由 Zach Lloyd 撰写，详细介绍了 Warp Factories 的软件工厂基础设施栈设计。该栈基于开放、可组合、代码定义的原则，分为五层：Factories-as-code（工厂即代码）、Data and context（数据与上下文）、Compute（计算）、Inference（推理）和 Improvement（改进）。文章逐层阐述了各层的核心组件与设计理念，强调版本化、可测试、可回滚的工厂定义，以及支持多模型、多代理、自托管和持续改进的基础设施，旨在帮助团队向工厂模式转型。
文章指出生产环境中多 Agent 系统的故障调试不是提示词问题，而是分布式系统可观测性问题。作者提出 Trace Engineering 架构，区分了日志、轨迹与分布式执行追踪三种对象：日志记录文本输出，轨迹记录顺序对话轮次，而追踪以 DAG 形式刻画因果图，支持并行分叉与子 Agent 委托。文章进一步阐述确定性重放与因果状态重建，通过事件溯源（append-only 事件账本）记录工具载荷、随机种子与采样参数，实现 Mocked Replay（离线零成本验证）与 Live State Resumption（从快照恢复现场）两种调试模式，避免不可控的递归重试烧毁大量 Token 成本。
文章指出 Agent 可靠性的关键在于模型之外的确定性软件基础设施，即 Harness Engineering。作者提出构建弹性生产 harness 的 5 层方法：1）从模型优先转向系统优先架构，结构化工作流可将任务完成率从 31.7% 提升至 78.0%；2）实现持久化状态与检查点，避免长时间运行中丢失进度；3）通过角色分离（规划者、生成者、评估者）构建验证闭环；4）利用 hooks 和隔离运行时（如沙箱、网关）确保安全边界，防御提示注入；5）记录结构化追踪便于调试与自动化修复。文中结合 Google Antigravity、ADK 2.0、Gemini Enterprise 等工具给出实践建议。
