AI Agent 工程全景:600+ 场技术分享拆解与未来趋势
本文基于 AI Engineer 频道 600+ 视频内容,系统梳理了 AI 工程化十大核心技术主题,包括 Harness Engineering、Context Engineering、MCP 协议等。文章分析了过去一年的技术演进逻辑,并推演了未来 1-2 年从 AI Coding 向 Software Factories 转变的趋势,同时附带了各主题的代表性视频与索引。
本文基于 AI Engineer 频道 600+ 视频内容,系统梳理了 AI 工程化十大核心技术主题,包括 Harness Engineering、Context Engineering、MCP 协议等。文章分析了过去一年的技术演进逻辑,并推演了未来 1-2 年从 AI Coding 向 Software Factories 转变的趋势,同时附带了各主题的代表性视频与索引。
Harvey与Baseten合作,为M&A尽职调查构建了递归语言模型(RLM)harness:将整个dataroom(最多80M token)加载进Python REPL,由根代理协调子代理分工审阅文档。在LAB Diligence基准上,该harness使七个模型的平均评分标准通过率提升39.1个百分点。此外,通过强化学习对Qwen3.5-122B-A10B编排模型进行后训练,将通过率从29.9%提升至63.0%。结果表明,任务专用harness内的后训练是文档密集型法律工作的可行路径,团队正在扩展训练GLM-5.3作为根模型。
文章提出一套基于蜂群OS(SwarmOS)的Codex多Agent工程方法论,超越传统提示词教程。核心理念是'人类控制目标,系统控制流程,模型负责执行,证据决定完成'。作者将Codex、Claude、Kimi等多家CLI视为可替换的工程员工,通过AGENTS.md定义身份权限、行为边界、工程规范和记忆沉淀四层治理架构,把合同、素材等原始输入'编译'为任务图、验收Oracle和可恢复的交付链,并通过角色资格、身份健康、可信额度、幂等保护四道调度门实现多模型动态派单与并行开发。
文章探讨了从“提示词工程”到“Harness Engineering(驾驭工程)”的范式转变。基于Lilian Weng的论文,指出AI Agent的成功不再仅依赖模型本身,而是其外围的系统(Harness)。Harness涵盖了工作流、上下文、记忆、权限和评估等运行时组件,类似于操作系统。与提供灵活性的框架不同,Harness专注于生产环境中的执行可靠性、持久状态和严格控制。文章还分析了三种设计模式及通向自我改进的优化阶梯,强调将持久状态存储于文件而非上下文中,是实现系统可靠性与自动优化的关键。
文章详细介绍了 Terraform 之父 Mitchell Hashimoto 的 AI 工程实践六个阶段,从早期的聊天窗口尝试,到最终实现后台常驻 Agent 的愿景。核心亮点在于第五阶段提出的“Harness Engineering”(工程约束),即通过系统性设计(如 AGENTS.md 和验证工具)来防止 Agent 重复犯错。文章结合 Anthropic 和 OpenAI 的行业案例,指出工程师的核心技能正从手写代码转向设计 Agent 的运行约束环境。
本文深入介绍xAI(文中称SpaceXAI)的Grok Bot如何运作:每个Bot运行在持久化的云端Linux虚拟机上,拥有浏览器、文件系统和终端。核心亮点是'团队化'使用模式——以Chief of Staff为中心,配合各司其职的专家Bot,并由人工审批关键操作。文中以客服事件处理为例:三个Bot(IncidentWatch、Support Bot、IncidentSweep)协作,10分钟内清理204个工单。文章分7部分讲解Bot的组织架构、工程harness、技能与记忆、审批机制及可复制的搭建方案。
文章指出当前编码 Agent 在简单决策(如选择加载哪些笔记、任务路由、工具失败处理、测试优先级)上滥用昂贵的前沿大模型,造成成本浪费。作者提出三层架构:Opus 5.5 负责规划、写代码、调试等开放性推理;Jev(TypeSafe 出品,毫秒级响应、输入 $0.042/百万 token、输出免费)负责从固定选项中做小决策并返回概率;Harness 层构建选项、校验概率阈值并在低置信度时回退到 Opus。文章给出四个具体决策点及代码实现:按标题分块并用 Jev 并行评分筛选相关笔记(将 30k token 降至 6k)、任务路由、工具失败处理、测试优先级选择。实测一个功能开发会话成本从 $6.42 降至 $2.00,降低 69%,且架构可作为函数调用插入现有 Agent 循环,无需重写。
文章系统讲解了构建生产级 AI Agent 的五个层次:上下文工程、循环工程、Jev 工程、Harness 工程和评估工程,并以新员工类比逐一解释。核心内容包括:上下文窗口管理(稳定内容前置、利用 prompt caching、工具过多时改用搜索、用子代理减少主上下文占用);循环与工作流的区别(能否预先写清步骤),强调循环需要明确目标、外部检查器等四要素。每个层次都配有构建方法与面向初学者的捷径方案(通过 Viktor 这类 AI 员工工具实现)。目标是让小团队用可靠的 Agent 承担重复性工作,实现不增人力的规模扩张。
文章介绍了 Anthropic 发布的 Claude Opus 5.5 模型,其性能达到 Fable 5.1 水平但运行成本低 40%,尤其在长时间自主任务中表现突出。作者指出动效设计、Harness 工程和循环工程三者实为一个完整技术栈,并以五部分结构展开讲解:模型本身的基准数据与定价、如何用它做纯代码驱动的动效/动画创作、让输出可靠化的 Harness 工程、让 Agent 持续自主工作的循环机制,以及如何用单个模型串联整个工作流。文章强调缓存读取降价 60% 使长循环成本可控,并列举了大规模代码迁移、翻译 HAProxy 等实际案例。
文章指出大多数人在错误的层面修复 AI Agent 问题:模型失败时反复改提示词、换模型、加工具,却忽略了真正的问题是模型周围的环境——Harness。Harness Engineering 是构建围绕模型的系统,决定模型能看到什么、能做什么、记住什么、如何判定成功与失败。作者提出六大实践:将请求转化为带完成条件的任务契约;用渐进式披露提供项目地图而非塞满上下文;在模型与工具之间设置网关校验与策略授权;将记忆(事实、决策、状态、经验)移出对话外部存储;以可观测证据作为任务完成的门槛,优先用确定性检查。好的 Harness 能提升每一次运行的质量。
文章提出从“智能体参与SDLC”到“软件工厂”之间存在关键差距,借鉴自动驾驶L0-L5分级框架,提出L4软件工程愿景:系统能在限定范围内自主完成授权的软件交付生命周期,包括验证、受控发布与安全回退,无需人工介入兜底。作者强调优先级应为系统>智能体>模型,团队需工程化地定义自主边界(仓库范围、权限、任务资格),以构建可验证、可自我修复的有界自主软件工厂,实现工程努力的复利效应。
本文从“模式”(一列乘一行的秩1矩阵)概念出发,系统讲解 LoRA 与 QLoRA 如何降低大模型微调的显存开销。LoRA 通过低秩近似冻结原有权重,只训练少量新增模式(B·A),将可训练参数减少到约万分之一;量化则用 4 位 NF4 格式配合分块缩放和双重量化存储权重,保留全部模式但降低每个数的精度。QLoRA 结合两者:冻结权重用 4 位存储,LoRA 分支用 16 位训练,使 65B 模型只需一块 48GB GPU 即可微调,Guanaco 在 Vicuna 评测中达到 ChatGPT 的 99.3%。文中还比较了低秩近似与量化误差结构的不同,并给出 7B 模型显存估算:全参数微调约 100GB,LoRA 约 15GB,QLoRA 约 5GB。
本文是后训练系列第二篇,介绍指令微调(SFT)。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例,说明指令微调与预训练使用相同的下一个 token 预测损失,但数据和任务不同。文章详细讲解训练五步骤:收集、格式化、掩码、训练、评测,并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识,少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限:无法补充知识、比较回答优劣或检验正确性。