人工智能的工程全景（中）：推理，后训练，对齐和安全
本文是AI工程全景的中篇，深入探讨了模型训练完成后的工程化路径。首先详述了推理优化的核心手段，包括模型瘦身（量化、蒸馏、剪枝、MoE）、投机解码以及主流推理引擎（vLLM, TensorRT-LLM, SGLang）的生态格局。文章分析了成本、延迟与吞吐的“不可能三角”，并重点介绍了“测试时计算”这一范式转变，即通过在推理阶段增加计算量来动态提升模型智能。
全部文档 / 标签: AI工程
43 篇
人工智能的工程全景：模型之外的另一半（上）
文章详细梳理了人工智能的工程基础，回顾了从GPU游戏显卡到英伟达CUDA生态建立的历史，解析了其技术护城河。同时指出2026年硬件格局的松动，分析了谷歌TPU的回归与AWS自研芯片的崛起，展示了英伟达在推理领域面临的竞争态势。
2026年AI工程师的核心技能：Loop（循环）工程
文章探讨了2026年AI工程范式的转变：从单纯的“提示词工程”转向设计自动化的“循环系统”。OpenAI与Anthropic的专家指出，工程师的角色已变为编写控制Agent的循环。文章深入解析了循环工程的定义、单体Agent与编队模式的区别，以及开放式与封闭式循环的差异。此外，文章重点讨论了循环模式带来的高昂Token成本问题，指出DeepSeek等低成本、大上下文的中国大模型是解决这一经济瓶颈的关键。
从零构建 LLM 的五个阶段：GPT 与 Claude 背后的完整技术管线
文章深入解析了构建大型语言模型的完整五个阶段，指出架构并非关键，数据、评估和系统才是核心。内容涵盖预训练、数据处理、扩展定律、后训练（SFT与RLHF）以及评估系统，揭示了从原始文本到智能助手的技术路径。
AI 工程评估方法详解：Manual、Code 与 LLM-as-a-judge
文章阐述了 AI 工程闭环中评估环节的重要性，详细介绍了手动评估、基于代码的确定性评估以及 LLM-as-a-judge 三种主要方法。作者建议从手动审查开始建立直觉，逐步定义并自动化具体的失败模式。文章还探讨了基于参考与无参考评估的区别，并强调应结合多种方法，优先使用二值评分以确保评估的清晰性与可靠性。
从零构建 LLM 架构并转化为高薪职业的指南
本文详细介绍了如何从零开始学习大语言模型（LLM）架构。内容涵盖了从掌握 Python 基础、理解神经网络和 Transformer 原理，到深入掌握 Tokenization、Embedding、Attention 机制及 RAG 技术等核心概念。文章还提供了具体的学习路线图，并探讨了通过自由职业、构建 SaaS 产品、远程工作及自动化代理等方式将 LLM 技能转化为高美元收入的职业路径。
Designing eval datasets for LLM applications
本文是 Langfuse Academy 系列的一部分，深入探讨了 AI 工程生命周期中的数据集设计。文章解释了数据集如何连接生产监控与开发迭代，详细介绍了数据集项的三个核心字段（输入、期望输出、元数据）及不同的评估模式。此外，文章还分享了构建高质量数据集的最佳实践，包括如何定义范围、确定规模，以及如何从生产 Trace、手工编写和合成数据中起步。
AI 时代到底该怎么管一个工程团队
Anthropic 工程/产品负责人 Fiona Fung 分享了 Claude Code 团队在 AI 时代的工程管理实践。她指出由于代码编写成本趋零，工程瓶颈已转移至验证、评审与安全层面。为此，团队废弃了六个月路线图和繁冗的文档，转而采用即时规划和代码作为“唯一事实来源”的策略。此外，她主张组织架构应扁平化，经理必须从一线 IC 做起，并重新定义了技术辩论与人机协作的代码评审流程，强调在 AI 辅助下更应关注产品质量与团队文化的底线。
What you can do in a decade
作者在40岁生日之际回顾了过去十年（2016-2026）的人生巨变。从对冲基金事业受挫、编程能力匮乏的孤僻状态，转型为AI工程领域的意见领袖、媒体创作者，并拥有了美满的家庭与社交圈。文章强调了长期复利的力量和自我重塑的重要性，主张跳出社会既定规则，建立自信以定义并践行自己的人生游戏。
构建长时间运行 AI Agent 的 5 种设计模式
文章探讨了在构建需要持续运行数天甚至数周的 AI Agent 时所面临的挑战，并介绍了 Google Cloud Agent Runtime 支持的五种核心设计模式。这些模式包括：检查点与恢复以确保容错性、委托审批以实现人机协同、分层记忆架构以管理长期上下文、环境处理以应对无监督任务，以及针对多 Agent 协同的舰队编排。文章强调了状态管理、治理策略和基础设施在将 Agent 从演示转化为生产级系统中的重要性。
Hermes Agent 智能化升级：集成 Honcho 与 Hermes-LCM 构建可控系统
文章介绍了一种通过集成 Honcho（自托管记忆层）和 Hermes-LCM（测量控制层）来升级 Hermes Agent 的技术架构。该方法解决了传统 AI Agent 容易遗忘上下文、缺乏可观测性和难以在生产环境中复现的问题。通过建立执行（Hermes）、记忆和验证（LCM）的三层体系，构建了一个具备持续上下文、透明操作和可重复结果的可靠 AI 系统。
Mitchell Hashimoto 与 AI 工程演进：从聊天机器人到 Harness Engineering
文章详细介绍了 Terraform 之父 Mitchell Hashimoto 的 AI 工程实践六个阶段，从早期的聊天窗口尝试，到最终实现后台常驻 Agent 的愿景。核心亮点在于第五阶段提出的“Harness Engineering”（工程约束），即通过系统性设计（如 AGENTS.md 和验证工具）来防止 Agent 重复犯错。文章结合 Anthropic 和 OpenAI 的行业案例，指出工程师的核心技能正从手写代码转向设计 Agent 的运行约束环境。
深入解读 Harness Engineering：AI 工程的第三次范式转移
Anthropic 和 OpenAI 几乎同时发布关于 Harness Engineering 的文章，引发 AI 社区热议。本文梳理了从 Prompt Engineering 到 Context Engineering 再到 Harness Engineering 的演变，解析了 Anthropic 的“生成器+评估器”循环架构与 OpenAI 的“百万行代码零手写”分层实践，并结合多位博主的观点，探讨了 Agent 时代工程师角色的转变与未来工程实践的方向。