AI 工程师需要了解的 GPU 全部知识
本文面向 AI 工程师系统讲解 GPU 硬件知识：GPU 的三种类型（数据中心、工作站、个人级），内部结构（SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存），并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例，用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异，以及训练与推理对 GPU 使用的不同需求，帮助工程师做出租用 GPU、模型部署等实际决策。
全部文档 / 作者: Karan
10 篇
Will TypeSafe's Jev change how we build AI applications?
文章分析了 TypeSafe 发布的新模型 Jev——一种只能做分类、评分和路由决策、不能生成文本的'System One'模型。Jev 比通用 LLM 快 40-200 倍、便宜 40-400 倍，通过 RLCD 训练方法实现零样本概率判断。早期独立测试显示其准确率接近 GPT-5.6 等大模型，垃圾邮件分类甚至可媲美有标注训练的分类器。代价是失去了解释能力，无法说明判断理由。作者认为这可能改变 AI 应用架构：用 Jev 做大规模廉价监控评估，用 LLM 判官处理少量样本以获取改进方向信号。
LLM Inference After Training: Prefill, Decode, KV Cache
本文系统讲解 LLM 推理阶段的核心原理。作者指出推理与训练不同，分为 prefill 和 decode 两个阶段：prefill 并行处理整个提示词、计算密集型、决定首 token 延迟（TTFT）；decode 逐 token 生成、受 HBM 内存带宽限制、决定 token 间延迟（ITL）。文章介绍了 GPU 关键硬件概念（Tensor Core FLOPS、HBM、SRAM），逐步演示一个请求的完整流程（分词、采样、KV cache 机制），并将 FlashAttention、PagedAttention、continuous batching、RadixAttention 等优化技术归位到这两个阶段中，帮助读者理解推理瓶颈与优化方向。
Designing the Backend for Agent Systems (Part 2)
本文是 Agent 系统后端设计三部曲的第二篇，提供一套可参考的 Agent 应用后端架构模板，涵盖 API、队列、Worker、流式输出、结构化输出、会话管理及成本限制等八层设计。文章批判了在 HTTP 请求中同步执行 Agent 的做法，强调应先持久化再入队、引入幂等键防止重复计费、使用显式任务状态机（含 awaiting_input 人工介入状态）和取消机制，并强调租户身份隔离、UUID 任务 ID、Pydantic 输入校验等安全与成本控制实践。
System Design for Agent Systems (Part 1)
本文深入探讨了代理系统设计的基础与核心组件。作者指出，将前沿模型放入设计糟糕的代理系统只会得到更清晰的失败，因此工程重点应放在模型之外的代理框架（harness）上。文章首先对比了代理工作负载与传统Web请求的差异，强调代理任务耗时、I/O密集、非确定性和高边际成本，并由此推导出架构设计原则。随后，文章详细介绍了代理框架的四个关键组件：工具（Tools）的设计契约与最佳实践、提示词工程（Prompt Engineering）的结构化方法与版本管理、记忆（Memory）的短期与长期区分及上下文管理，以及多代理编排（Orchestration）的并行与顺序模式。所有内容均基于一个真实的五代理系统DevVoice，提供了实用的设计决策与代码示例。
Hermes Harness 架构深度解析
本文深入分析了 NousResearch 的 Hermes 开源 Agent Harness 架构。文章指出 Hermes 全面实现了包括上下文管理、子代理管理、会话持久化等在内的九大核心组件。作者详细探讨了其独特优势：统一的运行时支持多种模型提供商、复杂的三层系统提示词组装、基于 SQLite 的会话即基础设施设计，以及内置的消息网关和 Cron 系统。文章最后展望了其向一级编排能力演进的方向。
Agent 集群管理：AI 系统的下一道难题
文章探讨了 AI 领域从单一 Agent 向 Agent Swarm（集群）演进的必然趋势，指出真正的挑战在于如何管理长期运行的子 Agent，而非简单的任务委托。作者通过对比 Hermes 和 OpenClaw 等系统，提出了 Swarm Manager 的核心架构要求：统一的身份识别（ID 与 Run ID）、基于事件推送的完成机制、基于队列的并发控制以及包含“转向”在内的全生命周期管理能力。
Agent Harness 中的上下文管理机制深度解析
文章深入探讨了构建 Agent Harness 时面临的上下文窗口管理挑战。通过对比 Pi、OpenClaw、Claude Code 和 Letta 四种主流系统，详细分析了它们在处理大文件读取、会话剪裁和摘要生成时的不同工程策略。文章指出，优秀的系统不应将上下文窗口视为被动缓冲区，而应主动管理状态、建立索引并智能分页，以维持长会话中的连贯性。
沙盒：Harness 时代的服务器
本文阐述了在 Harness（AI 智能体架构）时代，沙盒作为新型服务器的核心地位。文章从评估测试环境出发，探讨了长期运行的智能体如何依赖沙盒进行隔离执行。重点分析了系统状态的持久化——包括推理轨迹和文件系统数据——对于恢复任务和审计的重要性。作者认为，未来的市场将由拥有“群体”控制层和轨迹数据所有权的一方定义，这引发了关于数据控制权是属于实验室还是企业内部的战略博弈。
长时间运行的应用开发中的编排框架设计
本文探讨了如何通过改进编排框架来解决 Claude 在长时间运行任务（如前端设计和全栈开发）中的局限性。作者受 GAN 启发，设计了包含规划器、生成器和评估器的多智能体架构。通过引入上下文重置机制、制定明确评分标准以及分离生成与评估环节，该框架成功实现了自主构建高质量全栈应用的能力，显著优于单智能体模式。
