文章指出企业 AI 部署并非只有'公有 API 或自建推理平台'的二选一，私有 AI 实际是一个从客户端设备到完全物理隔离的连续谱系。作者提出四种隔离层级：1) 使用 LiteRT、Gemini Nano 等在移动 NPU 和浏览器上进行零外泄客户端推理；2) 通过 Confidential Computing（机密虚拟机与 NVIDIA H100 TEE）对云端 CPU/GPU 内存硬件级加密；3) 在私有 VPC 内用 GKE + vLLM/JetStream 自托管开源模型权重，实现权重与日志的完全掌控；4) 使用 Google Distributed Cloud Air-Gapped 为主权工作负载提供物理断网部署。工程关键在于按威胁模型和延迟预算匹配硬件边界。
本文介绍一种无需微调的方法，把现成的 LLM（GLM-5.3-Flash）变成类似 Jev 的专用决策模型（System One 模型）。核心做法是给选项编号、预填答案、通过读取选项索引上的概率分布，让模型在一次前向传播中给出类型化决策及其置信度。文章详细说明了 vLLM 部署中的三个实现细节（allowed_token_ids、logprob_token_ids、tokenizer 分词），并在 29 个公开数据集上与 Jev、Laya 进行基准对比：文本决策准确性与 Jev 相当，延迟相近但成本较高；由于具备视觉能力，还能做图像上的类型化决策，这是 Jev 和 Laya 做不到的。文章还讨论了推理模式的准确性收益与成本代价、选项数量与重命名对结果的影响，并开源了实现与基准代码。
本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
本文介绍 2026 年构建多模型 AI Agent 团队的完整方法。作者指出使用单一模型会导致高成本低效、专业能力受限以及单供应商故障/盲点风险，主张按任务步骤选择合适模型。文章梳理了 2026 年 9 月的主流模型阵容（Claude Opus/Sonnet/Haiku/Fable 5.1、GPT-6 Astra、TypeSafe Jev）及定价，提出五层架构：路由器、编排器、专家模型、评审者（critic）和纯代码层，并讲解如何先对工作负载分类（决策、简单生成、真实工作、难题），再为每层选择最划算的模型。文中附有统一封装多供应商 API 的示例代码，涵盖 effort 参数与 thinking block 处理细节。
文章指出，现代生产力的最大瓶颈不是思考慢，而是工作碎片化地在多个应用间切换，决策只需三十秒，而协调却要二十分钟。Grok Bot 类持久化 Agent 的价值在于以任务结果为界面，让应用成为实现细节，消除工具间的转换成本。作者阐述了以职位描述定义工作流、持久化环境保存上下文、将流程固化为可复用例程、从人类行为中学习自动化等理念，并强调 Agent 架构应分层：生成模型负责创造内容，快速决策层负责调度，确定性代码负责规则约束，从而构建真正自主的工作系统。
Uber 推出 MCP Gateway，作为统一管理 AI Agent 与后端服务 MCP 交互的核心微服务平台。文章介绍了其架构：控制平面（MCP Registry）作为工具目录的唯一事实来源，数据平面（Proxy Gateway）负责将 MCP 协议请求翻译为 HTTP、gRPC 或 TChannel 并路由到后端服务。通过基于 Cadence 的 AutoCrawler 自动扫描 IDL 注册表和原生 MCP 服务器心跳，自动发现、生成并注册 MCP 工具，同时支持 Jira、Google 等第三方集成。该平台已托管 800 多个 MCP 服务器和 5000 多个工具，实现了安全、可扩展、统一的 Agent 生态治理。
本文是 NVIDIA DGX Spark 本地推理设备的使用手册。作者最初因其 273 GB/s 的低内存带宽而不看好，但随着 MoE 架构、推测解码等推理工程技术的成熟，DGX Spark 已能在本地以接近云服务的速度运行高智能模型。文章详细介绍了多台 Spark 通过 ConnectX-7 网卡链接实现近线性扩展带宽和内存的方案（四台可达 1092 GB/s、512 GB 内存）、低功耗适合家用部署的优势、MoE 与推测解码如何弥补硬件短板，以及单机同时服务 8 个并发会话的能力，并对比了与 Mac 的算力优势和成本分析。
本文系统讲解 LLM 推理阶段的核心原理。作者指出推理与训练不同，分为 prefill 和 decode 两个阶段：prefill 并行处理整个提示词、计算密集型、决定首 token 延迟（TTFT）；decode 逐 token 生成、受 HBM 内存带宽限制、决定 token 间延迟（ITL）。文章介绍了 GPU 关键硬件概念（Tensor Core FLOPS、HBM、SRAM），逐步演示一个请求的完整流程（分词、采样、KV cache 机制），并将 FlashAttention、PagedAttention、continuous batching、RadixAttention 等优化技术归位到这两个阶段中，帮助读者理解推理瓶颈与优化方向。
文章提出上下文基础设施正出现一种新模式：尽可能保存原始历史数据（对话、工具调用、事件、Agent 工作记录），之后再按需构建摘要、知识图谱、嵌入等派生视图。这一架构借鉴了数据湖屋（Lakehouse）的经验，如 Databricks 的青铜/白银/黄金分层架构。作者对比了写入时即做压缩决策的内存系统（如 CrewAI），指出其风险在于丢失未来可能重要的信息；并介绍了 CortexDB、Statewave、Supermemory、Zep 等产品的实践：以不可变事件为事实来源，将记忆作为可重建的视图。文章最后提醒需防范上下文沼泽，建议写侧优化保存、读侧优化实用性。
本文介绍如何在 Google Cloud 的 Gemini Enterprise Agent Platform 上同时配置 Anthropic Claude Fable 5.1 与 Google Gemini 3.8 Flash 两款模型，并通过任务路由优化 token 成本（tokenomics）。作者指出单一模型路由全部任务是错误的：深度规划模型处理日常事务会浪费成本，而快速模型处理不可逆的复杂任务风险很大。文章详细演示了启用 Claude Fable 5.1 所需的数据共享配置（setPublisherModelConfig API）、Gemini 3.8 Flash 的调用方式，并建议先对常规任务做基准测试，以快速模型作为一线协调者、深度规划模型按需升级处理，从而大幅提升任务 ROI。
本文介绍了推理工程的概念、重要性及入门方法。推理工程负责在满足产品需求（正确性、响应时间、可靠性和成本）的前提下运行已训练模型，涵盖模型选择、评估、服务、性能优化和运维。软件工程师可凭借API设计、性能分析、缓存等技能进入该领域。文章通过vLLM、SGLang和llama.cpp三个开源项目，展示了如何解决高并发、重复计算和硬件适配等实际问题，并强调定义工作负载和复现问题的重要性。
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
