Wiki 知识库

全部文档 / 标签: 生产部署

9 篇
清除

深读免费书「Inference Engineering」:Prefill 吃算力、Decode 吃带宽,讲透从 CUDA 到生产部署的推理优化

文章深度解读 Baseten 出版的免费工程书《Inference Engineering》,系统讲解如何把 AI 模型在生产环境中跑得快、省、稳。全书以三层推理栈(运行时、基础设施、工具层)为骨架,核心分析框架是瓶颈判断:prefill 算力受限、decode 带宽受限、图像视频生成算力受限。内容涵盖模型与硬件理解(算术强度、KV cache、选卡策略)、软件栈(vLLM/SGLang/TensorRT-LLM 三大引擎对比)、五大加速技术(量化、投机解码、缓存、并行、分离部署)及其交互关系,以及生产化部署的延迟全栈账本、故障处理与成本核算,强调约束换性能、技术按组合评估等基本原则。

技术 › LLM meng shao 2026-09-2111.2 KB 13.1K 145 84

GPT-6 Astra Masterclass: What Changed, What Broke, and How to Prompt Around It

GPT-6 Astra于2026年9月3日发布,带来了计算机使用范式的重大转变,在ARC-AGI-3等基准测试中表现优异。然而,用户面临会话限制快速耗尽、访问权限受限以及回归问题等实际挑战。本文详细介绍了Astra的改进与问题,并提供了针对会话限制、受限访问和计算机使用范式的具体提示调整策略,帮助用户在生产环境中有效使用该模型。

技术 › LLM CyrilXBT 2026-09-0925.5 KB 313.7K 222 83

Agentic Kernels in Production

文章介绍了一个面向生产环境的 agentic kernel 优化框架,弥合基准测试与生产部署之间的差距。框架分为模型级优化和单 kernel 优化两层:先对完整 workload 进行 profile,提出算子融合、冗余消除等改进,再并行探索多个 kernel 实现并迭代优化。框架还具备自我改进机制,将成功与失败的优化经验存入知识库供后续复用。在实际部署中,该框架将 Qwen-Image 端到端延迟降低 42.3%,FLUX.2 降低 15.2%,MiniMax M3 吞吐提升 5.5%,具体优化包括 FP8 scale 预打包、QKV 投影融合、归一化与量化融合等。

技术 › LLM Brian Li 2026-08-2917.1 KB 265.1K 758 77

Anthropic FDE(Forward Deployed Engineer)面试指南

本文翻译并评述了 Chill Interview 的 Anthropic FDE 面试指南。FDE 岗位要求候选人同时具备生产级工程能力、Claude 与智能体系统能力、客户需求梳理能力、安全与可靠性意识,以及在不确定环境中自主推进的能力。文章详细拆解了面试流程各环节(简历筛选、招聘初筛、技术编程轮、Applied AI 构建轮、客户需求访谈、系统设计、价值观面试等)的考察重点、常见题型、评分点与备考建议,并强调候选人要避免表现得像「只会做 AI 演示原型的人」,需能交付经得起企业现实考验的生产系统。

技术 › Agent DuoRou Liu 2026-08-2627.5 KB 3.4K 18 85

AI 工程技能图谱:构建与部署 AI 应用

吴恩达详细阐述了 AI 工程技能图谱中的核心技能——构建与部署 AI 应用,包含六大方面:LLM 基础(分词、上下文窗口、工具调用等)、用数据为模型提供基础(RAG、向量索引、知识图谱)、构建 Agentic 系统(工作流、Agent harness、多智能体编排)、评估驱动开发(evals 与错误分析循环)、生产环境运营(可观测性、回归测试、成本与延迟优化)以及机器学习基础。该技能图谱基于大量招聘信息、专家访谈和调研形成,强调 AI 系统因输出不可预测而比传统软件开发更具迭代性。

技术 › LLM Andrew Ng 2026-08-227.9 KB 2.1M 12.1K 73

AI 工程师学习路线图:从核心技能到生产实践

文章基于 2000 余份职位描述,规划了一条务实的 AI 工程师学习路径。重点指出 AI 工程并非从零训练模型,而是构建以 LLM 为核心的系统。核心技能包括 LLM 基础、RAG 检索增强、Agent 智能体、测试评估及监控部署。此外,文章还梳理了 Python、Web 开发、云原生及数据库等支撑性技能,并推荐了学习优先级与主流技术栈,旨在帮助开发者构建可靠、可落地的生产级 AI 系统。

技术 › AI工程 Luffytaro 2026-04-2712.1 KB 113.3K 1.5K 71

Hermes Agent 进阶指南:记忆、技能与生产化部署

本文详细介绍了 Hermes Agent 的记忆系统架构,包括内置记忆、外部提供商及运行时上下文三层机制,并解释了 Agent 策展原理。文章进一步阐述了核心文件的正确用法、Super Memory 配置、技能自进化机制以及多 Profile 和 Sub-Agent 协作策略。最后,提供了包括 Systemd/Docker 部署、Cron 时区处理、Tirith 安全模块及 MCP 集成在内的生产环境实战要点,帮助用户让 AI 助手真正实现智能化与长期记忆。

技术 › Hermes 弘毅新征程 2026-04-2319.0 KB 7.3K 65 91

Hermes Agent 从中级到高级进阶指南

本指南面向已完成 Hermes 基础配置的用户,深入讲解进阶核心内容。涵盖记忆系统架构与 Agent-curated 机制、技能自进化与自动创建流程、多 Agent 协作与隔离、生产化部署配置及调试技巧。旨在帮助用户构建专属记忆系统,利用 Skill 沉淀经验,实现 Agent 的自我进化与生产级落地。

技术 › Hermes 爱丽丝呀! 2026-04-1529.0 KB 257.7K 1K 91

从零基础到生产环境掌握人工智能代理——完整指南

这是一份关于构建生产级 AI 智能体的完整指南。文章详细阐述了智能体与聊天机器人的本质区别,涵盖了从工具设计、系统提示词、多智能体编排到生产环境部署、测试评估的全流程。重点介绍了如何利用 API 构建可靠的智能体循环,并指出了初学者常犯的错误及生产环境下的监控与成本控制策略。

技术 › Agent Khairallah AL-Awady 2026-04-0712.8 KB 250K 1.2K 84