推理工程入门指南
本文介绍了推理工程的概念、重要性及入门方法。推理工程负责在满足产品需求（正确性、响应时间、可靠性和成本）的前提下运行已训练模型，涵盖模型选择、评估、服务、性能优化和运维。软件工程师可凭借API设计、性能分析、缓存等技能进入该领域。文章通过vLLM、SGLang和llama.cpp三个开源项目，展示了如何解决高并发、重复计算和硬件适配等实际问题，并强调定义工作负载和复现问题的重要性。
全部文档 / 标签: 推理工程
3 篇
The Inference Engineering Skills Map
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
BestBlogs 早报 · 08-04｜从 Qwen 长程能力、生产推理到办公智能体，模型如何进入真实工作
本期早报深入探讨模型进入真实工作的实践路径。精讲内容涵盖 Qwen3.8-Max 的长程自主工作与评测、Baseten 的生产推理工程取舍，以及腾讯、阿里、字节在 AI 办公领域的组织竞争。此外，还速览了 OpenAI GPT-Live、MiniMax H3 开源、Agent 框架及 SQLite 安全等前沿动态。
