作者分享从大厂软件工程师转向 AI 基础设施方向一年的学习历程与心得。毕业加入大厂后，因工作缺乏主动性空间和创造感，三个月后决定转向 AI infra。通过学习基础知识、深入研读 SGLang 源码、参与社区贡献，逐步加入 SGLang-Omni 项目并进入一家 AI infra 创业公司。作者认为这一年是高回报率的一年，但也指出 AI 领域竞争激烈、节奏快，转行需权衡个人追求。文章最后强调了开源的重要性，认为强大的 AI 工具不应只掌握在少数公司手中，呼吁更多人参与开源社区。
作者基于在硅谷大厂面试上百人的经验，介绍 AI 推理的完整内部流程：用户发送请求后，需经过 HTTPS 鉴权、模板化分词、路由排队与 KV 容量管理，Prefill 处理完未缓存的 Prompt 后才输出首个 Token，随后进入 Decode + sampling 循环，经增量反分词、SSE 分块返回客户端。作者强调 AI 推理不只是 GPU 速度问题，首 Token 延迟取决于并发排队与 Prefill 的均衡，持续输出取决于 Decode，需优化 KV Cache 以在有限硬件资源下服务更多用户。文中还提到帮团队成员规划了从 SDE 转型 AI infra 的 12 周学习路线。
文章介绍了盛颖在 xAI 和 RadixArk 的工作，重点讲解了 SGLang 的核心技术 RadixAttention 和结构化输出，以及 AI Infra 的工程实践和开源价值。
作者分享了使用 Fable 5 开发 cocoon 和 sandbox 项目的体会。通过回顾豆瓣时期的架构经历，阐述了 Infra 工程的核心在于权衡和“背锅”。文章认为虽然 AI 放大了设计者的执行力，但在策略判断上仍需 Human in the loop，并感叹资深工程师虽工具更强，但面临时代变局的挑战。
文章指出AI竞争已从模型本身转向基础设施，尤其是推理优化。作者分析了为何推理Infra是模型商业化的生命线，以及“新云”如何通过提供专用AI算力成为行业关键，并强调未来的AI竞争将一半在模型，一半在Infra。
