重新审视 CPU 资源作为语音模型 Serving 过程的一等公民
本文回顾了 SGLang Omni 项目在 CI 运行中发现的 CPU 瓶颈问题。由于语音模型推理具有短请求、高并发的特点，CPU 资源成为性能的关键瓶颈。通过实验发现，CPU 资源争用（而非核数不足）导致每个请求消耗更多 CPU 时间，从而显著降低吞吐量。文章详细分析了争用的微观机制，并提出了通过 cpuset 绑核、优化编译缓存等修复措施，最终显著提升了 CI 的稳定性与性能。
相关文档
推理工程入门指南
本文介绍了推理工程的概念、重要性及入门方法。推理工程负责在满足产品需求（正确性、响应时间、可靠性和成本）的前提下运行已训练模型，涵盖模型选择、评估、服务、性能优化和运维。软件工程师可凭借API设计、性能分析、缓存等技能进入该领域。文章通过vLLM、SGLang和llama.cpp三个开源项目，展示了如何解决高并发、重复计算和硬件适配等实际问题，并强调定义工作负载和复现问题的重要性。
LLM 推理原理详解：从 Prefill 到 Decode
本文深入解析了大语言模型（LLM）推理的计算流程。文章指出，LLM 推理主要包含 Prefill（处理提示词，计算密集型）和 Decode（逐词生成，显存带宽密集型）两个阶段。作者详细阐述了分词、Embedding、Transformer 层及 KV Cache 的工作原理，并分析了 KV Cache 带来的内存挑战及 vLLM 的优化方案。最后，探讨了 DeepSeek-V4 等新架构通过重新设计注意力机制来从根本上压缩 KV Cache 的创新思路。
下一代 LLM 推理网络：ZCube 如何缓解网络瓶颈
文章探讨了随着长上下文推理和 Prefill-Decode 解耦成为主流，网络如何成为 LLM 推理集群吞吐量和延迟的关键瓶颈。Z.ai、Harnets.AI 和清华大学联合开发了 ZCube 网络架构，通过扁平化拓扑和混合轨道设计，有效解决了传统 ROFT 架构下的流量负载不均衡问题。生产环境基准测试显示，ZCube 仅通过架构优化便实现了交换机成本降低 33%、吞吐量提升 15% 以及 TTFT 延迟降低 40.6% 的显著收益。
LLM 优化面试笔记：训练与推理核心技术
这是一份针对 AI 实验室面试准备的笔记，涵盖了高效训练和部署大语言模型（LLM）的核心优化策略。内容主要分为三部分：内存优化（如 Flash Attention、MQA/GQA、激活检查点）、计算优化（序列打包、高效变体 Transformer）以及推理优化（KV 缓存、投机解码、量化技术）。文章旨在总结在大规模模型开发中应对算力和内存瓶颈的关键技术。
大语言模型训练与服务背后的数学原理
本文基于 Reiner Pope 的播客内容，深入剖析了大模型在集群中的运行机制。文章通过 Roofline 分析和 KV Cache 等核心概念，解释了推理延迟、Batch Size、API 定价策略及 MoE 架构背后的物理与经济逻辑，揭示了硬件限制如何塑造 AI 进展。
npm 创始人 Laurie Voss：如何判断你的 AI 智能体是否足够优秀
本文整理了 npm 联合创始人 Laurie Voss 在 AI Engineer 纽约 workshop 上关于 AI Agent 评估方法的分享。他从一份分析师共识加总为 116% 的特斯拉研报切入，阐述 trace（日志）与 eval（评估）的区别，强调先人工精读十几条记录再设计评估的重要性。文章详细介绍了从免费代码断言、LLM 裁判到黄金数据集校准裁判的完整评估体系，指出选择正确的评估问题比调优评估更重要，并以'评结果而非评步骤'为原则，演示了通过一行 prompt 修改将可操作性从 5/16 提升到 48/48 的案例。最后他强调将评估接入 CI、区分能力评估与回归评估，才能持续保证 Agent 质量。
推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
From Big Tech SWE to AI Infra (Part 2): What I Learned in My First Year
作者分享从大厂软件工程师转向 AI 基础设施方向一年的学习历程与心得。毕业加入大厂后，因工作缺乏主动性空间和创造感，三个月后决定转向 AI infra。通过学习基础知识、深入研读 SGLang 源码、参与社区贡献，逐步加入 SGLang-Omni 项目并进入一家 AI infra 创业公司。作者认为这一年是高回报率的一年，但也指出 AI 领域竞争激烈、节奏快，转行需权衡个人追求。文章最后强调了开源的重要性，认为强大的 AI 工具不应只掌握在少数公司手中，呼吁更多人参与开源社区。
给 AI 最大的执行权限，但把爆炸半径压到最小：我在 Startup 落地 Coding 工作流的半年迭代
作者分享了在创业公司落地 AI Coding 工作流半年来的实践迭代。核心思路是给 Agent 最大执行权限同时控制爆炸半径：使用 Claude Code 作为主力 Agent 配合 matt Skill 与项目 MCP；通过 git worktree 物理隔离多个并行 Agent 的工作区；坚持计划先行，动代码前必须产出完整 Plan 并用状态文件持久化进度；测试上人机分工，AI 在 DEV 环境完成正反用例自测，人类只验收业务效果；通过 PR 规范、GPT 对抗性 Review、CI 自闭环守住质量防线；用 PostHog Feature Flag 实现秒级回退止血；并以部署看板巡检日志、三层文档体系（CLAUDE.md、rules、specs）作为长期记忆，实现生产级 AI 高速开发。
Using AI to Delete Code: Agentic Tech Debt Cleanup at Uber
Uber 工程团队介绍了 AutoClean 系统，用于自动化清理 feature flag 产生的技术债务。陈旧的 feature flag 会在代码库中留下大量死代码，影响可读性、测试效率，甚至拖慢 AI agent 的会话。清理看似简单的搜索删除，实则涉及布尔逻辑、辅助函数、调用点、配置和测试的连锁传播决策。AutoClean 结合 AI agent 与基于 PolyglotPiranha 的确定性代码转换工具，通过 MCP 协议协作完成代码重写，并在 CI 失败时由确定性 fixer 与 agentic fixer 分层修复，最终生成通过验证的 diff 交由人工审查。该系统在 Uber 的 monorepo 中持续运行，实现了规模化、安全的技术债自动清理。
DeepSeek V4.1 Flash 大规模推理部署实践
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
AI 每日早报：DeepSeek 开源推理框架、Google TPU 推理引擎与 Anthropic 的 AI 队友实践
本期早报聚焦三条主线：一是 DeepSeek 全面开源内部推理框架 DeepInfer 与生产级 Token 编解码组件 deepseek-recipe，覆盖分布式推理、推测解码、结构化输出等能力，兼容英伟达与昇腾平台；二是 Google 为 vLLM 和 SGLang 推出原生 PyTorch TPU 后端，通过 TorchTPU、分层缓存与 TPU Sync 优化多轮 Agent 场景下的推理性能；三是 Anthropic 团队分享 Claude 如何从问答助手成长为承担团队职责的协作伙伴，涵盖追踪表维护、内部应用开发与会议协调等案例。速览部分还介绍了小红书 ROSS 训练方法、FairStress 公平性评估基准、Dyna Robotics 机器人 Scaling Law 及 SGLang 低延迟模式。
