AI 时代，自古英雄出少年
文章介绍了盛颖在 xAI 和 RadixArk 的工作，重点讲解了 SGLang 的核心技术 RadixAttention 和结构化输出，以及 AI Infra 的工程实践和开源价值。
全部文档 / 标签: RadixAttention
2 篇
PagedAttention & RadixAttention
本文深入探讨了 PagedAttention 和 RadixAttention 两种技术。PagedAttention 通过类似操作系统的分页机制管理 GPU 内存，解决 KV Cache 的内部和外部碎片问题，显著提升并发处理能力。RadixAttention 则利用基数树索引缓存的前缀状态，实现跨请求的计算和内存复用，进一步优化推理性能。
