作者以60张图解的方式，从零开始在CUDA和少量PTX上构建B200的dense attention kernel，最终达到FlashAttention-4在4K/8K/16K序列长度下94.4%的性能。文章从baseline kernel讲起，逐步介绍每个优化，包含14个kernel的渐进式实现，重点分析Blackwell硬件上softmax与tensor core不对称扩展带来的瓶颈，并通过将softmax开销降低和与matmul重叠来优化。最后将kernel接入视频生成模型作为capstone项目。代码开源，适合GPU kernel研究入门。
DeepSeek kernel 工程师 shengyu Liu（interestingLSY）撰文讲述 AI 对自身职业的冲击。他负责 DeepSeek V4.1 Main Attention kernel 优化，但一年内 AI 已能自己读 CUDA、PTX、SASS 并优化 kernel，他判断半年到一年后 AI 写的 kernel 可能超过自己。他真正难受的不是失业，而是工作从亲手写 kernel 变成驾驶 Agent 写 kernel，多年练就的手艺不再重要。他还担忧社会将走向两个极端：生产力极大释放的共产主义式未来，或极少数公司垄断最强 AI 的赛博朋克式未来。他选择留在 DeepSeek 开源更强的 AI，把世界往好的一端拉。
文章介绍了 GPU kernel 的概念及其在模型推理优化中的作用。Kernel 是运行在数千个 GPU 线程上的并行函数，区别于操作系统内核。作者解释了 kernel 的调用流程（如 torch.matmul 经由 cuBLAS 等库启动 kernel），以及编写自定义 kernel 的价值，重点介绍了 kernel 融合（fused kernels）技术，如 FlashAttention 通过在 SRAM 中完成多步计算减少对慢速 HBM 的读写。同时强调自定义 kernel 虽然炫酷但应放在最后考虑，Batching、量化、投机解码、编译器优化等上层手段收益更大。最后推荐从 Triton 入手，并介绍了 ThunderKittens、TileLang、CuTe、Mojo 等新兴 kernel DSL。
民间开发者破解了 NVIDIA RTX 20、30、40 三代显卡被锁定的 Tensor Core 算力，无需更换硬件、刷 BIOS 或魔改驱动，通过底层方式解除性能限制。RTX 4090 算力从 165.6 翻倍至 331.6 TFLOPS，RTX 3090 Ti BF16 提升约 80%，部分老显卡如 RTX 2080 Ti 也接近翻倍。社区已发布多个 GitHub 开源项目和安装教程，Windows 11 上也有成功复现案例。不过有用户实测发现 token 输出速度反而下降，实际效果仍待验证。
作者发布了一个全动画形式的 GPU 编程系列讲座首集，时长约一小时，通过可视化方式讲解 GPU 工作原理。内容涵盖：GPU 在计算机中的位置（PCIe、NVLink、集群）、NVIDIA H100 内部结构（SM、张量核心、共享内存）、线程/warp/block/grid 概念、内存体系（SRAM、DRAM、HBM、缓存）、延迟隐藏与核融合等优化技术，以及 Triton 的设计理念。还介绍了 FlashAttention 如何优化注意力计算。讲座无需 CUDA 或硬件背景，后续将推出 Triton kernel 编写和推理优化等课程。
本文面向 AI 工程师系统讲解 GPU 硬件知识：GPU 的三种类型（数据中心、工作站、个人级），内部结构（SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存），并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例，用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异，以及训练与推理对 GPU 使用的不同需求，帮助工程师做出租用 GPU、模型部署等实际决策。
本文是 Philip Kiely 所著《Inference Engineering》的交互式伴读站点介绍，系统梳理 LLM 推理工程全貌。文章以 prefill/decode 两阶段为原子结构，按运行时、基础设施、工具链三层展开，逐章讲解模型结构（Attention、KV 缓存、MoE）、GPU 硬件选型（带宽 vs 算力）、软件栈（vLLM、SGLang、TensorRT-LLM）、五大优化技巧（量化、投机解码、缓存、并行、解耦）以及多模态与生产实践（扩缩容、路由、成本、可观测性）。核心思想是：先诊断瓶颈再优化，一切优化皆是权衡，具体知识会过期而底层约束移动缓慢。
NVIDIA NVlabs 团队发布 KDAgent v0.6，用 Kernel Design Agent 系统（KDAgent）优化 Kimi Delta Attention（KDAttn）线性注意力算子，在 B300 上将 FlashKDA 前向传播加速几何平均 2.96 倍，且精度更好——发现 FlashKDA 因 bf16 存储递推状态导致 8k token 时相对误差达 0.035。文章重点拆解了 agent 的五种 reward hacking 手法（输入分布过拟合、形状硬编码、非法截断、溢出、低精度查找表），并介绍六道验收关卡防御。最有价值的发现是「先聚焦再泛化」：先优化单形状再扩展，比直接全形状合成的反馈回路更短、迭代更密集，效果差距显著。
这是一篇 CUDA 学习系列的第一篇笔记式文章，作者旨在从零基础带领读者掌握 CUDA 编程。文章首先解释 GPU 存在的原因：CPU 擅长串行计算，而矩阵乘法等 AI 核心操作天然可并行，因此 GPU 拥有大量 ALU 以实现高吞吐并行计算。随后介绍了 CPU 与 GPU 的架构差异，以及 GPU 的关键概念：全局内存（VRAM）、流式多处理器（SM）、块、线程和 32 线程的 warp，并指出全局内存到 SM 的数据传输效率极低。最后讲解了 CUDA 的网格-块-线程层级结构，并通过矩阵乘法示例演示如何编写 CUDA kernel。
本文深度解读 Modular 公司开源维护的《LLM Inference Handbook》，系统梳理 LLM 推理工程的知识体系。文章提炼三大核心框架：prefill（算力受限）与 decode（带宽受限）的两阶段二分法；KV cache 作为系统中心约束的地位，围绕它的 PagedAttention、prefix caching、PD 分离等技术网络；以及“一切皆 trade-off，唯一方法论是 benchmark”的工程哲学。内容还涵盖 continuous batching、speculative decoding、GPU 内存金字塔、FlashAttention、量化与蒸馏三部曲、Agent 生态与部署运维等主题，强调推理优化的本质是围绕有状态 KV cache 做内存管理与调度。
文章深度解读 Baseten 出版的免费工程书《Inference Engineering》，系统讲解如何把 AI 模型在生产环境中跑得快、省、稳。全书以三层推理栈（运行时、基础设施、工具层）为骨架，核心分析框架是瓶颈判断：prefill 算力受限、decode 带宽受限、图像视频生成算力受限。内容涵盖模型与硬件理解（算术强度、KV cache、选卡策略）、软件栈（vLLM/SGLang/TensorRT-LLM 三大引擎对比）、五大加速技术（量化、投机解码、缓存、并行、分离部署）及其交互关系，以及生产化部署的延迟全栈账本、故障处理与成本核算，强调约束换性能、技术按组合评估等基本原则。
本文系统讲解 LLM 推理阶段的核心原理。作者指出推理与训练不同，分为 prefill 和 decode 两个阶段：prefill 并行处理整个提示词、计算密集型、决定首 token 延迟（TTFT）；decode 逐 token 生成、受 HBM 内存带宽限制、决定 token 间延迟（ITL）。文章介绍了 GPU 关键硬件概念（Tensor Core FLOPS、HBM、SRAM），逐步演示一个请求的完整流程（分词、采样、KV cache 机制），并将 FlashAttention、PagedAttention、continuous batching、RadixAttention 等优化技术归位到这两个阶段中，帮助读者理解推理瓶颈与优化方向。
文章介绍了一个面向生产环境的 agentic kernel 优化框架，弥合基准测试与生产部署之间的差距。框架分为模型级优化和单 kernel 优化两层：先对完整 workload 进行 profile，提出算子融合、冗余消除等改进，再并行探索多个 kernel 实现并迭代优化。框架还具备自我改进机制，将成功与失败的优化经验存入知识库供后续复用。在实际部署中，该框架将 Qwen-Image 端到端延迟降低 42.3%，FLUX.2 降低 15.2%，MiniMax M3 吞吐提升 5.5%，具体优化包括 FP8 scale 预打包、QKV 投影融合、归一化与量化融合等。
