这是一篇 CUDA 学习系列的第一篇笔记式文章，作者旨在从零基础带领读者掌握 CUDA 编程。文章首先解释 GPU 存在的原因：CPU 擅长串行计算，而矩阵乘法等 AI 核心操作天然可并行，因此 GPU 拥有大量 ALU 以实现高吞吐并行计算。随后介绍了 CPU 与 GPU 的架构差异，以及 GPU 的关键概念：全局内存（VRAM）、流式多处理器（SM）、块、线程和 32 线程的 warp，并指出全局内存到 SM 的数据传输效率极低。最后讲解了 CUDA 的网格-块-线程层级结构，并通过矩阵乘法示例演示如何编写 CUDA kernel。
文章包含两条内容：一是 DeepSeek kernel 工程师 Shengyu Liu 的长文，讲述 AI 已能自主分析 CUDA/PTX/SASS 并优化 kernel，他预判半年到一年内 AI 写的 kernel 可能超过自己，工作将从亲手写代码变为驾驶 Agent，并担忧未来社会走向共产主义或赛博朋克两极，因此选择留在 DeepSeek 推动开源 AI。二是微信团队开源的 WeKnora 框架，已从 RAG 系统进化为企业 Agent 基础设施，提供知识处理、ReAct Agent、Sandbox 执行环境、长期记忆和 Auto-Wiki 能力，代表 RAG 向企业 Agent Context + Runtime 的迁移趋势。
文章介绍了 GPU kernel 的概念及其在模型推理优化中的作用。Kernel 是运行在数千个 GPU 线程上的并行函数，区别于操作系统内核。作者解释了 kernel 的调用流程（如 torch.matmul 经由 cuBLAS 等库启动 kernel），以及编写自定义 kernel 的价值，重点介绍了 kernel 融合（fused kernels）技术，如 FlashAttention 通过在 SRAM 中完成多步计算减少对慢速 HBM 的读写。同时强调自定义 kernel 虽然炫酷但应放在最后考虑，Batching、量化、投机解码、编译器优化等上层手段收益更大。最后推荐从 Triton 入手，并介绍了 ThunderKittens、TileLang、CuTe、Mojo 等新兴 kernel DSL。
作者基于十余年加速器编译器经验（曾创建XLA，现任OpenAI硬件团队）探讨AI时代的编译器演进。文章提出将AI视为'随机优化器'的新范式：传统优化编译器依赖固定规则与启发式，而LLM具备类似'optimizin Ollie'专家的程序优化直觉。文章回顾了STOKE随机超优化研究，指出Monte Carlo调整笨拙但快速，LLM智能但较慢，结合二者可智能地在优化空间中探索。虽然无法像传统方法那样保证语义正确性，但AI为自动化程序优化开辟了'编译器2.0'的新方向。
