文章追溯了'脉动阵列'（Systolic Array）计算架构的历史：1978年CMU的Kung与Leiserson发表报告，提出处理器像心脏跳动般有节奏地计算并传递数据，让每个数据多次被利用，从而减少内存访问、节省能耗。这一思想影响了Google TPU的设计——其矩阵乘法单元正是基于脉动执行。2026年10月，开源项目openTPU展示AI Agent通过递归自我改进循环自主设计出可运行Qwen、Gemma和Phi模型的加速器，在退役数据中心FPGA卡上达到每秒80+ token的速度，让这一近半个世纪前的技术构想重新焕发生机。
这是一篇 CUDA 学习系列的第一篇笔记式文章，作者旨在从零基础带领读者掌握 CUDA 编程。文章首先解释 GPU 存在的原因：CPU 擅长串行计算，而矩阵乘法等 AI 核心操作天然可并行，因此 GPU 拥有大量 ALU 以实现高吞吐并行计算。随后介绍了 CPU 与 GPU 的架构差异，以及 GPU 的关键概念：全局内存（VRAM）、流式多处理器（SM）、块、线程和 32 线程的 warp，并指出全局内存到 SM 的数据传输效率极低。最后讲解了 CUDA 的网格-块-线程层级结构，并通过矩阵乘法示例演示如何编写 CUDA kernel。
这是一份关于 PyTorch 训练流程的单页速查表。文章通过代码示例和原理解析，深入浅出地讲解了张量的核心概念、矩阵乘法、自动求导机制、反向传播以及梯度下降优化过程。同时涵盖了 `nn.Module` 常用组件如 Linear、ReLU 和 GELU 的使用，旨在帮助开发者快速理解深度学习引擎的运作原理。
