什么是信息论？它和AI是什么关系？
文章深入浅出地讲解了信息论的起源、核心概念及其与人工智能的关系。内容涵盖香农在1948年奠定的信息论基础（如熵、比特、信道容量定理），回顾了奈奎斯特、哈特利及玻尔兹曼等前人的贡献，并探讨了交叉熵、KL散度等概念如何成为衡量AI模型误差的关键工具。文章指出，尽管信息论为AI提供了度量语言，但在解释智能本质上仍有局限。
🏷️ 熵
2 篇当物理遇上AI：深度学习里的物理元素（上）
文章探讨了物理学与人工智能（特别是深度学习）之间的深刻联系。作者指出，神经网络本质上是一个类似于物理学中的“多体系统”，因此统计力学的语言天然适用于描述AI。文章详细拆解了能量最小化、Softmax（玻尔兹曼分布）、交叉熵（信息熵）、VAE（自由能）以及最大熵原理等核心AI概念背后的物理学渊源，揭示了从蒸汽机到神经网络的知识传承。