# 什么是信息论？它和AI是什么关系？
**作者**: snowboat
**日期**: 2026-07-11T03:17:55.000Z
**来源**: [https://x.com/snowboat84/status/2075781603847188852](https://x.com/snowboat84/status/2075781603847188852)
---
今天你在任何一个深度学习框架里训练模型，衡量它错得有多离谱的那个损失函数，有个叫做"交叉熵"（cross-entropy）。它背后用的，正是1948年香农（Claude Shannon）那篇论文奠定的信息度量语言。
那篇论文只有他一个作者，却几乎一次性把一门叫"信息论"的学科从地基到承重墙全砌了起来。后人七十多年只能在旁边加盖，很难再动主楼一砖一瓦。
这门学科最有意思的地方，是两个矛盾同时成立。香农几乎靠一篇文章奠定了主楼，后人七十多年多是在旁边扩建。可它又反复进入人工智能，最后多数时候只提供度量工具，没能变成解释智能的理论。
这篇文章先讲清楚信息论本身，它从哪儿来，主楼靠哪几根梁撑着，后人又在旁边另起了哪些楼。最后再谈它和AI那段"用得上却进不去"的别扭关系。
# 一、香农之前，"信息"散在几条河里
1948年之前，没人把"信息"当成一个能精确度量的东西。它更像一个日常词，谁都在用，谁也说不清一条电话线一秒钟到底能"装"下多少。真要追根，得从两条线索讲起，一条在通信工程，一条在物理。
## 1.1 通信工程那条河：一条线一秒能传多少东西
电报和电话把这个问题逼了出来。线路是要花钱铺的，一条线一秒钟能可靠地送出多少个符号，直接关系到能不能赚钱，工程师们绕不开。
贝尔实验室的奈奎斯特（Harry Nyquist）1924年发表《影响电报速度的若干因素》（Certain Factors Affecting Telegraph Speed），头一回把这件事量化。他指出电报的最高信号速率和线路带宽成正比，带宽越宽，单位时间能塞进去的符号越多。四年后的1928年，他又给出了更锋利的结论，一条带宽为B的线路，每秒最多能承载2B个独立的采样点，这就是后来采样定理的雏形。
Harry Nyquist
奈奎斯特摸到了"传输速率有个物理上限"的门槛，但他算的是"符号"，还没触到"信息"本身。真正往前推进一步的是他的同事哈特利（Ralph Hartley）。1928年哈特利发表《信息的传输》，第一次提出，一段消息携带的信息量，应该正比于"可能的消息条数"取对数。
对数这一步很关键。假设每个位置能填10个符号，发n个符号，可能的消息就有10的n次方条，直接数会大到没法用。取了对数，信息量就随着消息长度线性增长，n个符号的信息量正好是一个符号的n倍，符合直觉。哈特利还特意声明，这个量只跟"有多少种可能"有关，跟消息说的是什么意思无关。这句话，二十年后被香农变成了整门学科的地基。
哈特利差的是两样东西。他默认每个符号出现的机会均等，没把概率放进来。他也没有一个统一的框架，把编码、噪声、信道容量这些东西装进同一套数学里。门槛他摸到了，门还没推开。
## 1.2 物理学那条河：熵这个字，物理学家先用了
与此同时，物理学里有一个几乎长得一模一样的量，已经悄悄躺了半个多世纪，叫"熵"（entropy）。
熵最早是热力学里描述"无序程度"的量。玻尔兹曼（Ludwig Boltzmann）在19世纪末给出了它的统计解释，一个系统的熵正比于它可能处于的微观状态数取对数，写成S=k log W。一个气体分子乱跑的方式越多，熵越大。这个公式后来刻在了他的墓碑上，虽然那个精确写法其实是普朗克（Max Planck）在1900年前后替他补的。
再往后，吉布斯（Josiah Willard Gibbs）在1902年把它推广成一个更一般的形式，S=−k Σ p log p，其中p是系统处在每个微观状态的概率。当所有状态机会均等时，这个式子正好退回玻尔兹曼那一版。
请记住吉布斯这个−Σ p log p的样子。二十多年后，香农为通信问题推导出的信息熵，长得和它一字不差。通信工程和统计物理各走各的路，最后走到了同一个公式上。这条暗线会一直拉到本文第六章。
## 1.3 两河之间的幽灵：麦克斯韦妖
在通信和物理之间，还飘着一个近百年没人降得住的幽灵，叫"麦克斯韦妖"（Maxwell's demon）。
物理学家麦克斯韦（James Clerk Maxwell）1867年设想了一个小妖精，守在一个隔板的门口，看到快分子过来就放到左边，慢分子就放到右边。这样一来，不消耗能量，就把一盒温度均匀的气体分出了冷热，等于凭空降低了熵，违反热力学第二定律。这个思想实验困扰了物理学界大半个世纪。
匈牙利物理学家西拉德（Leó Szilárd）在1929年往这个谜里插进了一个全新的词，信息。他把妖精简化成只跟一个分子打交道的"西拉德引擎"，算出一个比特的信息（分子在左还是在右）对应着k ln2量级的熵差，也对应kT ln2量级的可提取功。妖精不是白干活的，但这笔账后来才被兰道尔（Rolf Landauer）和贝内特（Charles H. Bennett）更清楚地记在"擦除记忆"的热力学代价上。
这是历史上第一次，有人怀疑"信息"和物理的"熵"是同一种东西。西拉德比香农早了整整19年，但他只是在一个具体谜题里用到了信息，没有把它拎出来做成一门学问。概念散落在通信工程师和物理学家各自的抽屉里，等一个人把"信息"从所有这些具体问题里抽出来，做成一个独立的、能精确度量的量。这个人1916年出生在美国密歇根。
# 二、奠基第一刀：香农与那把切开信息和意义的刀
## 2.1 香农其人：一个把两段人生合到一起的工程师
香农的厉害，某种程度上是两段经历撞在一起的结果。
1937年，还在麻省理工读硕士的香农写了一篇学位论文，把布尔代数接到了继电器和开关电路上。这话听着抽象，翻成人话就是，他证明了"真和假、开和关、0和1"这套逻辑运算，可以用电路实打实地搭出来。这篇论文后来被称作史上最有分量的硕士论文之一，因为它是整个数字时代的地基，今天每一颗芯片都建在这个想法上。那年他21岁。
二战期间，香农在贝尔实验室做保密通信和密码学。他分析过盟军首脑之间的加密语音系统SIGSALY的安全性，还写了一份关于密码学的机密报告，1949年解密后以《保密系统的通信理论》（Communication Theory of Secrecy Systems）为名发表。密码学逼着他反复琢磨一件事，一段信息里，到底有多少是"真东西"，多少是可以被猜出来、因而不算数的冗余。
一边是把逻辑变成电路的数字直觉，一边是从密码学里磨出来的对"信息含量"的敏感。1948年，这两样东西在《贝尔系统技术期刊》上合流成一篇论文，《通信的数学理论》。信息论就此诞生。
## 2.2 决定性的抽象：把"意思"扔掉
这篇论文最狠的一刀，落在开头没多远的地方。香农说，通信要解决的工程问题，跟消息的"意义"完全无关。
这话在当时近乎离经叛道。你发一封电报说"祖父病危"，和发一封说"今天天气不错"，对收报人的意义天差地别。但香农说，从传输的角度看，只要这两条消息一样长、用的字符集一样，它们携带的信息量就一样多。工程师要保证的是把符号无误地送到，至于符号拼出来是什么意思，那是收报人的事。
他给"信息量"下了一个只跟不确定性有关的定义，一条消息携带的信息，等于它消除了多少不确定性。你本来对某件事一无所知，读完消息就完全确定了，那这条消息带来的信息量，就正比于你原先的"不确定"有多大。
举个例子。有人告诉你"太阳从东边升起"，你一点信息都没得到，因为这件事你早就确定了，它没消除任何不确定性。有人告诉你明天一支球队的比赛结果，如果两队实力相当，这条消息的信息量就大，因为它一举消除了"五五开"的悬念。哈特利摸到门槛的那个"可能性越多、信息越大"，被香农用"消除了多少不确定性"精确地接住了。
把意义扔掉，看似是在舍弃，实际是在划边界。只有先不管消息说什么，"信息"才可能变成一个跟内容无关、纯粹能算的数。这一刀之后，信息第一次可以度量。
## 2.3 通信模型和比特
香农接着画了一张图，简单到今天每本教材第一页都在重画它，但它本身就是奠基级的贡献。
信源发出消息，编码器把它变成适合传输的信号，信号经过信道，中途混进噪声，解码器在另一头把它还原，最后交给信宿。信源、编码器、信道、噪声、解码器、信宿，六个方框一条线。
这张图的价值在于，它把一个混沌的现实问题，切成了几个可以分别研究的干净模块。压缩是编码器那一段的事，抗噪是信道和纠错那一段的事，它们从此可以各算各的。后世信息论所有的讨论，几乎都在这张图上的某一段展开。你今天用微信发一段语音，从手机麦克风到对方耳朵，走的还是这张图。
有了度量，就得有单位。香农借用了同事图基（John Tukey）的提法，把信息的单位定为"比特"（bit），也就是binary digit的缩写。
一个比特，是回答一个"是或否"问题所需的信息量。理解它最好的方式是猜数字。我心里想一个1到64之间的整数，你来猜，每次我只回答"大了"或"小了"。聪明的猜法是每次都对半砍，先问是不是大于32，再对半问下去。64个可能，你最多问6次就能锁定答案，因为2的6次方等于64。所以在64个等可能的选项里锁定一个，需要的信息量正好是6个比特。
这个"问多少个是否问题"的直觉，是比特最朴素的样子。信息量的大小，说到底就是你要问多少个对半分的问题，才能从一堆可能里揪出那个唯一的答案。
## 2.4 熵，以及它带出的一串工具
把上面这些拧成一个公式，就是信息论的第一根承重墙，熵。
一个随机变量的熵H，衡量它平均有多不确定，或者说，平均每次要花多少个比特才能把它说清楚。香农写下的公式是H=−Σ p log p，对每个可能结果，用它的概率乘以概率的对数，全加起来再取负号。眼熟吧，这正是第一章吉布斯那个统计力学熵的形状。
熵有几条性质特别符合直觉。一件板上钉钉的事，熵是零，因为它没有任何不确定性，你不用问任何问题。在所有可能里，当每种结果机会均等时，熵最大，因为这时候最难猜。一枚均匀硬币的熵是1个比特，一枚永远出正面的假硬币，熵是0。
熵还有可加性。两件互不相干的事，合起来的不确定性等于各自不确定性之和。这条看着朴素，却保证了信息量能像长度、重量一样正常地相加，是它能当"物理量"用的前提。
熵不是抽象符号，它有非常实在的一面。英文文本里，字母的分布很不均匀，e特别多，z特别少，还有大量拼写规律，所以英文每个字母的实际熵只有1点几个比特，远低于26个字母均等时的约4.7个比特。这中间的差额，就是英文里"冗余"的部分，也正是为什么文本能被压缩。熵这堵墙一立起来，压缩的极限就有了答案，这是下一章的事。
熵不是孤零零一个量，它带出一家子派生量，而这一家子，恰恰是几十年后信息论伸向AI的那几只手。
从两个变量出发，可以定义联合熵（两件事合起来有多不确定）、条件熵（知道了一件事之后，另一件还剩多少不确定）。两者一减，得到信息论里最有用的量之一，互信息（mutual information），衡量两个变量之间共享了多少信息，一个变量能替你消除另一个变量的多少不确定性。
还有相对熵，又叫KL散度（KL divergence），衡量两个概率分布差多远。以及本文开头那个交叉熵，衡量你"以为"的分布和"真实"的分布之间的差距。这几个名字现在听着陌生，但到了第七章，你会看到它们几乎撑起了信息论在AI里的半壁江山。
关于"熵"这个名字，流传着一个段子。据香农后来对工程师特里布斯（Myron Tribus）讲述，当年他为这个新量取名犯难，冯·诺依曼（John von Neumann）建议他就叫"熵"。理由有两条，一是它和统计力学里的熵数学形式相同，二是，"反正没人真正明白熵是什么，你在辩论里永远占上风"。这个段子最早由特里布斯在1971年写进《科学美国人》，转述的是1961年香农跟他说的话，并没有40年代的原始记录，姑且当个逸闻听。名字的来历也许模糊，但香农的熵和物理的熵长成同一个样子，这件事本身一点都不含糊。
# 三、两根承重墙和两条极限：压缩与可靠通信
熵这堵墙立好，香农在同一篇论文里，又浇筑了另外三根梁。它们各自回答一个具体到不能再具体的工程问题，答案却都是"极限"，是宇宙给这件事划的死线。
## 3.1 第二根承重墙，第一条极限：无损压缩
第一个问题是压缩。一段消息，在不丢失任何信息的前提下，最少能压到多少个比特？
香农的信源编码定理给了斩钉截铁的答案，压到熵，就到头了，一个比特都别想再省。这就是无损压缩的理论下限。一段消息的熵是多少比特，你最好的压缩也只能逼近它，压不过去。
这个下限不是纸上谈兵，它对应着实打实的算法。霍夫曼（David Huffman）1952年还在麻省理工读书，在导师法诺（Robert Fano）的信息论课上，为了一份课程作业，捣鼓出了霍夫曼编码。思路很朴素，常出现的符号用短码，罕见的符号用长码，整体就短了。这份作业成了后来用得最广的压缩算法之一。
霍夫曼编码有个先天缺陷，每个符号至少得占一个整比特，没法再细分，所以贴着熵的极限总差一点。后来的算术编码（arithmetic coding）在1976年前后由里萨宁（Jorma Rissanen）和帕斯科（Richard C. Pasco）各自做出来，它不再给每个符号单独分配比特，而是把整段消息映射成一个小数，从而把那点整比特的浪费也榨了出去，更贴近熵。
这些定理离你并不远。你每天打交道的ZIP压缩包，用的DEFLATE算法就是LZ77配上霍夫曼编码。PNG图片同样靠它做无损压缩。MP3在压缩音频时，也会在量化之后用到霍夫曼编码。你把文件夹压成一个zip，就是在向香农1948年划下的那条熵的死线逼近。
## 3.2 第三根承重墙，第二条极限：可靠通信
第二个问题更硬核，也更反常识。一条线路总有噪声，你发过去的信号会被干扰弄脏。噪声既然躲不掉，是不是意味着长距离通信永远做不到完全无误？
香农的有噪信道编码定理，给出的结论近乎魔法。每条信道有一个容量C，只要你的传输速率低于C，就总能设计出一种编码，把出错的概率压到任意小，要多小有多小。噪声有一条你打不过的上限，但只要你不贪心、传得比这条线慢一点，你就能在满是噪声的线路上，实现几乎完美的通信。
这为什么可能？直觉在于冗余和长度。你不能一个比特一个比特地发，得把很多比特打包成很长的码字一起发。码字越长，不同码字之间在"信号空间"里就能拉得越开，噪声就算把每个码字推歪一点，接收端也还是能判断出它原本离哪个码字最近。用足够的冗余和足够长的码，就能把噪声的影响均摊掉。
那条上限C是多少？对最常见的一类信道，香农和哈特利给出了一个漂亮的公式，C=B log2(1+S/N)。B是带宽，S/N是信噪比，也就是信号功率和噪声功率之比。这个香农–哈特利公式告诉你，想传得快，要么加带宽，要么提高信噪比。你家WiFi离路由器越远越卡，5G比4G快，背后都是这一个公式在定天花板。
这里有个特别值得说的地方。香农证明了"能把错误率压到任意小的好码一定存在"，但他的证明是靠"随机地造码，然后算平均表现"来完成的。他证明了好码存在，却没告诉任何人这样的码具体长什么样、该怎么造。
这在数学上叫存在性证明，非构造性的。就像有人向你证明这座山里一定埋着金子，却给不出藏宝图。香农画了一条谁也超不过的极限线，然后留下一句"好码就在那条线附近"，转身走了。
怎么把这些好码真的造出来，成了此后半个世纪几代工程师的接力赛，也是下一章的主角。信息论最迷人的地方就在这儿，奠基者一个人把极限和蓝图都画好了，却故意留了一大块"怎么施工"的活给后人。
## 3.3 第四块基石：率失真曲线
前面说的都是无损，一个比特都不能错。但现实里，很多东西根本不需要完美还原。一张照片、一段音乐，稍微糊一点、闷一点，人眼人耳根本分不出来。既然允许失真，就能压得更狠。
香农1959年又补上了率失真理论，专门处理这种取舍。它给出一个率失真函数R(D)，D是你能容忍的失真程度，R是在这个前提下所需的最低码率。你愿意接受多大的失真，理论就告诉你最少能压到多小。这是一场"压得多狠"和"糊得多厉害"之间的讨价还价，率失真理论给这场谈判定了底价。
这块基石撑起的，是今天几乎所有的有损压缩。JPEG压照片、MP3压音乐、H.264压视频，本质都是在率失真这条曲线上，替你在文件大小和画质音质之间选一个点。你刷的每一条短视频，能在手机上秒开，靠的就是H.264或它的后继者把率失真的取舍做到了极致。
到这里，香农的主楼四梁齐备。熵，定义了信息的度量。信源编码定理，划定了无损压缩的下限。信道编码定理，划定了可靠通信的上限。率失真，处理了有损压缩的取舍。
最叫人服气的是，前三样东西出自同一篇1948年的论文，第四样也在香农1959年的论文里补齐。一个人，前后两篇文章，给出了一门学科的公理、主要定理和物理极限，而这本该是几代人分头忙上几十年的活。这种"几乎一次成型"，在整个科学史上都极其罕见。它也直接带出了本文后面要专门解的一个谜，为什么这栋楼这么难加盖。
# 四、把定理变成电路：汉明和纠错码的半个世纪
## 4.1 汉明码：第一张藏宝图
上一章结尾那笔债，香农留下的"好码存在但不知怎么造"，成了后人接力的起跑线。有意思的是，第一个还债的人，就坐在香农隔壁。
汉明（Richard Hamming）也在贝尔实验室。故事的版本里，他周末把计算任务交给机器跑，一到周一就发现机器因为一个小错误报警停机，白等两天。他被这件事惹毛了，机器既然能检测到出错，为什么不能自己把错纠正过来接着算？
Richard Hamming
1950年，汉明发表《检错码与纠错码》，给出了历史上第一批能真正纠错的具体构造，后世叫它汉明码。
它的巧思在于"多问几个是否"。你要传4个信息比特，汉明码额外加上3个校验比特，凑成7个一起发。这3个校验比特，每一个都盯着信息比特里特定的几个，记录它们的奇偶。接收端一核对，如果某一位被噪声翻转了，这几个校验比特的异常组合会精确地"指认"出是第几位出了错，接收端直接把它翻回来就行。
汉明码第一次把香农那句抽象的"好码存在"，变成了一张能照着施工的藏宝图。它一次能纠一个错，代价是7个比特里有3个用来做冗余。这不算高效，但它证明了纠错这件事真的能做，缺口一旦被撕开，后面就是几十年的加速逼近。
## 4.2 半个世纪的接力
汉明之后，一代代人往香农那条极限线上贴。这条线上的名字，值得像介绍运动员一样报一报。
里德（Irving S. Reed）和所罗门（Gustave Solomon）在1960年做出Reed–Solomon码，特别擅长对付"一大段连续出错"的情况。伊莱亚斯（Peter Elias）早在1955年就提出了卷积码。加拉格（Robert G. Gallager）在1962年的博士论文里给出LDPC码（低密度奇偶校验码），但它太超前，当时的算力跑不动，被雪藏了三十年，直到90年代被麦凯（David J. C. MacKay）等人重新翻出来，才发现它好得惊人。1993年，贝鲁（Claude Berrou）等三位法国人拿出Turbo码，第一次在实用范围内逼到离香农极限只剩零点几个分贝。
2009年，土耳其学者阿勒坎（Erdal Arıkan）把这条路推进到关键位置。他的Polar码（极化码），在对称二进制输入离散无记忆信道上，是历史上第一种有显式构造、能严格证明达到香农容量、并且编解码复杂度较低的码。香农1948年画下那条谁也超不过的线，等了61年，人类第一次拿着一张确定的施工图，真正站到了线上。
## 4.3 你身边到处都是纠错码
纠错码是那种你从没听说过、却片刻离不开的东西。它落地之广，堪称信息论最成功的直系江山。
你听的CD不会因为一道划痕就跳音，靠的是Reed–Solomon码把划痕造成的连续错误纠回来。你扫的二维码缺了一角还能识别，同样是Reed–Solomon在兜底。你用的5G，数据信道靠LDPC，控制信道靠Polar码。硬盘和固态盘防止数据悄悄损坏，老一代用Reed–Solomon，这些年换成了更强的LDPC。
最远的一个例子在太空。旅行者号探测器飞出太阳系，用二十多瓦量级的发射功率把信号发回上百亿公里外的地球，信号弱到几乎淹没在宇宙噪声里，全靠卷积码套上Reed–Solomon码的双重纠错，才把那些珍贵的照片一个比特不错地送回来。汉明那份周一早上的暴躁，最后长成了人类和深空对话的能力。这一支接力者，很像经典力学里欧拉（Leonhard Euler）、拉格朗日（Joseph-Louis Lagrange）那一代人，不发明新的天，只是把理论老老实实地变成能用的工程。
# 五、另一座平行的楼：柯尔莫哥洛夫复杂度
## 5.1 换一个问法：最短程序
香农的熵有个隐含的前提，它是关于概率分布的。你得先有一个"随机变量"，有一堆可能结果和它们的概率，才能谈熵。熵度量的是"这一类消息平均有多不确定"。
可有些东西根本不好谈概率。给你圆周率π小数点后一百万位，它看起来杂乱无章，像随机数。但它一点都不随机，一个几行的短程序就能把它精确算出来。它的"信息量"到底该算大还是算小？香农的框架在这儿有点用不上劲，因为你面对的是一个具体的、单一的对象，不是一个概率分布。
苏联数学家柯尔莫哥洛夫（Andrey Kolmogorov）在1965年换了个问法。他不问"这一类对象平均多复杂"，他问"这一个对象本身，到底多复杂"。
柯尔莫哥洛夫的答案漂亮得让人拍案。一个对象的信息量，等于能生成它的最短程序的长度。
Andrey Kolmogorov
一串"0101010101"重复一百万次的序列，看着很长，但描述它的程序极短，"打印01一百万次"就完了，所以它的复杂度很低。一串真正随机的、毫无规律的乱码，你没有任何比它本身更短的办法去描述它，只能一位一位照抄，所以它的复杂度就等于它自己的长度，这是最高的。π那一百万位，复杂度也很低，因为算它的程序很短。
这套东西叫柯尔莫哥洛夫复杂度，它给了信息一个全新的、不依赖概率的地基。香农问"平均要花多少比特"，柯尔莫哥洛夫问"最短要写多少行代码"。所罗门诺夫（Ray Solomonoff）其实在1960年就有了这个想法，蔡廷（Gregory Chaitin）也独立想到过，所以它有时被叫做三个人合起来的名字，但柯尔莫哥洛夫那一版最完整。
## 5.2 平行，而且更深，但要付一个代价
这两座楼是什么关系？它们平行，但柯尔莫哥洛夫这座在某种意义上更深。可以证明，对一个随机变量，它的柯尔莫哥洛夫复杂度的期望值，约等于它的香农熵。两个从完全不同的角度出发的定义，在平均意义上又汇到了一处。信息论里这种"殊途同归"，已经是第三次出现了。
但更深的地基要付一个沉重的代价，不可计算性。柯尔莫哥洛夫复杂度虽然定义得清清楚楚，却没有任何通用算法能真的把它算出来。找一个对象的最短程序，等价于要判断无数个候选程序里哪些会停机、哪些会死循环，而这个停机问题，图灵（Alan Turing）早就证明了是无解的。
所以柯尔莫哥洛夫复杂度是一把完美但摸不到的尺子。你知道它精确存在，却永远量不出准确读数。这个"美丽而不可用"的性质，反而让它在哲学层面比香农熵走得更远。
## 5.3 奥卡姆（William of Ockham）剃刀，被写成了数学
顺着这条线再走一步，就到了所罗门诺夫在1964年给出的归纳推理理论，它干了一件哲学家吵了几百年的事，把奥卡姆剃刀变成了数学。
奥卡姆剃刀说，如果几个理论都能解释同样的现象，选最简单的那个。这话在直觉上人人都认，但"简单"到底怎么量，从来没人说清。所罗门诺夫说，简单就是短，能解释一份数据的最短程序，就是关于这份数据最好的理论。程序越短，先验上就应该越可信。
这一步看着抽象，却是本文最后要讲的那个"压缩即智能"的真正源头。柯尔莫哥洛夫这座平行楼，是信息论所有支脉里，唯一有可能从一把"尺子"升格成一套"解释"的。这条线先放在这里，第八章再展开。
# 六、信息就是物理，和一个封闭之谜
## 6.1 信息进入物理
第一章埋过一条线，香农的信息熵和吉布斯的统计力学熵长得一模一样。这到底是数学上的巧合，还是它们本就是一回事？
物理学家杰恩斯（E. T. Jaynes）在1957年的《信息论与统计力学》里给出了一个强有力的答案。他提出最大熵原理，把整个统计力学重新解释成了一种"统计推断"。他的逻辑是这样，当你对一个物理系统只知道少数几个宏观量（比如平均能量），关于它微观状态的分布，你应该选那个在满足已知约束的前提下熵最大的，因为那是"最不额外假设"的、最诚实的猜测。
这么一来，物理学家算了一百年的热力学熵，和香农为通信定义的信息熵，被放进了同一套推断逻辑里。热力学第二定律"熵增"，某种意义上也可以看成"可用信息在流失"。这是信息论历史上分量最重的统一视角之一，等级上相当于物理学里那些把两个领域焊死在一起的大定理。
统一了熵，第一章那只飘了近百年的麦克斯韦妖，也就能收了。
兰道尔在1961年提出了一条以他名字命名的原理，擦除一个比特的信息，至少要向环境耗散kT ln2的能量，变成热。注意，是"擦除"，不是"记录"。信息可以无成本地存着，但你想把它抹掉、腾出空间，热力学会来收账。
这条原理成了降妖的关键。1982年，贝内特把逻辑补完，麦克斯韦妖为了分拣分子，必须先把观测结果记在自己的"记忆"里。可它的记忆是有限的，迟早要擦掉旧记录才能接着干活。而正是擦除记忆这个动作，按兰道尔原理必然耗散能量、制造熵，把妖精"偷"到的那点熵如数吐了回去。第二定律安然无恙。
绕了一百多年，麦克斯韦妖是被"信息"这个概念亲手降住的。西拉德1929年那个模糊的怀疑，到这里成了铁案，信息不是飘在物理之外的幽灵，它就是物理的一部分，有能量，有代价。
## 6.2 封闭之谜：为什么这栋楼这么难加盖
现在可以正面问那个从开头憋到现在的问题了。为什么信息论这门学科，香农一个人一篇论文就把承重墙全砌齐了，后人拼了七十年，也很难再往主楼上添一根梁？
先把香农砌完的墙摆一摆，才能体会这个"封顶"有多彻底。信息的度量、无损压缩的下限、可靠通信的上限、有损压缩的取舍，四根承重墙，出自他前后两篇论文。一门学科的核心量、主要定理和物理极限，一次交代干净，这在科学史上极其罕见。
拿经典力学做个对照，落差就出来了。牛顿（Isaac Newton）只给了力学一个起点，三大定律加万有引力。之后那座宏伟的大厦，是欧拉（Leonhard Euler）、拉格朗日（Joseph-Louis Lagrange）、哈密顿（William Rowan Hamilton）、诺特（Emmy Noether）几代顶尖头脑，花了两百年才盖起来的。分析力学、变分原理、对称性与守恒定律，牛顿一个都没看到。力学是"起点小、楼极大、盖了很久"。
更狠的落差不只在盖了多久，还在盖楼的方式。物理学的大厦，后人不光在加盖，还常常把奠基者的东西整个掀翻重来。牛顿的绝对时空，被爱因斯坦（Albert Einstein）换成了会弯曲的时空。牛顿力学在原子尺度失灵，让位给量子力学。奠基者划下的边界，后来被看清只是更大图景里的一个特例。物理学的历史，很大一部分写的是后人推翻前人。
信息论这边，七十年下来是另一番景象。第四章那一长串名字，汉明、里德与所罗门、加拉格、贝鲁、阿勒坎，个个都是顶尖工作，可他们做的是同一件事，往香农1948年画下的那条极限线上贴。Turbo码逼到离极限只剩零点几个分贝，Polar码在2009年第一次拿着显式构造严格站上了线。等了六十一年，人类终于够到那条线，而那条线，还是香农那条。七十年里最聪明的一批头脑，把它逼到了毫厘之间，却始终待在线的下方，没有谁把它往上抬过一寸，也没有谁把它往下压过一寸。
这就是信息论封闭感最刺人的地方。它不像力学那样留着大片空地等人来盖，也没给后人留下掀翻奠基者的机会。后来所有的诺奖级努力，合力做的是逼近同一条线。这种"起点即巅峰，主楼一次封顶"的样子，很容易让人起疑，是不是这门学问格局本来就小，一眼能望到头。
## 6.3 解谜：信息论生得晚，也装备好
原因藏在一个时间差里。
一门理论能走多快，很大程度上取决于开工时手上有什么工具。牛顿建立力学时，微积分还得自己边造边用，慢是必然的。而香农1948年动工时，他要用的两样核心工具，概率论和对数运算，早已成熟。尤其是概率论，柯尔莫哥洛夫刚在1933年把它彻底公理化，香农等于是拿着一套刚成型的精密工具去盖楼，自然又快又整齐。
所以"承重墙难加"，不等于"这门理论不大"。它只是生得晚，赶上了好装备，把本该分几代人干的活，一次干完了。这栋楼的封闭，是成熟的标志，不是浅薄的证据。
而且它也不是真的彻底封死。网络信息论，也就是研究多个用户同时在一张网里收发（想想一个基站同时服务几百部手机）时的极限，到今天都还没被完全解决，证明这门学问远不是一具标本。只是它最完整、最无可争议的部分，落在了通信和编码这块地上。WiFi、5G、硬盘纠错、深空通信，全是它的直系领土。在这块原生的战场上，信息论已经赢得太彻底，没必要再去别的地方证明自己。
那么问题来了，它跑去人工智能那边，混得怎么样？
# 七、信息论与AI（上）：尺子进了，理论没进
## 7.1 信息论在AI里到底做了什么
很多人对信息论和AI的关系，印象停留在"哦，就是那个交叉熵损失函数嘛"。这个印象太小看它了。信息论在机器学习里的地盘，其实成片连块。
KL散度撑起了变分推断和变分自编码器（VAE，一种生成模型），金马（Diederik P. Kingma）和威林（Max Welling）在2013年那篇奠基论文里，目标函数里就端坐着一个KL项。对比学习这几年火得一塌糊涂，它的InfoNCE损失，范登奥德（Aaron van den Oord）等人在2018年提出时，打的就是"最大化互信息"的旗号。还有最大熵强化学习，让智能体在拿高分的同时保持行为的随机性，别过早钻牛角尖，代表作是2018年的Soft Actor-Critic。率失真理论直通今天的神经网络压缩。就连衡量大语言模型好坏的困惑度（perplexity），本质也就是交叉熵取个指数。
所以说信息论"只贡献了一个交叉熵"，是彻底的误会。它的词汇表，KL、互信息、最大熵、率失真，几乎渗进了现代AI每一个角落。但看得越清楚，另一个问题也越明显。
把这些工具摊开看，你会发现它们的共同身份只有一个，目标函数，或者叫评价指标。
换句话说，信息论给AI的，几乎全是一块"记分牌"。交叉熵告诉你模型这次预测错得有多离谱，困惑度告诉你语言模型好不好，互信息告诉你两个表示之间关联有多强。它们都是尺子，是裁判手里的记分器，量得又准又好用。
但记分牌回答不了更深的问题。为什么一个模型在没见过的数据上也能表现好（泛化）？为什么随机梯度下降这种看着很笨的方法，居然能在亿万个参数里找到好解？为什么模型越大、数据越多，效果就越好（scaling）？
这些问题问的是"为什么行"，是机理，是解释。而信息论递过来的全是"行得怎么样"，是度量。尺子再精密，也量不出它自己为什么该这么长。信息论进了AI的门，却主要留在评价指标和目标函数的位置上，没有成为解释深度学习的总理论。
## 7.2 泛化：AI最难解释的地方
要理解信息论为什么进不去核心，得先弄明白深度学习最难解释的地方，泛化。
泛化，就是模型在没见过的数据上表现好。你拿一百万张猫狗照片训练一个模型，训练时它答得再好都不算数，因为它完全可以靠死记硬背蒙混过关。真正的考验是，给它一张训练时从没出现过的照片，它还认不认得出。认得出，叫泛化好，认不出，叫过拟合，也就是只会背题、不会举一反三。
泛化为什么重要？因为AI的全部价值就在这儿。一个只会复述训练数据的模型一文不值，我们要的是它能应对没见过的新情况。深度学习最大的谜，恰恰是它为什么泛化得这么好，参数量动辄比训练样本还多几个数量级，按老派统计学的直觉早该疯狂过拟合，可它偏偏不。谁能解释清楚这件事，谁就摸到了AI的心脏。
## 7.3 信息瓶颈：最接近的一次尝试
信息瓶颈（information bottleneck）这个方法，其实早在1999年就由蒂什比（Naftali Tishby）、佩雷拉（Fernando C. Pereira）和比亚莱克（William Bialek）提出。它离AI这颗心脏最近的一次尝试，发生在2015到2017年，主角还是物理学家出身的蒂什比。这也是信息论解释深度学习时最精彩的一段实证故事。
蒂什比和合作者提出，深度网络的训练分两个阶段。先是"拟合"阶段，网络拼命记住训练数据。然后是一个漫长的"压缩"阶段，网络把和任务无关的信息一点点挤出去，只留下真正有用的。他们认为，正是这个用信息论语言描述的"压缩相变"，解释了深度学习为什么能泛化。2017年一篇叫《打开深度神经网络黑箱》（Opening the Black Box of Deep Neural Networks via Information）的论文把这个说法推向高潮，连《量子杂志》都发文欢呼黑箱终于被撬开了。
热闹了没多久，2018年，萨克斯（Andrew M. Saxe）领衔的一篇论文给了这个故事一记重击。他们指出，那个漂亮的"压缩阶段"很大程度上是个假象，是因为蒂什比用了tanh这种两头会饱和的激活函数才冒出来的。换成如今更常用的ReLU激活，压缩阶段常常压根不出现。他们还发现，就算有压缩，它和泛化好坏之间也没有清晰的因果关系，有些不压缩的网络照样泛化得很好。更别提在这种确定性网络里，互信息这个量本身在数学上就没法好好定义，估出来的数值高度依赖你怎么切分数据。
信息论最有希望解释深度学习的一次尝试，就这么哑了火。它给了一个太动听的故事，很多人愿意信，但实验没站在它这边。
## 7.4 为什么它进不了核心
这次失败不是偶然，背后有两个结构性的原因。
第一个是技术上的。互信息和熵这些量，在低维、分布已知的通信场景里算得又快又准，可一进到深度学习动辄成千上万维的空间，它们就基本估不准了。有理论工作证明，想在高维里对互信息给出一个靠谱的下界，需要的样本量会随着互信息的大小指数爆炸。工具本身在AI的地形上失灵了。
第二个原因更根本，两门学问瞄的靶不同。经典信息论最擅长处理统计规律清楚、信源和信道可以建模的问题，你知道信源大致怎么出字，才谈得上编码和容量。可AI最难解释的是泛化，考验恰恰发生在训练分布之外的新样本上。一个擅长"已知统计规律下的最优传输"，一个追问"没见过的样本上为什么还能举一反三"，出发点本来就不同。
还有最后一刀，扎在信息论自己身上。就连交叉熵这块"信息论对AI的独家贡献"招牌，细究起来也不是它一家的。
交叉熵损失在机器学习里的真身，其实是最大似然估计（MLE），一个纯粹的统计学方法，源头在统计学家费舍尔（Ronald A. Fisher）那里。最小化交叉熵，数学上完全等价于最大化似然，也就是"调参数，让模型觉得训练数据出现得最合理"。这个等价关系是精确的，不是类比。
所以交叉熵这个AI天天在用的东西，它的血统里，信息论、统计学、物理（通过熵这个概念）各占一份，谁也不能独吞。信息论对AI最实打实的那点贡献，落到根上，也是三方共有的遗产。讲到这儿，信息论和AI的关系似乎已经很清楚了，一把好尺子，进不了核心。但故事还留着另一半，藏在第五章那座平行的楼里。
# 八、信息论与AI（下）：压缩即智能，唯一可能的例外
## 8.1 另一支血脉：学习即压缩
前面七章的悲观结论，只针对香农那一支，也就是关于通信的信息论。别忘了，信息论还有第五章那座平行的楼，柯尔莫哥洛夫和算法信息论。香农这一支给不了AI解释，但柯尔莫哥洛夫那一支，也许给得了。
这条路的核心，是一个大胆到有点哲学味的等式，学习，就是压缩。
这个想法一说破，会让人心头一动。一个模型如果能把一堆数据压得越狠，说明它越是抓住了数据背后的规律。
道理并不玄。压缩的唯一办法，就是发现规律。一段"01"重复一百万次的数据能被极度压缩，因为它规律极强。一段真正随机的乱码压不动，因为它没规律可抓。反过来推，一个模型能把训练数据压得越小，就越说明它没在死记硬背，而是真的学到了生成这些数据的那套内在规律。压缩率，于是成了"智能"的一种度量。
在这个视角下，预测和压缩是一枚硬币的两面。你越能准确预测下一个词，就越能给它分配更短的编码，从而压得越狠。一个语言模型每次预测下一个token，其实就是在对整段文本做无损压缩。柯尔莫哥洛夫那把"最短程序"的尺子，在这里第一次从哲学变成了可操作的目标。
这枚硬币怎么翻，背后有一条精确的机械。算术编码遵一条铁律，一个符号出现的概率是p，最优编码就分给它log2(1/p)个比特，越可能的符号编得越短。语言模型每一步做的，正是给下一个token派一个概率，它押给真正出现的那个词的概率越高，算术编码就把这段文本压得越短。预测得准和压得狠，在数学上是同一件事的两种说法。
这里恰好和第七章那把尺子接上了头。模型训练时死命压低的交叉熵，数值上正好等于它给整段文本编码所需的平均比特数。所以训练一个语言模型去降交叉熵，和训练它把语料压到最小，是同一个动作。第七章说交叉熵这把尺子进不了AI的核心，可换到柯尔莫哥洛夫这一支的视角，这把尺子量的东西恰恰是压缩，而压缩这条线，有机会从"度量"走向"解释"。
## 8.2 从奥卡姆剃刀到大模型
这条路的思想根系，正是第五章埋下的那条线。所罗门诺夫的归纳推理，奥卡姆剃刀的数学化，能解释数据的最短程序就是最好的理论。
把这句话和"学习即压缩"并排放，它们说的是同一件事。最好的模型，就是能把世界压得最狠、描述得最短的那个。这套思想在AI圈一直有拥趸，物理学家胡特（Marcus Hutter）甚至在2006年设了一个Hutter奖，专门奖励能把一段维基百科文本压得最小的算法，他的立论就是，压缩能力直接等价于智能。这条线几十年不温不火，却在大模型时代突然被重新点亮。
2023年，这个老想法结结实实地撞进了大模型的现场。
DeepMind那年发了一篇论文，标题直接就叫《语言建模就是压缩》。他们用严格的数学说明，一个训练好的语言模型配上算术编码，就是一个货真价实的无损压缩器，而且大模型压缩通用数据的能力，比zip、PNG这些专用压缩软件还强。
强到什么程度，值得摆出具体数字。他们拿一个主要在文本上训练的Chinchilla 70B模型，去压它从没专门学过的数据。图像上，它把ImageNet的图块压到原大小的43.4%，图像专用的PNG只能压到58.5%。音频上，它把LibriSpeech的语音压到16.4%，专门压音频的FLAC只到30.3%。一个靠读文字长大的模型，反手把压图片、压声音的老牌工具都比了下去。
同一年，研究者雷（Jack Rae）在斯坦福做了一场叫《为通用人工智能而压缩》的报告，把"更好的压缩约等于更强的智能"这个论点摆到了台面中央。
于是"压缩即智能"成了信息论重返AI前沿讨论的活口。当人们试图解释大模型为什么这么能打、scaling law为什么成立、"压缩到底等不等于理解"时，柯尔莫哥洛夫这条线，是信息论手里唯一还能接得上话的牌。香农那一支在第七章败下阵来，柯尔莫哥洛夫这一支却在这里续上了。
## 8.3 反方：压得越狠，就等于越聪明吗
把这条线唱高之前，得先给它泼两盆冷水，因为它有两个绕不过去的窟窿。
一个窟窿，在那个模型本身要不要算进去。严格的最短描述长度原则说得很清楚，一份数据的总描述长度，等于模型的复杂度，加上"用了模型之后还剩多少没压掉的残差"。你把模型做得越大，残差当然越小，可模型自己也越占地方。DeepMind那份漂亮的43.4%，算的只是残差这一半，没把70B参数、上百GB的模型算进去。真要把模型的体积也摆上秤，这笔压缩账立刻没那么好看。诚实的问法应该是，模型加残差的总和，到底有没有比原始数据短。
有意思的是，这个窟窿反过来给scaling law添了一条注脚。模型越大，残差压得越狠，但模型自己的体积也在涨，两头一拉扯，对一份给定的数据，就存在一个不大不小、刚刚好的模型尺寸。压缩这个视角因此不只是个漂亮比喻，它能推出关于"该把模型做多大"的具体预言，这也是DeepMind那篇论文被认真对待的原因之一。
另一个窟窿更伤及要害。压缩衡量的是你把已经见过的数据描述得多短，可智能真正难的地方，是面对没见过的情况还能应对。研究者肖莱（François Chollet）在2019年的《论智能的度量》里主张，衡量智能的正确标尺是学新任务的效率，看它面对一个从没见过的问题时，能多快、多省地学会应对。压缩率量的是对旧数据的掌握，肖莱在意的是对新任务的适应，两者未必是一回事。一个把训练数据压到极致的模型，也可能只是台了不起的记忆和内插机器。压缩率高，到底是真懂了，还是背得特别巧，光看压缩率分不出来。
## 8.4 悬而未决、
那么，压缩到底是不是智能的真正解释？
我的态度是保持悬而未决。诚实地讲，"预测等于压缩"这个数学等价是硬的，无可辩驳，DeepMind那篇论文也确实拿数据说了话。但从"能压缩"跳到"就是理解、就是智能"，这一步更多还是一个动人的哲学命题，不是一条被证明的定理。它可能是打开AI的一把真钥匙，也可能只是又一个太好听、让人忍不住想信的隐喻，就像信息瓶颈曾经那样。
这个问题我不打算替你下结论。它现在是活的，还在被一线的人激烈争论，这本身就比一个盖了棺的答案更有意思。
# 结语
写《控制论》那篇的时候，我给它和AI的关系下过一句判词，控制论是骨架进了AI，名字没进。反馈、闭环、目标这些骨架被AI照单全收，"控制论"这个名号却没人再提。信息论这一篇，可以配一个下联，尺子进了AI，理论没进。它的度量工具渗进了每一个损失函数，那套本想解释智能的"理论"，却始终没能真正登堂入室。
两篇的结尾，我都想留一个开口。控制论那个开口，我留给了具身智能。信息论这个，留给柯尔莫哥洛夫和"压缩即智能"这条线。在信息论所有支脉里，它是唯一还有机会从一把"尺子"长成一套"解释"的。可第八章也把话说明白了，这条线自己还有两个没堵上的窟窿，模型的体积算不算进这笔压缩账，压得狠到底等不等于会举一反三。开口是真开着，风会不会吹进来，现在谁也不敢打包票。
说到底，信息论并不缺一个新战场。它在自己的原生疆域里赢得太彻底，你每一次打开手机、连上WiFi、扫一个二维码、从硬盘里读出一张不曾损坏的老照片，用的都是它一手划下的极限、一手造出的码。到了AI这边，它是个带着神兵利器来帮忙的外援，打的是客场。
所以"Information Theory for AI"这个说法，和"Physics for AI"一样，听着响亮，落到实处却还只是半句口号。它把全场最好的尺子递了过来，能不能顺着这把尺子摸到那把解开智能的钥匙，得看AI自己往下走。
## 作者其它文章（选）
- AI可解释性综述
- AI for Science 详细介绍（中）：资本与格局
- Skill是什么：写给零基础
- 元宇宙衰亡史：炒作，破产，谁赚走了钱？
- AI 大V 人物小传（下）
- 区块链的叙事是如何崩塌的
- 人工智能的工程全景（下）：Agent 全解
- 美国风险投资简史
- 什么是 MCP · 长篇科普
- AI 大V 人物小传（上）
- 一篇文章讲清楚美国的移民系统
- 一文讲清楚美国医疗系统
- 细说美国的华人老钱家族
- 美国的犹太人和华人分别抢到了什么资源？详细分析
- 一篇文章看懂美国教育全生态
- AI圈大V名单（名单不断扩充中）
- 什么是控制论？控制论是AI的上辈子吗？
- 祖父积分学概论
- 教宗良十四世论人工智能（精华版）
- Vibe Reading：AI 时代读书的系统化方法
## 相关链接
- [snowboat](https://x.com/snowboat84)
- [@snowboat84](https://x.com/snowboat84)
- [AI可解释性综述](https://x.com/snowboat84/status/2075374060637503560)
- [AI for Science 详细介绍（中）：资本与格局](https://x.com/snowboat84/status/2075095303389413496)
- [Skill是什么：写给零基础](https://x.com/snowboat84/status/2074652382299132237)
- [元宇宙衰亡史：炒作，破产，谁赚走了钱？](https://x.com/snowboat84/status/2074278858988380322)
- [AI 大V 人物小传（下）](https://x.com/snowboat84/status/2073554517065609544)
- [区块链的叙事是如何崩塌的](https://x.com/snowboat84/status/2073195935883288671)
- [人工智能的工程全景（下）：Agent 全解](https://x.com/snowboat84/status/2072831459925307704)
- [美国风险投资简史](https://x.com/snowboat84/status/2072469163852124401)
- [什么是 MCP · 长篇科普](https://x.com/snowboat84/status/2072106695040565615)
- [AI 大V 人物小传（上）](https://x.com/snowboat84/status/2071743676649509122)
- [一篇文章讲清楚美国的移民系统](https://x.com/snowboat84/status/2057980486501433383)
- [一文讲清楚美国医疗系统](https://x.com/snowboat84/status/2055081426744422697)
- [细说美国的华人老钱家族](https://x.com/snowboat84/status/2062326581776011623)
- [美国的犹太人和华人分别抢到了什么资源？详细分析](https://x.com/snowboat84/status/2063049247805837815)
- [一篇文章看懂美国教育全生态](https://x.com/snowboat84/status/2054359249917210633)
- [AI圈大V名单（名单不断扩充中）](https://x.com/snowboat84/status/2069206740546343372)
- [什么是控制论？控制论是AI的上辈子吗？](https://x.com/snowboat84/status/2064496706042069340)
- [祖父积分学概论](https://x.com/snowboat84/status/2056533111983493136)
- [教宗良十四世论人工智能（精华版）](https://x.com/snowboat84/status/2059434342745866391)
- [Vibe Reading：AI 时代读书的系统化方法](https://x.com/snowboat84/status/2050008577511973253)
- [Upgrade to Premium](https://x.com/i/premium_sign_up)
- [11:17 AM · Jul 11, 2026](https://x.com/snowboat84/status/2075781603847188852)
- [1,069 Views](https://x.com/snowboat84/status/2075781603847188852/analytics)
- [View quotes](https://x.com/snowboat84/status/2075781603847188852/quotes)
---
*导出时间: 2026/7/11 13:19:06*