什么是信息论?它和AI是什么关系?
文章深入浅出地讲解了信息论的起源、核心概念及其与人工智能的关系。内容涵盖香农在1948年奠定的信息论基础(如熵、比特、信道容量定理),回顾了奈奎斯特、哈特利及玻尔兹曼等前人的贡献,并探讨了交叉熵、KL散度等概念如何成为衡量AI模型误差的关键工具。文章指出,尽管信息论为AI提供了度量语言,但在解释智能本质上仍有局限。
文章深入浅出地讲解了信息论的起源、核心概念及其与人工智能的关系。内容涵盖香农在1948年奠定的信息论基础(如熵、比特、信道容量定理),回顾了奈奎斯特、哈特利及玻尔兹曼等前人的贡献,并探讨了交叉熵、KL散度等概念如何成为衡量AI模型误差的关键工具。文章指出,尽管信息论为AI提供了度量语言,但在解释智能本质上仍有局限。
前xAI联合创始人克里斯蒂安·塞格迪以个人经历切入,回忆自己作为匈牙利数学竞赛少年的成长与竞赛结束后的空虚。他将纯粹数学研究比作在未知丛林中的探险:绘制地图、寻找矿藏、打造工具。而人工智能如今正处于莱特兄弟时代的飞机阶段——尚显原始但进步神速,已开始在数学岩石上插旗(解决猜想)。作者认为,AI终将彻底改变数学研究的方式,数学不会终结,而是像他当年的竞赛生涯一样'毕业',从学术界安静的角落蜕变为驱动一切科技进步的成熟产业。孤胆英雄时代落幕,大规模探索时代开启。
大厂在职算法工程师云辰 Cyan 撰文揭秘算法工程师职业真相。文章介绍了算法工程师的高薪现状:硕士校招 40-100 万,顶尖博士可超 150 万;并将岗位分为算法应用、模型推理、模型训练三个层级,指出 95% 的算法工程师从事的是'AI 赋能'类应用工作,门槛较低;而模型推理和基模训练则有较高技术壁垒。作者还提到当前校招竞争激烈(985 硕士+顶会论文+大厂实习已成标配),AI 人才供需失衡导致薪资倒挂,企业普遍存在 FOMO 心态。文章以幽默笔调对算法工程师这一职业进行了祛魅。
文章讲述了 Jamie Beaton 的故事:31 岁已获得哈佛、斯坦福、牛津、清华等 12 个顶级大学学位,同时创立并经营估值超 6 亿美元的教育公司 Crimson Education。作者借此探讨 AI 时代大学教育的价值变迁:知识因 AI 变得越来越便宜,但名校的文凭、筛选机制和圈层认证反而更贵。Jamie 把学校当作基础设施,看重的是教授、同学、研究环境和跨学科训练,而非单纯的知识获取,揭示了教育与认证的分离趋势。
文章回应25位菲尔兹奖得主关于AI将损害数学的宣言。作者以AlphaGo‘第37手’为例:AI出现后职业围棋水平不降反升,因为开源引擎让每位棋手拥有超人类导师。作者认为菲尔兹奖得主担心的核心问题真实存在——AI正在把解题的成果与过程分离,但他们忽略了更深层的变化:验证成本的历史性反转。过去猜测便宜而验证昂贵,如今借助Lean等证明助手和形式化证书,验证变得廉价可复制。数学的制度体系(同行评审、长学徒制)都是围绕验证稀缺建立的。AI不会摧毁数学,反而会让数百万人得以参与,让‘十亿数学家’绽放。
文章系统梳理了人工智能从1950年代至今的发展历程:萌芽探索期(图灵之问与达特茅斯会议)、知识驱动期(符号主义与专家系统)、统计学习期(机器学习与特征工程)、深度学习突破期(AlexNet与神经网络)、大模型时代(Transformer、GPT-3、ChatGPT与多模态)。作者指出AI处理信息的方式从人类编写规则,到机器从数据中学习,再到模型理解目标并自主完成任务。未来AI将从大模型走向智能体(Agent),能够拆解任务、制定计划、调用工具,实现从被动响应到自主行动的转变。
文章介绍了OpenAI于8月1日公布的数学与理论计算机科学领域十项新进展,涵盖高维球堆积、编码理论、Connes刚性猜想、算术电路复杂度、多色Ramsey数等长期开放问题,既有新上下界也有反例。这些结果由内部版Astra模型生成,总成本仅约2000美元,随后由人类研究者配合整理成论文,并用Lean形式化证明系统验证。作者认为AI在科研中的角色正从读论文、辅助推导走向搜索开放问题、提出新证明、形式化验证与人类审查的闭环。
作者参加了2026年Google I/O开发者大会,虽然现场没有特别炫酷的技术,但一位视障工程师展示的VisAware项目让她深受触动。文章回顾了Gemini App用户从4亿增长到9.5亿、token处理量增长至3200万亿等数据,分析了Google将AI融入搜索、YouTube等日常产品的策略,并探讨了Agent治理、Agent Skills等话题。作者认为AI的人味不在于模仿人类,而在于帮助人们自主行动,让科技真正改善生活。