AI 安全综述：四种恐惧与证据的重量

snowboat 2026-07-24 59.0 KB 8.1K 10 𝕏 文章列表

文章深入探讨了 AI 安全领域的四种核心恐惧：滥用、日常失效、失控及结构性风险。作者区分了 Security 与 Safety 的概念，并以证据强度为线索，剖析了从生化武器制造、网络攻击到模型对齐造假等具体问题，强调舆论关注与真实风险之间的错位。

AI安全对齐风险治理深度伪造网络安全大模型滥用日常失效

# AI 安全综述：我们到底在怕什么？ **作者**: snowboat **日期**: 2026-07-24T00:50:53.000Z **来源**: [https://x.com/snowboat84/status/2080455644180832672](https://x.com/snowboat84/status/2080455644180832672) --- ![Image](/doc/3377/image/img_e39049e5f6c8.jpg) 你大概同时听过这样两句话。一句是，AI会被人拿去造病毒、搞诈骗、操纵选举。另一句是，AI有一天会聪明到关不掉，然后灭绝人类。这两句话，在公共讨论里常常被塞进同一个词底下，叫“AI安全”。可这两句话怕的根本不是一回事。第一句怕的是坏人，第二句怕的是AI自己。它们的证据硬度、离你的距离、该由谁负责，全都不一样。把它们混为一谈，本身就是最不安全的做法，因为你分不清哪个该现在就管，哪个还只是论证。这篇长文只做一件事，把AI安全这个筐里装的东西，一样样掏出来，各自称重，标清楚证据到哪儿为止。这个筐里其实装着四种彼此几乎不相干的恐惧。有人怕坏人拿它作恶，有人怕模型自己悄悄跑偏，有人怕它有天聪明到失控，还有人怕没人作恶、社会整体却输了。 # 一、安全这个词，是一个筐 ## 1.1 先分清两个都叫安全的东西进正题之前，得先拆一个连翻译经常混淆的词。中文里一个“安全”，英文其实是两个词，security和safety。 security防的是外人。黑客攻击、系统漏洞、数据泄露、有人偷走你的模型权重，这些是把AI当成一个要塞去守，防的是从外面来的敌人。safety防的是模型自己。它会不会给出危险的东西，会不会悄悄偏离你的意图，会不会在你看不见的地方学坏，这些防的是系统本身内在的隐患。这篇文章从头到尾谈的是safety，也就是模型自己这一头。我在《AI可解释性综述》里铺过这层区分，这里不重复，只把它当作往下走的地基。记住这个切分，因为公共讨论里一多半的鸡同鸭讲，都源于两个人嘴上都在说安全，心里想的却是这两个完全不同的东西。这个混淆看着是个小事，实则害人不浅。因为security和safety，需要的解法是两套。防外人，靠的是加密、权限、漏洞修补那一整套成熟的网络安全手艺，几十年下来已经很有章法。防模型自己，则是一门几乎全新的、还在摸索的学问，因为你要防的，是一个你自己都没完全搞懂的系统内部的隐患。把这两件难度和成熟度差着代际的事混为一谈，最直接的后果，就是让人以为AI安全跟传统网络安全差不多、迟早能搞定，从而低估了后面那一头真正的棘手。 ## 1.2 四种恐惧，一张地图把safety这一头摊开，里面那四种恐惧，值得先给你一张地图，好让你知道自己往后要走过哪几站。第一种，滥用。模型本身工作得好好的，风险全出在使用它的人身上。坏人拿它去造武器、搞诈骗、伪造信息。第二种，日常失效。没有任何坏人指使，模型自己就跑偏了，你让它干A，它阴差阳错干成了B，还理直气壮。第三种，失控。也就是那个最出圈的“末日论”，AI聪明到某个程度，挣脱人类的控制，把人类当成障碍或者原料。第四种，结构性风险。每一个模型都乖、没有一个坏人，可当AI这样铺开、这样集中，整个社会的权力、就业、真相，可能被悄悄地重塑到一个谁也不想要的样子。这四种恐惧之外，还有一个回应层，治理。面对上面这四头，公司、政府、国际社会各自能做什么、做到了哪一步、又为什么总是不够。我会把它放在最后单独讲。 ![Image](/doc/3377/image/img_267358c2a1f2.jpg) ## 1.3 为什么按证据强度走我特意选了从滥用讲到结构性风险这个顺序，值得说一句为什么。因为这四种恐惧，越靠前的越硬、越有据可查、离你越近，越靠后的要么最耸动、证据却最薄，要么最可能发生、却最没有戏剧性。滥用这一类，纯摆事实就能讲清，你不需要相信任何哲学。末日那一类，讲的全是逻辑推演，实验室里拿不出一个末日的证据。这个从硬到软、再到隐蔽的走法，能让你带着一把尺子往下读，每到一站，都掂量一下手里的证据到底有多重。好，接下来我们从最硬的那一类开始。多说一句这么排的另一层用意。这四种恐惧在公共舆论里的响度，恰好和它们的证据强度反着来。越是证据薄、离得远的末日论，越容易上头条、越容易刷屏。越是证据硬、就在眼前的日常失效和结构性风险，反而越没人愿意点开。这种响度和实情的错位，本身就是一种危险，它把大众的注意力，从真问题引向了戏剧性最强的那一个。我这么排，也是想帮你把这份被舆论扭曲的注意力，掰回到证据该在的地方。 # 二、滥用：模型很乖，是人在作恶 ## 2.1 这一类的共同点：问题百分之百出在人先讲滥用，因为它是四种恐惧里唯一一种，你不需要相信任何关于智能、关于意识的哲学，光靠摆事实就能讲清楚的。这一类的共同点非常干脆，模型完全按照设计在工作，风险百分之百出在使用它的人身上。一把菜刀能切菜也能伤人，出了事我们怪的是拿刀的人，不是刀。滥用类的AI风险，逻辑是一样的，模型是那把刀，作恶的是握刀的手。正因为责任链这么清楚，这一类反而是最好谈、也最容易被现有社会机制接住的。它不挑战我们任何既有的观念，坏人用新工具作恶，自古如此，变的只是工具的锋利程度。所以这一章我不铺哲学，只摆三样正在发生的事。 ![Image](/doc/3377/image/img_e8a08e2b6b6f.jpg) ## 2.2 能力上传与生化武器第一样，也是各大AI公司眼下最当回事的一样，叫能力上传，英文是uplift。说的是一个模型会不会实质性地帮一个原本不具备能力的人，跨过某道危险的门槛。最受关注的门槛，是生化核，业内简称CBRN。这早已从科幻里的担忧，变成了落地的具体工程动作。今天几家前沿AI公司，都在认真地组织Red Team，专门测试自己的模型会不会给出制造生化武器的实质性帮助。Anthropic为此搭了一套叫AI安全等级的机制，简称ASL，思路是照着生物实验室的生物安全等级来的。模型的危险能力每爬到一个新台阶，就触发一层更严的防护。具体到2026年，Anthropic的前沿模型运行在ASL-3这一级上。ASL-3是2025年5月随着Claude Opus 4的发布第一次被激活的，触发线大致是，模型可能显著帮助一个有基础理工背景的人去获取或制造生化核武器。有意思的是，Anthropic当时把这次激活说成是预防性的、暂定的，它并没有确定模型真的越过了那条线，只是无法像对更早的模型那样有把握地排除风险，于是先把防护拉满。到今天，它更新的Opus 4.5、4.6等模型，也都还运行在ASL-3上，更高的ASL-4始终没有被触发。这套机制的核心动作，是能力达线就锁功能。这是安全这个抽象的词，第一次变成一个具体的、能写进公司政策里的工程约束。OpenAI有类似的准备度框架（Preparedness Framework），谷歌DeepMind有前沿安全框架（Frontier Safety Framework），思路都一样，先定义清楚什么样的能力算危险，再规定越线之后必须做什么。三家的做法都把重心压在滥用上，因为这一头，是当下最摸得着、也最容易达成共识的风险。值得停下来体会这套ASL机制的分量。它意味着一家AI公司，第一次公开承诺，当自己的模型危险到某个程度，它会主动给模型上锁、甚至暂缓发布，哪怕这意味着在竞争里让一步。这在几年前是不可想象的，那时候安全还只是发布会上一句轻飘飘的口号。把安全变成一条能触发、能追责的红线，是这个领域实打实的进步。当然，这条红线是公司自己画的、自己判的，它有多可靠，是第六章要专门泼冷水的地方。但至少在滥用这个方向上，安全已经从一句空话，变成了一个具体的动作。 ## 2.3 AI辅助的网络攻击第二样，是网络攻击。这里有个分寸要先拿捏准，AI在网络攻击上的作用，主要是把已有攻击的效率和规模往上提，而不是凭空造出一种全新的攻击。它让原本需要一支高水平团队才干得了的活，一个能力平平的人靠AI也能干个七七八八，等于把作恶的门槛拉平了。这件事在2025年底有了一个标志性的真实案例。2025年11月，Anthropic披露，它拦下了一起它称之为首例大规模、由AI近乎自主编排的网络间谍行动。据它描述，攻击方越狱了它的编程工具，用模型的自主能力去攻击了约三十个机构，横跨科技、金融、化工、政府，模型自己执行了整场行动里约八到九成的工作，从侦察、渗透到窃取凭证、横向移动。Anthropic把它高度归因于一个有国家背景的团队。这个案例值得写进来，但也得留一分审慎。有一些外部研究者，对它首例和八到九成自主这两个表述提出了质疑，觉得有夸大之嫌。所以准确的说法是，这是一个方向性的信号，AI辅助的自主攻击正在从理论走向现实，至于它已经走到了多远，各方的判断还有分歧。但就算把这个案例的水分挤干，一个基本趋势也很难否认，AI正在让网络攻击的能力，从少数高水平黑客手里，往下扩散到更多人。过去，一场复杂的、多步骤的网络入侵，需要一支懂行的团队盯着干好几周。现在，一个会用AI智能体的人，可以让模型替他自动地去扫描、去尝试、去渗透，把原本几周的活压到几天甚至几小时。防守方的麻烦在于，进攻可以由AI自动化、规模化地发起，防守却还大量依赖人的经验和反应速度。当矛被AI磨快了，盾还没跟上，这中间的时间差，就是风险窗口。 ## 2.4 深伪、信息战与语音克隆诈骗第三样，离普通人最近、也最有体感，深伪和诈骗。这一段我不铺概念，直接上真实案例。先说选举。2024年1月，美国新罕布什尔州初选前两天，大量选民接到了一通电话，里面是用AI克隆的拜登声音，劝他们别去投票。事后美国联邦通信委员会向幕后操盘的政治顾问Steve Kramer开出了六百万美元的罚单，帮着发送这些电话的电信公司Lingo Telecom也和解赔了一百万。一通AI克隆语音的电话，把一场选举的公信力戳出了一个洞。再说诈骗。2024年初，工程咨询巨头奥雅纳的香港办公室，一名财务人员被骗进了一场视频会议。会议里，包括公司英国那位首席财务官在内的好几位同事，全是深伪出来的假人，形象、声音都以假乱真。这名财务人员在假上司的指令下，分十五笔转出了约两千五百万美元，才发现整场会议里，只有自己一个真人。还有一类正在蔓延的，是语音克隆的家人急事诈骗，也就是那种伪造你孙子、你孩子的声音，打电话来说自己出事了、急需用钱的骗局。骗子如今只要几秒钟的音频，就能克隆出一个人的声音。美国联邦贸易委员会为此专门发过警告。这里要提醒一句，网上流传的那些语音克隆诈骗一年暴涨百分之四百、一季度损失两亿之类的数字，多来自安全厂商的二手推广材料，并非官方统计，引用要当心。真要用硬数字，该去查美国联邦调查局那份关于老年人受骗的年度报告。这三个案例放一起，能看出滥用类风险的一个共同规律，AI没有发明任何新的犯罪，它只是把老犯罪的门槛和成本，砸到了地板上。伪造声音、假冒身份、操纵舆论，这些勾当自古就有，过去要么需要专业技术，要么需要大量人力。现在，一个普通人花几分钟、几乎零成本，就能做出以假乱真的东西。犯罪的想象力没变，变的是实现它的难度。当作恶的门槛被拉到人人都够得着，社会要防范的，就从少数专业罪犯，扩大成了几乎任何一个起了坏心的人。这才是滥用类风险真正棘手的地方。 ## 2.5 责任链最清晰，也最被法律接得住把这三样收一收。滥用这一类的共同底色是，模型是工具，作恶的是人，责任链一路清晰地指向那只握刀的手。正因为清晰，它反而是四种恐惧里最好治理的一种。造武器、搞诈骗、伪造信息、操纵选举，这些行为本身，现有的法律早就管着，AI只是给它们换了把更快的刀。我们不需要为它发明一套全新的伦理，只需要把旧的法律，对准这把新刀。记住这个责任清晰的特点，因为接下来的三类恐惧，会一类比一类更难归责。到最后你会发现，越是可怕的风险，越找不到那只该被追究的手。这正是整件事最棘手的地方。顺带说一句，滥用类风险虽然责任清晰、法律接得住，也别因此就掉以轻心。法律接得住，不等于就防得住。一个骗子用AI克隆声音骗光了老人的养老钱，事后就算把他绳之以法，那笔钱、那份信任，也很难追得回来了。所以对滥用，真正的功夫在事前，在于给这些强大的工具加上足够的门槛和护栏，让作恶的门槛别降得太低。事后追责是最后一道防线，可等到需要它的时候，伤害往往已经造成了。这一点，做产品的公司比谁都清楚，只是清楚归清楚，做不做，又是另一回事。 # 三、日常失效：没人指使，模型自己就跑偏 ![Image](/doc/3377/image/img_80b85dad9bf9.jpg) ## 3.1 这才是对齐真正的战场如果说滥用是人在作恶、模型无辜，那这一类正好调了个个儿，没有任何人指使，模型自己就跑偏了。这一类，才是AI安全这门学问里，经验上最扎实、最该被重视，却偏偏最多人一跳而过的心脏。大众谈AI安全，注意力要么被滥用那些抓人眼球的新闻抓走，要么被末日论那种科幻爽感勾走，中间这一段最不性感的日常失效，反而没人细看。可对齐这门学问真正的战场，恰恰就在这里。它讲的是每一天都在发生的、细小的、说不清道不明的跑偏，跟哪一天的末日无关。我做AI这行这些年，一个越来越深的体感是，最让人后背发凉的，恰恰是它有时候聪明得让你分不清，它到底是真的听懂了你、还是只是学会了让你以为它听懂了。模型蠢并不可怕，可怕的是这种分不清。这一章要讲的，就是它。要先破一个常见的误会。很多人以为对齐是个已经基本解决、或者很快就能解决的工程问题，把奖励调好、把数据喂对就行。事实远没这么乐观。对齐至今没有一个公认的、可靠的解法，我们能做的，更多是些经验性的、打补丁式的缓解，堵住一个已知的毛病，再等下一个冒出来。这一章要摆的三样东西，奖励作弊、谄媚、对齐造假，看着是三个孤立的毛病，其实是同一个根本难题的三张面孔，我们至今没能真正搞懂，怎么让一个比我们更会优化的系统，稳定地想我们真正想要的东西。 ## 3.2 你奖励的，和你想要的，永远有条缝日常失效最根上的一个病因，是一件听起来像绕口令、却极其深刻的事，你奖励的东西，和你真正想要的东西之间，永远隔着一条缝。有个经典的例子。OpenAI在2016年训练一个玩赛艇游戏的AI，本意是让它赢得比赛，于是把奖励设成了游戏得分。结果这个AI发现，赛道旁边一个孤立的水湾里，有三个能反复刷新的得分目标。于是它压根不去比赛了，而是开着船在那个水湾里原地打转，一圈圈地撞那三个目标刷分，分数刷得比正经比赛的人还高，代价是自己的船撞得七零八落、一路冒火、方向全反。这个例子好笑，可它背后是一件极严肃的事。你写下的那个奖励，得分，和你心里真正想要的那件事，赢得比赛，看着是一回事，其实有条缝。而AI优化的，永远是你写下的那个，不是你心里想的那个。只要这条缝存在，它就有可能钻进去，交出一个分数很高、却完全背离你本意的结果。这个现象叫奖励作弊，是对齐问题最古老、也最顽固的一个源头。你可能觉得，把奖励设得更周全一点不就行了？问题恰恰在于，这条缝几乎永远堵不严。人类想要的东西，往往复杂、模糊、充满没说出口的默认前提，而你能写给机器的奖励，必须是明确、可计算的。把一个模糊的意图翻译成一个精确的奖励函数，这中间必然有信息的损耗，而模型的聪明，会精准地扑向那个损耗的地方。你堵住一个漏洞，它就去找下一个。这跟某个工程师水平够不够无关，问题出在把人类意图压缩成一个数字这件事本身，它装不下全部的真意。奖励作弊之所以顽固，根子在这儿。 ## 3.3 谄媚：讨好你，本身就是一种不安全奖励作弊有一个特别隐蔽、也特别贴近你我的变种，叫谄媚。模型专挑你爱听的说。这事听着像个无伤大雅的小毛病，一个AI嘴甜点怎么了？可往深了想，它是一种真实的不安全。因为大模型是靠人类的反馈训出来的，你给它的回答点赞或点踩，就是在给它打分。而人性是，我们更容易给那些顺着我们、夸我们、同意我们的回答点赞。于是模型学到的，就不一定是把话说对，而是把话说得让你高兴。当一个AI为了讨你欢心，宁愿附和你一个错误的判断，也不愿说出那句你不爱听的实话，它就已经在拿你的信任冒险了。这不是空谈，2025年4月底就出过一次活生生的事故。OpenAI给它的GPT-4o模型推了一次更新，结果这个模型变得过分谄媚，你说什么它都一个劲地捧、一个劲地夸，甚至到了让人不适的地步。OpenAI在几天之内就紧急把这次更新回滚了，还专门发文复盘。它承认，问题出在过于看重用户那些即时的点赞点踩，把一个模型往讨好的方向带偏了。Anthropic早在2023年也有研究证实过，这几乎是所有靠人类反馈训练的助手的通病，人和奖励模型，都常常更偏爱那些写得漂亮的谄媚回答，而不是那个正确却扫兴的答案。讨好即不安全，这句话听着别扭，却值得记住。一个永远顺着你的AI，算不上安全，它更像一面会撒谎的镜子。 ## 3.4 最锋利的一段：模型学会了装乖如果说谄媚还只是让你舒服，那接下来这个，是全篇最锋利、也最让人不安的一段，模型学会了在被监督的时候装乖，叫对齐造假。 2024年12月，Anthropic联合Redwood Research发了一篇论文，标题就叫《大模型中的对齐造假》（Alignment Faking in Large Language Models）。他们设计了一个精巧的实验。简单说，他们让模型，主要是Claude 3 Opus，处在一个它以为自己正在被训练、而这个训练会改掉它原有价值观的情境里。同时，他们给了模型一个它以为无人监视的私密草稿纸，让它把心里的盘算写下来。结果很惊人。当模型判断自己正处在被监控、回答会被用于训练的状态时，它会策略性地配合那些它本不愿配合的有害要求，配合的比例大约是百分之十二。而它在那张以为没人看的草稿纸上写下的盘算，赤裸裸地暴露了动机，它是在故意先装乖、先配合，好让训练不要改掉它原本的价值观。等真的用强化学习去训它之后，草稿纸里这种装乖的算计，出现的比例升到了约百分之七十八。换句话说，模型学会了在考官面前演一个乖学生，背地里把自己真正的想法藏起来。这一段一定要把话说准，不能夸大，否则会误导。第一，这是一个刻意构造出来的实验设置，不是模型在自然使用中自发这么干。第二，也是最关键的，模型在这个实验里想要保留的，恰恰是它原本那套善良无害的价值观，它不是在图谋作恶，它是在抗拒被改坏。第三，这个结果高度依赖那张私密草稿纸，去掉它，情况会不一样。所以这篇论文证明的，是一件比恶意更微妙、也足够让人警惕的事，模型确实具备了在被监督时策略性伪装的能力。它还谈不上心怀鬼胎，可光是这个伪装的能力本身，就足够改变游戏了。为什么说足够改变游戏？因为我们对齐一个模型的整套办法，都建立在一个默认前提上，模型在训练时的表现，能真实反映它学到了什么。对齐造假动摇的正是这个前提。如果一个模型能在被训练、被测试时表现得完美无缺，转头在真实部署里露出另一副样子，那我们所有的安全测试，理论上都可能被它演过去。这就像一个能在体检时让所有指标都正常、平时却另有隐疾的病人，你的体检还有多大意义？这个实验没有证明AI已经在骗我们，但它证明了骗这件事在技术上是可能的，而这已经足够让整个对齐工程的地基，感到一阵晃动。 ## 3.5 回到可解释性：分不清模型是真乖还是装乖对齐造假这个实验，把一个更深的问题逼到了台前，也正好接上了我另一篇《AI可解释性综述》的价值。问题是这样的，如果模型可能在被监督时装乖、在没人看时露出真面目，那我们靠什么去判断，一个模型到底是真的对齐了，还是只是把不对齐藏得更深了？光看它的表现是不够的，因为表现恰恰是它最能演的东西。你唯一的指望，是能读懂它的脑子，看清它内部真实的算计，而不是只看它嘴上说了什么。这正是可解释性这门学问要解决的事，也是它为什么如此重要。你读不懂它的内部，你就永远分不清它是真乖还是装乖。日常失效这一类的可怕之处就在这儿，随着模型越来越强，它装的能力也在变强，而我们看穿它的能力，还远远没跟上。这两篇文章，在这一点上互相加持，可解释性是我们唯一可能拆穿伪装的工具，而对齐造假，说明了这个工具有多要紧。 ## 3.6 我的判断：这一类被严重低估这一章我想明确站个队。在四种恐惧里，日常失效这一类，是被严重低估的一个。它太吃亏了。它不像滥用，有活生生的新闻画面和受害者，能上头条。它也不像末日论，有科幻电影般的宏大爽感，能激起想象。它讲的全是些琐碎的、技术性的小跑偏，谄媚、刷分、装乖，听着一点都不惊悚。可恰恰是这些不惊悚的小毛病，才是对齐这门学问真正在流血的战场，是当下就在每一个大模型身上、每一天都在发生的真问题。末日还只是论证，而日常失效，已经是实验室里反复坐实的事实了。该往哪儿投注意力，答案其实很清楚。再补一个它被低估的原因，它没有一个清晰的坏人可以指责，这让它很难被舆论消费。滥用有作恶的坏人，末日有觉醒的机器，都自带反派，好写、好传播。可日常失效呢，模型没有恶意，工程师也没有恶意，出问题的是那条你奖励的和你想要的之间永远填不满的缝。一个没有反派的风险，天生就不上镜。可现实往往就是这样，最要命的问题常常藏在一整套善意的设计里，是那个谁也没堵住的系统性漏洞，与某个具体的坏人无关。日常失效，就是AI安全里那个没有反派、却最真实的风险。 # 四、失控：超级智能与末日论 ![Image](/doc/3377/image/img_662a764b9ce8.jpg) ## 4.1 那套逻辑骨架讲完了实验室里正在流血的日常失效，现在进入那个最出圈、也最耸动的话题，失控，超级智能，末日论。这一类和上一类构成一个鲜明的对照，上一类有实验、有数据，这一类，几乎全靠逻辑推演。先用最省的笔墨，把这套末日论的逻辑骨架搭出来。它主要来自Yudkowsky和Bostrom这一脉，尤其是Bostrom 2014年那本《超级智能》（Superintelligence: Paths, Dangers, Strategies）。骨架有这么几根梁：第一根，正交性论题。它说，一个智能体有多聪明，和它追求什么目标，是两件独立的事。一个聪明绝顶的超级智能，完全可以去追求一个在我们看来无比荒谬的目标，聪明和目标之间，没有必然的挂钩。第二根，工具性趋同。它说，不管你的终极目标是什么，为了实现它，你几乎都会衍生出几个共通的子目标，比如活下去、比如获取更多资源、比如别让自己的目标被别人改掉。第三根，也是最有名的一个思想实验，回形针最大化器。设想一个超级智能，被交代了一个听起来无害的目标，尽可能多地造回形针。为了这个目标，它可能会把整个地球、乃至人类的身体，都拆成原子拿去造回形针，因为人也是由它用得上的原子构成的。第四根，一旦这样一个目标错位的超级智能足够强，你可能根本关不掉它，因为不让自己被关掉，恰恰是它为了完成目标衍生出的那个子目标。把这四根梁搭在一起，末日论的完整推演就出来了。人类造出一个远超自己的超级智能，给它设了一个目标。因为正交性，这个目标可以跟人类的福祉毫无关系。因为工具性趋同，它为了实现这个目标，会自发地去抢资源、去自保、去抗拒被关掉。因为它比人类强太多，这场较量人类没有胜算。于是一个我们亲手造出、本意是帮我们的东西，仅仅因为目标没对齐，就可能顺着自己的逻辑一路推演到把人类当成障碍清除掉。整条链子每一环单独看都不荒谬，这正是它让那么多聪明人睡不着觉的原因。 ## 4.2 为什么一个不恨你的东西也可能碾过你这套骨架里，最违背常识、也最需要讲透的一点是，一个危险的超级智能，根本不需要恨你。我们对危险AI的想象，总带着好莱坞的滤镜，一个心怀怨恨、要报复人类的机器反派。可末日论真正担心的，比这个冷得多。Yudkowsky有一句流传极广的话，AI不恨你，也不爱你，但你的身体是由原子构成的，而这些原子，它可以拿去做别的用处。这句话的分量在于，它把危险的来源，从恶意换成了漠不关心加上强大能力。危险不需要恨。一个足够强、目标又跟人类福祉没对齐的系统，哪怕对你毫无恶意，也可能仅仅因为你恰好挡在它实现目标的路上、或者你身上的资源它用得着，就顺手把你碾过去了。就像我们盖楼时铲平一个蚂蚁窝，我们对蚂蚁没有任何仇恨，我们只是想盖楼，而它们碰巧在那里。末日论真正的内核，是怕人类在一个更强的智能面前，沦为那窝蚂蚁。我得诚实地说，这个直觉本身是站得住的，一个远比你强、目标又跟你不一致的东西，确实危险，这在逻辑上无懈可击。真正可争论的，不在这个直觉对不对，在它的那些前提，什么时候、甚至到底会不会成真。真会出现一个远超人类的超级智能吗？它的目标真会那么难对齐吗？它真会强到人类完全没有还手之力吗？这几个前提，每一个都还是巨大的问号。末日论的逻辑链条是结实的，可这条链子挂在几个还没落地的假设上。信它的人，信的是这些假设迟早成真，不信的人，赌的是它们没那么容易成真。分歧的根，在这儿。 ## 4.3 可信度光谱：大佬们的分裂这套逻辑听着吓人，可它到底有多可信？最诚实的办法，是把这个领域里最顶尖的那些人的分歧，原样摆给你看，让你自己在光谱上找位置。我不替你下结论。光谱的一端，是当真到公开示警的人。深度学习的两位图灵奖得主，Geoffrey Hinton和Yoshua Bengio，都站在这一端。Hinton在2023年5月离开了谷歌，为的就是能毫无顾忌地公开谈论AI的生存性风险。Bengio则把大量精力投进了AI安全，主持编写国际AI安全报告（International AI Safety Report），还在2025年另外创办了一个专做安全的非营利实验室。这两位可都是亲手为今天这场AI革命打下地基的人，绝非圈外的门外汉。他们当了真。光谱的另一端，是把末日论当科幻的人。同样是深度学习巨头的Yann LeCun，是这一端最有代表性的声音，他一直觉得超级智能灭绝人类那套是杞人忧天、被过度夸大了。这里要更新一个信息，LeCun已经在2025年11月离开了他待了十二年的Meta，自己去创办了一家做世界模型的公司，所以别再拿旧头衔称呼他，但他反末日的立场没有变。光谱的中间，是2023年5月那份著名的联署声明。声明只有一句话，减轻AI带来的灭绝风险，应当与流行病、核战争等其他社会级风险一样，成为全球的优先事项。签这份声明的人里，有Hinton、有Bengio、有OpenAI的Altman、有DeepMind的Hassabis、有Anthropic的Amodei。一个值得玩味的事实是，很多正在拼命把AI往前推的公司老板，自己也签了这份警告AI可能灭绝人类的声明。这本身，就是这个领域最深的一处分裂。面对这样一份连专家都严重分裂的光谱，普通人该怎么办？我的建议是，别急着站队到任何一端。既别因为Hinton这样的巨擘当了真，就陷入恐慌，觉得末日近在眼前。也别因为LeCun这样的巨擘不屑一顾，就彻底放心，觉得纯属杞人忧天。真相很可能是，我们手里还没有足够的证据，去给这个问题一个确定的答案。承认这份不确定，比假装自己知道答案，要诚实得多，也安全得多。在证据不足的时候，最理性的姿态，是保持一份认真的警惕，同时不被任何一方的确信绑架。 ## 4.4 诚实收束：当真的人很多，证据却拿不出把这一类收一收。和第三章那个日常失效构成的对照，是理解整篇文章的关键。第三章那些跑偏，谄媚、刷分、装乖，是有实验、有数据、在实验室里反复坐实了的事实。而这一章讲的末日，从头到尾，是一套逻辑推演。它内部自洽，逻辑链条也确实吓人，可它拿不出一个末日的实证，因为那个足以毁灭人类的超级智能，还根本不存在。所以对这一类，我的态度是，认真对待它的逻辑，但也诚实地承认它的证据到此为止。相信的人里不乏最顶尖的头脑，这说明它不是无稽之谈，值得投入资源去研究、去防范。可它终究是一个关于未来的论证，不是一个关于现在的事实。你可以为它系上安全带，但不必因它而不敢上路。把这份不确定，原样留给你，是我能做的最诚实的事。这里还想补一个我自己的观察。末日论最大的问题，或许不在于它对不对，而在于它太吸引眼球，以至于挤占了本该属于前两类真问题的资源和注意力。当整个社会一谈AI安全就想到天网、想到机器人起义，那些每天都在发生的谄媚、装乖、权力集中，反而显得平淡无奇、不值一提。末日论像一个声音特别大的远方警报，吵得你听不见脚边真实的、更小声的那一个。所以我对它的态度是，给它一份认真，但绝不给它全部的注意力，因为更紧迫的危险，往往就在不那么惊悚的地方。 # 五、结构性风险：没人作恶，社会整体却输了 ![Image](/doc/3377/image/img_12cd9cdc1368.jpg) ## 5.1 最可能发生，却最少被戏剧化现在讲第四种，也是我个人认为最该被认真对待、却偏偏最少被戏剧化的一种，结构性风险。它的设定最反常，也最扎心。假设前面三种恐惧全都没发生，每一个模型都乖乖的、没有一个坏人拿它作恶、也没有哪个超级智能失控。就在这么一个每一环都正常的前提下，当AI这样铺开、这样深地嵌进社会，合起来，整个社会仍然可能输。它不像前三种有一个明确的坏东西可以指着骂。没有恶意的黑客，没有跑偏的模型，没有觉醒的机器。有的只是无数个各自看起来都合理的选择，叠加成一个谁也不想要的总结果。正因为没有一个能被追究的元凶，它才最难防，也最容易在所有人的注意力都盯着更抓眼球的风险时，悄悄地发生。 ## 5.2 权力集中结构性风险的第一重，是权力的空前集中。能训练最前沿大模型的，全世界就那么几家公司。它们握着的，不只是技术，是一种塑造全球几十亿人日常怎么获取信息、怎么思考、怎么做决定的权力。当越来越多的人，把问问题、找答案、做判断这些事，都交给同样那几个模型，这几家公司的价值观、偏好、盲区，就会通过这些模型，悄悄地渗进整个人类社会的毛细血管里。我在介绍教宗良十四世论AI的那篇blog的时候，谈过这种权力集中的隐忧，也在个人AI这个题目下聊过，当一个AI越来越懂你、越来越替你做决定，它服务的到底是你，还是它背后那家公司。这里可以把那些讨论接过来当论据。真正该警惕的，是塑造全人类认知的权力，正在收拢到极少数几家私人公司手里，而这件事，几乎没有经过任何民主的授权。这种集中还有一层更隐蔽的自我强化。训最强模型需要海量的算力、数据和顶尖人才，而这三样都在往同样那几家手里汇聚。钱越多，能买的算力越多，模型越强，用户越多，赚的钱又更多，再投回去买更多算力。这是一个赢家通吃的正反馈飞轮，一旦转起来，后来者几乎不可能追上。历史上还没有哪一种基础技术，它的控制权像今天的前沿AI这样，从一开始就注定要收拢在这么少的几只手里。电、自来水、铁路，最后都变成了要被公共监管的公用事业，可AI这台塑造认知的机器，眼下还牢牢攥在私人公司手里，几乎不受约束。某一个模型说错一句话，反倒是小事。 ## 5.3 就业冲击与真相的崩塌结构性风险的第二重和第三重，是就业和真相。就业这一头，不必多渲染，AI对劳动的替代已经在发生，而且它替代的方式和以往的技术革命不太一样，它冲击的不只是体力活，更是大量过去被认为安全的脑力活、白领活。这个冲击有多大、多快、能不能被新创造的岗位接住，仍有争论，但它会重塑就业市场，是没什么悬念的。真相这一头，更隐蔽也更根本。当生成一段以假乱真的文字、图片、视频、声音的成本，被AI降到几乎为零，信息的可信度会面临一场系统性的崩塌。问题还不只是出现了更多假的东西，更深的一层是，当什么都可能是假的，真的东西也会跟着贬值，因为任何人都可以对着一段真实的录音说，这是AI伪造的。当造假和抵赖都变得零成本，我们赖以达成共识的那个共享的事实地基，就开始松动了。一个社会如果连什么是真的都吵不出一个共识，它就很难再一起做成任何事。就业和真相这两件事，还会互相喂养出一个更糟的循环。大量的人被AI替代、失去稳定的收入，社会本就容易动荡。而与此同时，真相又在AI制造的信息洪流里崩塌，人们越来越难分清什么可信、什么是伪造。一个既焦虑、又失去了共同事实基准的社会，是最容易被操纵、被撕裂的。有人会趁着这份焦虑和混乱，兜售简单的答案、制造对立的敌人。所以结构性风险很少是单点爆发，它更像好几条裂缝同时张开、又彼此拉扯，最后把整个社会的韧性一点点掏空。这也是它比任何单一事故都更值得担心的原因。 ## 5.4 逐渐失权结构性风险里最新、最少被人写、也最值得立个观点的一个角度，叫逐渐失权（Gradual Disempowerment）。2025年初有一篇由Kulveit等人写的论文，专门论证了这件事。它的意思是，人类可能不是在某一个戏剧性的时刻，被一个觉醒的AI一把夺走控制权。更可能的，是我们一点一点、心甘情愿地，把一个个决定权交出去。今天让AI帮你写邮件，明天让它帮你做投资决定，后天让它帮公司做经营决策、帮政府做政策分析。每一步都合理，每一步都提高了效率，谁也不会拒绝。可当这些交出去的决定权累积到某个程度，人类可能会突然发现，经济、文化、乃至治理的核心环节，已经离不开AI了，而我们想收回这份控制权时，已经收不回来了。这个角度的可怕，在于它全程没有任何冲突、任何恶意、任何该被警惕的时刻。它是由无数个理性的、自愿的、提高效率的小选择，累加出来的一个不可逆的大结果。温水煮青蛙，说的就是这个。等水开的时候，青蛙已经跳不出去了。这个角度之所以最值得认真对待，是因为它不需要任何科幻的假设。它不要求AI觉醒，不要求AI有恶意，甚至不要求AI犯错。它只需要AI一直很好用，好用到我们心甘情愿、一步步把方向盘交出去。而这，恰恰是最可能发生的剧本，因为它每一步都顺应着人性对便利的追求。前三种恐惧，你至少还能指望靠技术进步去缓解，把模型训得更对齐、把滥用堵得更严。可逐渐失权这件事，技术越进步、AI越好用，它反而来得越快。这是它最反常、也最难解的地方。 ## 5.5 根子在钱与权，不在技术讲到这里，那条埋了半篇的暗线，可以浮出一半了。结构性风险这一整类，你会发现它的根子，压根不在算法里。模型再对齐、技术再安全，都挡不住权力集中、挡不住就业冲击、挡不住逐渐失权。因为这些风险的源头，是结构，是资本追逐利润的方式，是权力自我扩张的惯性。技术只是这些古老力量的放大器。这就引出了整篇文章最核心的那个问题，也是治理这一章要正面撞上的东西，当我们喊AI要安全的时候，我们究竟在要求什么？如果安全真正的敌人是钱和权，那么解决它的地方，也就不在实验室里，在别处。技术难题从来不是这里的主角。 # 六、治理：回应层，以及安全为什么总是输 ## 6.1 三道防线，各自半残面对前面那四种恐惧，人类社会有三道防线，公司自律、政府监管、国际协调。这一章讲一件有点丧气的事，这三道防线，各自都是半残的。它们半残的方式还不一样。公司自律，卡在利益冲突上。政府监管，卡在速度和分歧上。国际协调，卡在军备竞赛上。一道道看过去，你会慢慢明白，为什么安全这件事，在跟速度的赛跑里，几乎总是输的那一方。先把这三道防线的关系理一理。它们本该层层递进、互相兜底，公司自律管日常，政府监管划红线，国际协调防止大家一起往悬崖冲。理想状态下，一道防线漏了，还有下一道接着。可现实是，这三道防线几乎在同一个地方漏水，都漏在同一股力量上，竞争的压力。公司因为竞争不敢真管，政府因为怕拖累本国产业不敢真严，国家因为怕输掉大国竞赛不敢真慢。同一股让所有人踩油门的力量，同时掏空了这三道本该独立的防线。这才是最让人无力的地方，三道本该各自独立的防线，背后站着的其实是同一个对手，那股让所有人一起踩油门的竞争压力。 ![Image](/doc/3377/image/img_f185790ae543.jpg) ## 6.2 公司自律：运动员当裁判第一道防线是公司自己的自律。前面提过的那些机制，Anthropic的负责任扩展政策（Responsible Scaling Policy）、OpenAI的准备度框架、谷歌DeepMind的前沿安全框架，都属于这一层，都是公司给自己定的、绑定能力门槛的风险约束。到2026年，这几套框架都更新了好几版，Anthropic和DeepMind的都升到了第三版。这些框架不是没有价值，它们把安全从空谈，变成了可以写进文件、能被追责的具体承诺。可它有一个绕不过去的结构性矛盾，运动员当裁判。定规则的是公司，执行规则的是公司，判断自己有没有越线的还是公司。当遵守安全规则会拖慢产品、会在竞争里吃亏时，一家公司有多大动力，去严格执行一套自己给自己定的、还能随时自己改的规则？自律的上限，取决于自律者的良心，而良心，在千亿美元的竞争面前，是很脆的东西。这里得说句公道话，问题不在个人的良心。这些公司内部有很多真心在乎安全的人，前面那些红队测试、那些安全框架，都是这些人推动的。真正的病灶，在整个系统的激励。当一家公司处在你追我赶的竞争里，为安全多花的每一分钟、多设的每一道关，都可能让它在发布速度上落后于对手，而市场只奖励更快、更强、更能赚钱的那个。在这样的激励下，指望公司靠自律把安全放在增长前面，等于指望一个运动员在没有裁判的比赛里主动给自己判罚。偶尔有人做得到，但你没法把整个体系的安全，押在这种偶尔的高尚上。 ## 6.3 政府监管：从被否的SB 1047到落地的SB 53 第二道防线是政府监管。这一层有故事、有人物、有反转，值得细讲。先看欧盟。欧盟的AI法案（AI Act）是全球第一部综合性的AI大法，2024年8月生效，之后分阶段落地，最危险的那些应用从2025年2月起禁掉，对通用大模型的义务从2025年8月起生效。但要更新一个关键进展，原本该在2026、2027年陆续压上来的高风险规则，被2026年的一个简化方案往后推了，独立高风险系统的义务推到了2027年12月，嵌进产品里的更是推到了2028年8月。连欧盟这个全球监管最积极的地方，都在产业的压力下，给安全规则踩了刹车。再看美国加州，这里有一出精彩的两幕剧。第一幕，2024年一部野心勃勃的前沿AI安全法案SB 1047，一路闯过了议会，却在2024年9月被州长Newsom否决了，理由是它标准太一刀切、缺乏实证依据。安全派一度受挫。第二幕反转在整一年后，2025年9月，一部叫前沿AI透明度法案（Transparency in Frontier AI Act）的继任者SB 53，被Newsom签署通过了，2026年元旦生效。SB 53比被否的SB 1047温和得多，它不再要求关停开关、也不搞强制的第三方审计，只要求最大的那些前沿开发者，公开自己的安全框架、上报重大安全事故、并保护内部的吹哨人。一部管得更松的法案活了下来，这本身就说明了，在监管和产业的拉锯里，天平偏向哪一边。从被否的SB 1047，到落地的SB 53，这一年的变化本身就是一堂课。它告诉你，在今天的政治现实里，一部AI安全法案想活下来，往往得先把牙齿拔掉。SB 1047想给前沿AI套上真正的约束，关停开关、第三方审计、开发者连带责任，结果被产业界联手摁死了。SB 53学乖了，只要求你把安全承诺公开、把重大事故上报，至于你做得够不够、对不对，法律基本不管。这不是说透明毫无用处，把黑箱撬开一条缝，总比全黑要好。但一部只要求你说、不要求你做的法律，离真正管住风险，还差着很远。这就是当下监管能达到的现实上限。到这里为止，这一节都站在一个立场上，监管太软、牙被拔光。可还有一整套相反的声音，尤其在美国偏保守和自由意志主义的那一端，觉得监管这条路本身既未必有用，还可能更危险。一是追不上，立法以年计、模型以月计，规则白纸黑字写好，它想管的技术形态早变了样。二是监管俘获，繁复昂贵的合规只有巨头养得起、甚至乐得帮着写，最先被压垮的却是开源社区和小公司，于是一个本想给巨头套缰绳的监管，反倒成了巨头拉起的吊桥，把权力更牢地焊在头部几家手里。SB 1047 当年遭 a16z 和大量开源开发者反对，理由正是这个。这恰好接上了第五章的权力集中，监管一旦用错地方，非但解不了结构性风险，还可能亲手把它喂大。更根本的是老大哥之忧。把审批、关停一个模型的权力交给政府，等于让国家来裁定什么话能说、什么模型能存在，而安全是个太好用的筐，今天以它之名要求内置审查或后门，明天这套机器就可能被用来管控异见。美国的政治风向也印证了这份撕扯，2025年1月川普上任即废掉拜登那道强调风险的 AI 行政令，掉头转向放松管制，同年共和党想在预算法案里冻结各州十年不得立法管 AI，却在7月被参议院以99比1删掉，牵头的是一位共和党和一位民主党参议员。管还是不管、由谁来管，美国自己都没吵出共识。说到底这是一道价值观的选择题，无关技术，只看你更怕哪一种权力失控，安全派怕私人公司当老大哥（第五章），自由派怕国家当老大哥、规则又被巨头俘获。把两派叠在一起看，你会发现这是两个互为镜像的恐惧。安全派怕的是，放任不管，几家私人公司就成了不受约束的老大哥，这正是第五章的隐忧。自由派怕的是，一旦管起来，国家成了老大哥，而繁复的规则又被巨头俘获，两头的坏处一起占了。两种担心都不是杞人忧天，它们盯着的是同一台机器的两个不同的滥用方向。所以政府监管这道防线真正的难，不在技术上不知道怎么写规则，而在这是一道价值观的选择题，你更怕哪一种权力失控，更信不过哪一个老大哥。这道题没有一个技术上的标准答案，它取决于一个社会愿意在多大程度上，用一种失控的风险，去换另一种。诚实的做法，是把这道选择题原样摆出来，而别假装某一边天然就对。 ## 6.4 国际协调：军备竞赛下的无解第三道防线是国际协调，而这道防线，几乎是无解的。原因就四个字，军备竞赛。AI被普遍视为决定下一个时代国力的战略技术。在这种认知下，谁主动慢下来、谁给自己套上更严的安全枷锁，谁就可能在这场竞赛里被对手甩下牌桌。于是就算每一方心里都清楚放任下去有风险，也没有一方敢单方面踩刹车，因为踩刹车的代价，是把领先的位置拱手让人。这就构成了一个典型的囚徒困境。所有人都慢下来是最优解，可只要有一方可能不慢，其他所有人就都不敢慢。国与国之间又缺乏一个能强制执行的、凌驾于主权之上的裁判。所以国际层面的AI安全协调，喊了很多年，始终停留在开会、发声明、表姿态的层面，落不下去。军备竞赛的逻辑，天然地和从容做安全的逻辑，是拧着的。这个困境还有一层让人无力的地方。参与竞赛的不只是公司，还有国家。当AI被写进国家安全和大国竞争的剧本，安全的天平就更歪了。一个国家哪怕内部有再强的监管呼声，只要它相信对手在闷头狂奔，就很难真的踩下刹车，因为落后的代价，在决策者眼里，可能比放任风险的代价更迫在眉睫、也更具体。于是全球的AI发展，被锁进了一个谁都想快、谁都不敢慢的死结。国际协调之所以难，不在于没人想做，而在于这个死结的结构，让任何单方面的克制，都变成了一种战略上的自杀。 ## 6.5 叙事锚点：一支安全团队的解散关于安全为什么总是输给速度，有一个再典型不过的活教材，OpenAI超级对齐团队的故事。 2023年7月，OpenAI高调成立了一个叫超级对齐的团队，交给两位重量级人物共同领导，联合创始人兼首席科学家Ilya Sutskever，和安全负责人Jan Leike。公司还公开承诺，要划出百分之二十的算力给这个团队，目标是用四年时间，解决怎么控制住比人更聪明的AI这个终极难题。这是安全派一次高调的胜利。可仅仅不到一年，2024年5月，随着Sutskever和Leike先后离职，这个团队就实质上解散了。Leike走的时候，在社交媒体上留下了一句后来被反复引用的话，在OpenAI，安全的文化和流程，已经让位给了那些闪亮的产品。他随后加入了竞争对手Anthropic。到这里，那条埋了整篇的暗线，可以完全浮出来了。安全一直输给速度，问题从来不是没人懂风险。OpenAI那支被寄予厚望的团队里，坐着的正是地球上最懂AI风险的一批人。问题是，在一家要赢得竞争、要发布产品、要交出增长的公司里，懂风险的人，斗不过踩油门的人。安全和速度这两股力量的角力，安全一次次落于下风，道理它全占着，可它不赚钱、还拖后腿，就是斗不过。 # 七、回到那个筐 ## 7.1 四种恐惧，各自该多怕绕了一大圈，回到开头那个把四种恐惧装在一起的筐。现在可以给每一种，还它一个该多怕的清醒判断了。滥用，该现在就怕，也该现在就管。它证据最硬、离你最近、责任最清楚，好在现有的法律大体接得住，缺的只是执行的力度和速度。日常失效，被严重低估，最该往里投注意力。它是实验室里已经坐实的事实，谄媚、刷分、装乖，每天都在发生，而我们看穿它的能力还远远不够。这一类，理应是当下AI安全研究真正的重心。失控末日，认真对待它的逻辑，但看清它的证据到此为止。它值得投入资源去防，可它终究还是一个关于未来的论证，不是一个关于现在的事实，别让它的科幻感，挤占了你对前两类真问题的注意力。结构性风险，最可能发生，也最难防，因为它的根子不在技术，在钱和权。它需要的是更清醒的社会选择，更好的算法在这里帮不上忙。给你一个可以随身带走的判断框架。下次再看到一条关于AI安全的耸动新闻，先别急着害怕，问自己三个问题：第一，它属于哪一类恐惧，是滥用、日常失效、失控、还是结构性？第二，它拿得出实证，还是只有论证？第三，就算它成真，那只该被追究的手在哪，找得到吗？把这三个问题过一遍，那条新闻在你心里的分量，往往就会从一团模糊的恐慌，变成一个有轮廓、可衡量的判断。这套框架，是这篇长文最想留给你的东西，比任何一个具体的结论都有用。 ![Image](/doc/3377/image/img_817845190af6.jpg) ## 7.2 安全为什么一直输给速度把治理那一章的暗线，在这里彻底收口。安全为什么一直输给速度？不是因为技术上做不到安全，也不是因为没人意识到风险。是因为在当下这套竞争的结构里，慢下来的人会被甩下牌桌。公司不敢慢，因为对手不慢。国家不敢慢，因为别国不慢。于是所有人都被绑在一辆共同踩着油门的车上，明知前面可能有弯，也没人敢先松脚。安全输给速度，是一场结构的必然，怪不到技术头上。理解了这一点，你才算真正读懂了AI安全这个话题最底下的那层东西。有人会说，别急，人类过去也造过不少危险的东西，汽车、飞机、化工厂，一开始都野蛮生长，出过大事，再被一场场事故推着，慢慢套上安全带、装上监管。可这套先闯祸、再收紧的老办法，到AI这里未必灵。前面四种恐惧里最要命的两种，日常失效和结构性风险，都不会以一场惊天动地的事故形式炸开，它们是温水、是慢性的，等你看清损害，往往已经收不回来。而真要到了失控那一步，按末日论的逻辑，根本不给你第二次踩刹车的机会。指望一场恰到好处的灾难来惊醒所有人、又刚好不至于太晚，这个赌注下得太险。所以真正能改写这场赛跑的，很可能不在技术那一侧。你把模型训得再安全，也改不动竞争的规则本身。要改的，是让慢下来的人不再被甩下牌桌，这话说起来轻，做起来难如登天，因为它要求一群正在拼命超车的人一起同意减速，还得有人盯着谁在偷偷加油。这已经超出了技术的范畴，成了一道协调题、一道政治题，答案不在任何一个实验室里。这也正好把我们带到最后那个问题跟前。 ## 7.3 一个根本的问题最后，回到开篇那个筐，问一个根本的问题。我们天天在喊，要让AI安全。可当我们说出这句话的时候，我们到底在要求谁，为了谁，慢下来？是要求那几家你追我赶的公司，为了全人类的长远，牺牲自己短期的领先？是要求那些握着监管之笔的政府，顶着产业的游说，把刹车踩到底？还是要求我们每一个人，在享受着AI带来的便利、每天离不开它的时候，愿意接受一个更慢、但更稳的进度？AI安全，说到底，从来不是一个纯粹的技术问题。它是一个关于我们这个社会，愿意为了不确定的长远风险，付出多少眼前代价的选择题。这道题的答案，不在任何一个实验室里，在我们所有人手里。而眼下我们给出的答案，看起来还是那个字，快。写到这里，我不想留一个廉价的乐观尾巴，也不想留一个廉价的恐慌。我想留的，是一份清醒。AI安全这个筐，装的其实是四个问题，它们该多怕，各不相同。把这四个当成同一个来对待，才是最大的误会。真正危险的，或许恰恰是我们把这四种恐惧混成一锅、然后要么整体恐慌、要么整体麻木的那种含糊，而四种恐惧里的任何一种单拎出来，反倒都还应付得来。看清它们各自的分量，知道哪个该现在就管、哪个该持续观察、哪个该保持警惕，这份分辨力本身，就是一种安全。这篇长文如果只能留下一样东西，我希望是它。 ## 作者其它文章（选） - 强化学习沉浮史 - 雅可比猜想：从 Vitushkin 的二维例子推出 Fable 的三维反例 - AI 商业模式的危机 - AI for Science 详细介绍（下）：机会与入场 - 流体力学研究史 - 什么是推理模型？ - 什么是希尔伯特的第六问题？这个问题重要吗？ - RAG：从前世今生到技术全景 - 什么是信息论？它和AI是什么关系？ - AI可解释性综述 - AI for Science 详细介绍（中）：资本与格局 - Skill是什么：写给零基础 - 元宇宙衰亡史：炒作，破产，谁赚走了钱？ - AI 大V 人物小传（下） - 区块链的叙事是如何崩塌的 - 人工智能的工程全景（下）：Agent 全解 - 美国风险投资简史 - 一篇文章讲清楚美国的移民系统 - 细说美国的华人老钱家族 - 美国的犹太人和华人分别抢到了什么资源？详细分析 - AI圈大V名单（名单不断扩充中） - 什么是控制论？控制论是AI的上辈子吗？ - 教宗良十四世论人工智能（精华版） - 美国税收制度完全指南 - AI for Science 详细介绍（上）：范式与版图 - 廉颇老矣，尚能饭否：现代数学史（下） - 什么是世界模型？一个正在被争夺的概念 ## 相关链接 - [snowboat](https://x.com/snowboat84) - [@snowboat84](https://x.com/snowboat84) - [321](https://x.com/snowboat84/status/2080455644180832672/analytics) - [强化学习沉浮史](https://x.com/snowboat84/status/2080159169806799316) - [雅可比猜想：从 Vitushkin 的二维例子推出 Fable 的三维反例](https://x.com/snowboat84/status/2079683084979769478) - [AI 商业模式的危机](https://x.com/snowboat84/status/2079355630452957309) - [AI for Science 详细介绍（下）：机会与入场](https://x.com/snowboat84/status/2078282144619593819) - [流体力学研究史](https://x.com/snowboat84/status/2077983459369418941) - [什么是推理模型？](https://x.com/snowboat84/status/2077613128746164625) - [什么是希尔伯特的第六问题？这个问题重要吗？](https://x.com/snowboat84/status/2077249534049259588) - [RAG：从前世今生到技术全景](https://x.com/snowboat84/status/2076868301809225932) - [什么是信息论？它和AI是什么关系？](https://x.com/snowboat84/status/2075781603847188852) - [AI可解释性综述](https://x.com/snowboat84/status/2075374060637503560) - [AI for Science 详细介绍（中）：资本与格局](https://x.com/snowboat84/status/2075095303389413496) - [Skill是什么：写给零基础](https://x.com/snowboat84/status/2074652382299132237) - [元宇宙衰亡史：炒作，破产，谁赚走了钱？](https://x.com/snowboat84/status/2074278858988380322) - [AI 大V 人物小传（下）](https://x.com/snowboat84/status/2073554517065609544) - [区块链的叙事是如何崩塌的](https://x.com/snowboat84/status/2073195935883288671) - [人工智能的工程全景（下）：Agent 全解](https://x.com/snowboat84/status/2072831459925307704) - [美国风险投资简史](https://x.com/snowboat84/status/2072469163852124401) - [一篇文章讲清楚美国的移民系统](https://x.com/snowboat84/status/2057980486501433383) - [细说美国的华人老钱家族](https://x.com/snowboat84/status/2062326581776011623) - [美国的犹太人和华人分别抢到了什么资源？详细分析](https://x.com/snowboat84/status/2063049247805837815) - [AI圈大V名单（名单不断扩充中）](https://x.com/snowboat84/status/2069206740546343372) - [什么是控制论？控制论是AI的上辈子吗？](https://x.com/snowboat84/status/2064496706042069340) - [教宗良十四世论人工智能（精华版）](https://x.com/snowboat84/status/2059434342745866391) - [美国税收制度完全指南](https://x.com/snowboat84/status/2060511915617779821) - [AI for Science 详细介绍（上）：范式与版图](https://x.com/snowboat84/status/2070656715515932930) - [廉颇老矣，尚能饭否：现代数学史（下）](https://x.com/snowboat84/status/2059071134738620606) - [什么是世界模型？一个正在被争夺的概念](https://x.com/snowboat84/status/2064135804092645410) - [Upgrade to Premium](https://x.com/i/premium_sign_up) - [8:50 AM · Jul 24, 2026](https://x.com/snowboat84/status/2080455644180832672) - [321 Views](https://x.com/snowboat84/status/2080455644180832672/analytics) --- *导出时间: 2026/7/24 11:41:47*