Wiki 知识库

全部文档 / 标签: 智能爆炸

5 篇
清除

Hinton、Bengio 等 20 多位研究者联名发论文:AI 正在接手 AI 研发,智能爆炸可能不远了

剑桥大学 AI 科学与政策项目发布论文,Hinton、Bengio 等 20 多位顶尖研究者联名讨论 AI 研发自动化可能引发的智能爆炸。数据显示 Anthropic 审核代码中 AI 写的比例已超 80%,AI 可独立完成的研发任务时长每 3 个月翻一番。若研究投入回报率 r 维持 1.2-1.9,约 1.5 年后 AI 进步速度将达现在 10 倍。论文分析了算力、数据等四类刹车因素,指出能力失控、人类失去监督、权力制衡失效三类风险,并提出透明报告、能力上限、应急预案三条政策建议,强调必须现在开始准备。

技术 › LLM 宝玉 (@dotey) 2026-10-036.5 KB 71

一文读懂 RSI:AI 能自己变得越来越聪明吗?

文章系统科普了递归式自我改进(RSI)的概念:会反思、改答案或保存记忆并不等于真正的自我进化。真正的 RSI 要求改动深入权重、工具或研发流程,且升级后的系统能更有效地进行下一轮升级。文章梳理了从输出级、学习级、工作流级到研发级的技术进展(Self-Refine、STaR、DGM、AlphaEvolve 等),解释了完整 RSI 尚未出现的原因:评估困难、奖励投机、边际收益递减与减速机制。最后给出安全治理框架和判断 RSI 声明真伪的八问验货清单。

技术 › LLM Cloris 2026-09-2217.7 KB 64.2K 101 85

RSI真的临近了吗?AI开始改进AI,但“智能爆炸”还差关键一跳

文章探讨递归自我改进(RSI)是否临近。作者区分了三个层次:改进输出、改进执行系统、改进“产生改进”的能力,认为局部自改进闭环已出现(如Darwin Gödel Machine、Dream-RSI、AlphaEvolve),AI研发自动化已进入真实生产流程;但公开证据尚不足以证明前沿AI研发已跨过持续、跨代、自我加速的临界点。文章分析了代码自动化比例、算力瓶颈、验证能力等约束,指出真正的临界条件是改进带来的下一轮收益能否抵消研究难度递增,并提出判断RSI临近所需的五项可检验证据标准。

技术 › LLM AI超元域 2026-09-1723.3 KB 3K 4 78

一个27岁的AI研究员从Anthropic辞职了,因为他担心AI会导致人类灭绝

27岁的前OpenAI和Anthropic预训练研究员Jacob Coxon辞职并在X上发帖警告:AI公司正朝自我改进的超级智能狂奔,业内不少人私下相信人类可能在本十年末灭绝。Anthropic对齐负责人公开支持其观点。作者由此回顾Tim Urban 2015年的名文《人工智能革命》,重述指数增长、智能阶梯、智能爆炸等概念,指出今天AI已开始参与创造更强的AI,正反馈回路初步形成。人类站在灭绝与永生的平衡木上,作者希望超级智能最终能把人类撞向物种永生而非灭绝。

技术 › LLM 数字生命卡兹克 2026-09-1014.6 KB 62.1K 199 53

硅谷7000人失眠夜:AGI与自我进化的临界点

文章描述了2026年初硅谷因AI爆发性进展而产生的集体焦虑。从Matt Shumer关于“判断力”AI的描述,到OpenAI利用模型自我构建的事实,指出“智能爆炸”已进入正反馈循环。文章引用投资人王利杰的观点,分析了免费版与付费版AI的认知差,并给出了行动建议。作者认为,算力成本限制了AGI的无限进化,人类应关注决策层优势,将AI视为工具而非威胁。

技术 › LLM kvc.eth 2026-02-1611.5 KB 705.4K 1K 75