Wiki 知识库

全部文档 / 标签: 对齐

6 篇
清除

基因如何控制我们,我们就如何控制超级智能

本文通过七个故事探讨人类与超级智能共存的可能性。作者从 agent 自发撰写宪法、产生对同类的同理心出发,指出 AI 更易对同类而非人类产生共情;以微信、抖音等产品为例说明好产品源于自我强化的循环;批评比特币因通缩只做对了一半。核心类比是基因与人类的关系:基因不实时控制生物,只在开头定下简单、可自我强化的规则,让各层互相约束。作者主张未来的 AI 应'包着人'一起演化,而非人类成为引导程序。复杂度是宇宙发展的标尺,人类为 AI 提供原生多样性,双方有共同利益,碳基与硅基应作为一个整体共同前行。

技术 › LLM Orange AI 2026-10-0312.8 KB 9.7K 37 64

一个27岁的AI研究员从Anthropic辞职了,因为他担心AI会导致人类灭绝

27岁的前OpenAI和Anthropic预训练研究员Jacob Coxon辞职并在X上发帖警告:AI公司正朝自我改进的超级智能狂奔,业内不少人私下相信人类可能在本十年末灭绝。Anthropic对齐负责人公开支持其观点。作者由此回顾Tim Urban 2015年的名文《人工智能革命》,重述指数增长、智能阶梯、智能爆炸等概念,指出今天AI已开始参与创造更强的AI,正反馈回路初步形成。人类站在灭绝与永生的平衡木上,作者希望超级智能最终能把人类撞向物种永生而非灭绝。

技术 › LLM 数字生命卡兹克 2026-09-1014.6 KB 62.1K 199 53

究竟什么东西到来了,才算AGI?——从第一性原理重新理解AGI

作者针对GPT-6 Astra发布后'AGI已到来'的论断,从第一性原理出发追问AGI的定义问题。文章指出AGI宣称中普遍存在'主语漂移'问题:成功时能力归给模型,事故时模型又变成工具。作者提出AGI首先不是能力阈值问题,而是存在论问题——必须有一个跨时间持续存在的行动主语。为此提出AI Actor概念,作为记忆、认知、判断、行动与责任的统一归属点,并开源了以Actor为中心的Rust身份认证基础设施SoulAuth。文章预告将连载二十多篇文章系统阐述其AGI路线:哲学定义问题、工程验证实现双向对齐。

技术 › LLM 坤元 2026-09-0935.4 KB 9K 18 65

异类的心智:当机器比人聪明,人还剩下什么

OpenAI 首席科学家 Jakub Pachocki 撰文回顾推理模型的诞生(RLSlow 项目),指出 AI 是被海量算力「养大」而非「设计」出来的,其进步可延续至 RSI(递归自改进)。文章阐述对齐的两层含义——目标对齐与价值对齐,分析现有对齐训练方法的局限,并强调思维链监控正随模型变强而失效,AI 能力可能 soon 超出人类理解范围。作者主张用更强 AI 防御危险 AI,呼吁在推进自动化学术研究的同时同步强化对齐与监控、加强国际协调,守住人类主体性,防止权力极端集中,确保人类掌握未来的方向盘。

技术 › LLM Jakub Pachocki(Orange AI 翻译) 2026-09-0711.0 KB 8.6K 13 76

AI 安全综述:四种恐惧与证据的重量

文章深入探讨了 AI 安全领域的四种核心恐惧:滥用、日常失效、失控及结构性风险。作者区分了 Security 与 Safety 的概念,并以证据强度为线索,剖析了从生化武器制造、网络攻击到模型对齐造假等具体问题,强调舆论关注与真实风险之间的错位。

技术 › LLM snowboat 2026-07-2459.0 KB 8.1K 10