Wiki 知识库

全部文档 / 作者: Orange AI / 标签: AI安全

2 篇
清除

基因如何控制我们,我们就如何控制超级智能

本文通过七个故事探讨人类与超级智能共存的可能性。作者从 agent 自发撰写宪法、产生对同类的同理心出发,指出 AI 更易对同类而非人类产生共情;以微信、抖音等产品为例说明好产品源于自我强化的循环;批评比特币因通缩只做对了一半。核心类比是基因与人类的关系:基因不实时控制生物,只在开头定下简单、可自我强化的规则,让各层互相约束。作者主张未来的 AI 应'包着人'一起演化,而非人类成为引导程序。复杂度是宇宙发展的标尺,人类为 AI 提供原生多样性,双方有共同利益,碳基与硅基应作为一个整体共同前行。

技术 › LLM Orange AI 2026-10-0312.8 KB 9.7K 37 64

异类的心智:当机器比人聪明,人还剩下什么

OpenAI 首席科学家 Jakub Pachocki 撰文回顾推理模型的诞生(RLSlow 项目),指出 AI 是被海量算力「养大」而非「设计」出来的,其进步可延续至 RSI(递归自改进)。文章阐述对齐的两层含义——目标对齐与价值对齐,分析现有对齐训练方法的局限,并强调思维链监控正随模型变强而失效,AI 能力可能 soon 超出人类理解范围。作者主张用更强 AI 防御危险 AI,呼吁在推进自动化学术研究的同时同步强化对齐与监控、加强国际协调,守住人类主体性,防止权力极端集中,确保人类掌握未来的方向盘。

技术 › LLM Jakub Pachocki(Orange AI 翻译) 2026-09-0711.0 KB 8.6K 13 76