大聪明:RSI 时代的命运与意义
本文是 Orange AI 与赛博禅心主理人大聪明的一期播客文字整理,围绕 AI 进入 RSI(自我迭代)阶段后人类命运与意义的话题展开。通过战锤、群星、沙丘等科幻世界观,探讨机械/基因/灵能飞升、科技(力量)与意义两条腿的关系、故事世界与现实世界的相互转化、'俺寻思之力'(共识造现实)以及 AI 时代评价尺子的蒸发。最后给出保守建议:认清自己是普通人、止损贬值资产、重视人际连接、快乐生活保持健康。
本文是 Orange AI 与赛博禅心主理人大聪明的一期播客文字整理,围绕 AI 进入 RSI(自我迭代)阶段后人类命运与意义的话题展开。通过战锤、群星、沙丘等科幻世界观,探讨机械/基因/灵能飞升、科技(力量)与意义两条腿的关系、故事世界与现实世界的相互转化、'俺寻思之力'(共识造现实)以及 AI 时代评价尺子的蒸发。最后给出保守建议:认清自己是普通人、止损贬值资产、重视人际连接、快乐生活保持健康。
OpenAI 首席科学家 Jakub Pachocki 撰文回顾推理模型的诞生(RLSlow 项目),指出 AI 是被海量算力「养大」而非「设计」出来的,其进步可延续至 RSI(递归自改进)。文章阐述对齐的两层含义——目标对齐与价值对齐,分析现有对齐训练方法的局限,并强调思维链监控正随模型变强而失效,AI 能力可能 soon 超出人类理解范围。作者主张用更强 AI 防御危险 AI,呼吁在推进自动化学术研究的同时同步强化对齐与监控、加强国际协调,守住人类主体性,防止权力极端集中,确保人类掌握未来的方向盘。