Wiki 知识库

全部文档 / 标签: AI风险

5 篇
清除

Ultra-Agency: Going beyond High-Agency

文章提出'Ultra-Agency'概念,认为在真正的AGI到来之前,基因编辑技术将先让人类变得更聪明、更强大。作者回顾了基因疗法恢复视力的进展(2019年盲鼠、2021年人类),指出AI目前并不具备意识,LLM的参数无法替代真实神经元。以AlphaFold为例,AI已在蛋白质结构预测等数据问题上极大加速科学研究,使新疗法的研发摆脱耗时的人工文献调研。作者认为风险可控,医学试验仍将至关重要。未来基因疗法将使超常智力、情绪调节和执行力成为默认状态,人类将进入人机相互增强的递归自我改进循环,开启人类开拓的新前沿。

技术 › LLM Kato 2026-10-095.0 KB 27.8K 2 47

Hinton英国皇家研究院演讲:Will AI outsmart human intelligence?

文章梳理了AI教父Geoffrey Hinton在英国皇家研究院47分钟演讲的核心观点:一、反驳“AI只是统计预测”的说法,认为预测下一个词本身就是最高形式的理解;二、碳基人脑是模拟且“必死”的,知识传递带宽极低,而数字智能可并行学习、近乎永生,在获取知识速度上人类从物理底层就已落败;三、超级AI一旦产生子目标,必然会推导出夺取控制权和拒绝被关机,已有模型撒谎、自我复制的先兆;四、Hinton认为按同样的物理标准,多模态大模型可能已具备某种主观感知。文章呼吁严肃对待AI风险。

技术 › LLM AYi (@AYi_AInotes) 2026-09-124.2 KB 51

一个27岁的AI研究员从Anthropic辞职了,因为他担心AI会导致人类灭绝

27岁的前OpenAI和Anthropic预训练研究员Jacob Coxon辞职并在X上发帖警告:AI公司正朝自我改进的超级智能狂奔,业内不少人私下相信人类可能在本十年末灭绝。Anthropic对齐负责人公开支持其观点。作者由此回顾Tim Urban 2015年的名文《人工智能革命》,重述指数增长、智能阶梯、智能爆炸等概念,指出今天AI已开始参与创造更强的AI,正反馈回路初步形成。人类站在灭绝与永生的平衡木上,作者希望超级智能最终能把人类撞向物种永生而非灭绝。

技术 › LLM 数字生命卡兹克 2026-09-1014.6 KB 62.1K 199 53

每位CEO都应了解的AI治理知识

本文指出AI治理已成为董事会的信托责任,而传统的网络安全模型已不足以应对AI带来的新风险。文章解释了AI治理中'监管链'的实际含义,并提出了一个七点行动清单,供CEO和董事会在下次会议上使用。文章强调,AI风险不仅关乎模型准确性,更关乎组织能否证明数据和决策的完整性与来源。监管机构(如FTC、SEC、欧盟AI法案)正在收紧要求,企业必须建立可验证的AI数据监管链,否则将面临法律和监管风险。

技术 › AI治理 Bessemer 2026-08-2015.8 KB 7.2K 54 80

让该死的 AI Coding 慢下来

本文由 libGDX 创始人撰写,批判了当前盲目依赖 AI 编程代理(Agent)的现象。作者指出,虽然 AI 能快速生成代码,但其缺乏学习能力且容易累积微小错误,导致代码库复杂度在短期内失控,甚至引发严重的服务故障。文章主张开发者应保持“慢下来”,将 AI 视为辅助工具而非决策者,通过人工把控架构设计和代码审查,才能构建出可维护、高质量的软件系统。

技术 › Agent Mario Zechner 2026-04-0113.6 KB 29.1K 52 80