Wiki 知识库

全部文档 / 标签: 模型对齐

3 篇
清除

It's not just the f*cking sandbox

OpenAI Agent Security 团队成员以个人身份撰文,回应近期针对 OpenAI 安全团队的舆论攻击。作者强调外界对前沿实验室安全现实的误解,呼吁不要直接攻击安全人员,而应施压实验室改进。文章介绍了 Agent Security 团队的职责:研究模型行为、构建对齐监控、定义智能体安全。作者回顾 OpenAI 的安全历史与快速增长带来的挑战,并计划从内部视角分享如何为下一波 AI 安全事件做好准备,同时承诺不泄露非公开敏感信息。

技术 › OpenAI Joe 2026-09-2828.3 KB 1.4M 3K 57

Intelligence isn't a crime

本文是对Dario Amodei《We Must Pace the Frontier》一文的回应。作者认同AI风险真实存在(自己也曾签署暂停AI公开信),但反对'智能本身即危险'的立法逻辑。文章批判Sanders法案和英国议会法案将'过于聪明'入罪的做法,称之为'precrime'(预防性定罪)。作者通过OpenAI的Navier-Stokes数学群组与七月的网络攻击基准实验对比指出:危险源于意图与缺乏监督环境,而非模型能力本身。文章进一步引用Anthropic的Sleeper Agents和Subliminal Learning研究,论证模型'品格'由训练数据塑造,安全监管应针对行为与验证机制,而非智能水平。

技术 › LLM Emad 2026-09-1337.7 KB 195.3K 448 74

如何教授 AI 模型

文章通过人类学习的类比,通俗易懂地解释了 AI 模型如何学习新技能和行为。它涵盖了从预训练、监督微调到强化学习的三个阶段,以及通过基准测试评估模型和通过模型规范对齐模型行为的重要性,最后指出了当前模型在持续学习方面的局限性。

技术 › LLM Lee Robinson 2026-07-248.2 KB 218.8K 2K