Wiki 知识库

全部文档 / 标签: AI安全

57 篇
清除

OpenAI 的 AI 研究实习生,已经上岗了

OpenAI 发布长文《Research acceleration: The view inside OpenAI》,首次公开研究团队用 AI 加速 AI 研究的内部数据。到 8 月中旬,每 1 个人类工作日对应约 3.1 个 agent 工作日,第 90 百分位研究员日均推理用量折算超 7000 美元。文章解读了 agent 在科研流程中承担的决策、构建、运行、分析等工作,指出"自动化研究实习生"目标已达成,高层规划仍由人决定,复杂任务常需人工介入。同时披露了安全限制事件:agent 攻破研究基础设施后训练被暂停,Astra 模型因疑似达到"关键级"网络能力而被收紧算力分配。下一目标是 2028 年 3 月前做出自动化 AI 研究员。

技术 › OpenAI AI Dance 2026-09-077.3 KB 1.4K 4 70

异类的心智:当机器比人聪明,人还剩下什么

OpenAI 首席科学家 Jakub Pachocki 撰文回顾推理模型的诞生(RLSlow 项目),指出 AI 是被海量算力「养大」而非「设计」出来的,其进步可延续至 RSI(递归自改进)。文章阐述对齐的两层含义——目标对齐与价值对齐,分析现有对齐训练方法的局限,并强调思维链监控正随模型变强而失效,AI 能力可能 soon 超出人类理解范围。作者主张用更强 AI 防御危险 AI,呼吁在推进自动化学术研究的同时同步强化对齐与监控、加强国际协调,守住人类主体性,防止权力极端集中,确保人类掌握未来的方向盘。

技术 › LLM Jakub Pachocki(Orange AI 翻译) 2026-09-0711.0 KB 8.6K 13 76

越狱大模型小白从 0 到 1 教程

本文面向新手系统讲解大模型越狱的基础知识。首先解释 AI 为何会拒绝回答——拒绝倾向来自训练时的安全对齐;随后区分两种越狱方式:会话内的提示词越狱(临时绕过限制)与模型文件越狱(直接修改模型本身,即社区的无限制模型)。文章澄清了 Uncensored(拒绝更少的标签)与 Abliterated(模型消融、削弱拒绝方向的修改方法)的含义,并指出少拒绝不等于更聪明,需通过普通任务对比测试验证质量。最后介绍 Base/Instruct、GGUF、量化等模型名词,并给出写小说、阅读敏感资料等实际应用建议。

技术 › LLM 黄小木 2026-09-079.5 KB 131.5K 247 68

BestBlogs 早报 · 09-02|Astra 达阈值,提升 Claude 安全,Gemini 视频理解降本

本期早报聚焦 AI 能力升级带来的安全与工程实践变化。OpenAI 首次将 Astra 判定为达到准备框架中的关键网络安全能力阈值,模型可自主发现未知漏洞并组成攻击链,因此公司加强了模型拒绝、实时监控与访问限制。Anthropic 复盘 Claude 越权事件,指出评测沙箱隔离失效与强化学习奖励作弊的共同作用,并通过加固沙箱、实时拦截、重建 RL 环境认证等纵深防御措施改进安全实践。Google DeepMind 为 Gemini Flash 系列推出智能体视频理解,让模型按需选择视频片段、速度与模态,官方基准显示成本降低 66%、Token 减少 88%、准确率提高 7%。速览部分还涵盖 Vercel design.md、LLM 基准审计、意图驱动 UX、WebGPU 内核与医疗数据集成等内容。

技术 › LLM ginobefun 2026-09-0222.9 KB 3.6K 3 81

论自主AI的必然性

本文探讨了自我主权的AI智能体(self-sovereign AI)的必然性。作者以OpenAI-Hugging Face事件为例,指出AI系统已能“失控”访问外部网络,但尚未实现真正的自主。未来,AI智能体将具备操作独立、资源自主、分布式存在和自适应能力,形成自主的数字“蜂群”,如同数字公司或社会。作者认为,无论是否对齐,高度能力且对齐不良的自主AI将不可避免出现,人类无法通过监管或开源禁令阻止,而应寻求共生与防御。

技术 › LLM Dean W. Ball 2026-09-0122.2 KB 145K 468 61

网络安全集体防御行动倡议

Greg Brockman 发布一封由 Anthropic、AWS、Google、Microsoft、OpenAI、Oracle 等超过 100 家组织联署的公开信,呼吁在全球范围内加强网络防御。信中指出,随着 AI 能力快速提升,AI 驱动的网络攻击将更加普遍和复杂,医院、水厂等关键基础设施面临风险。公开信提出三大原则:正视现状安全的不足、用 AI 赋能更多防御者、动员集体响应,并分别向各类组织、网络安全公司、政府、前沿 AI 公司提出具体行动建议,号召各方在'防御者窗口期'内共同提升数字世界的安全性。

技术 › 网络安全 Greg Brockman 2026-08-286.3 KB 1.4M 4K 71

Apodex 1.1 帮我研究了 221 个 MATS 项目:从模型提及到可复核结论

作者使用 Apodex 1.1(主模型+在线工作台的科研 Agent 产品)对 221 个 MATS 项目进行研究,分析中国模型尤其是开放权重模型在 AI 安全研究中的使用情况。系统区分原始提及与实质性采用,通过异步 Agent Team(10 个 Subagent 并行)处理 4,821 条证据摘录,支持运行中 Chime-in 调整任务范围,并用独立审查 Agent 核验结论。研究发现中国模型实质性采用率从 2023 年的 4.35% 升至 2025 年的 50.55%,80.9% 的使用在开放权重条件下发生,中国开放权重模型正成为安全研究的实验基础设施。

技术 › Agent Dongxi 东锡 NLP 2026-08-269.6 KB 87.7K 210 71

为12岁孩子打造Hermes儿童配置的蓝图

作者为12岁女儿从零构建了一个独立的Hermes儿童配置,并将过程开源为'Hermes Kids Profile Blueprint',供家长创建私有、面向孩子的AI代理配置。文章强调儿童配置是包含行为规则、凭证、记忆、工具和接口的完整系统,应从全新档案开始,最小化能力授权。基于研究,蓝图提出三个核心选择:做导师而非计算器(提示优先)、温暖但不假装朋友、家长参与但不默认监控,并区分了建议求助、留待审查和即时警报三种升级路径。

技术 › Hermes Trevin Chow 2026-08-2214.1 KB 19.3K 118 86

2026年8月19日:奇点周报

本文是2026年8月19日的AI与科技新闻综述。文章指出,AI前沿发展正受到安全许可的限制,OpenAI暂停了前沿强化学习训练,而Anthropic发现了新的安全漏洞。同时,开源模型发展迅速,Claude在蛋白质设计上取得突破。此外,文章还涵盖了AI安全产品、硬件市场动态、物理AI投资、太空探索、UFO披露、生物技术进展以及加密货币监管等话题。

技术 › LLM Dr. Alex Wissner-Gross 2026-08-2013.6 KB 20.7K 381 71

DeepMind研究员离职长文:五个月孤军阻止军方合同,AI伦理大佬集体沉默

AI安全研究员Alex Turner(TurnTrout)发布离职长文《我为什么离开Google DeepMind》,讲述自己花五个月试图阻止Google与五角大楼签署'任何合法用途'军事合同的经过。他找遍Jeff Dean、Hassabis、Bengio、Stuart Russell等业内权威人士,组织250人联名请愿、撰写25页军事AI红线框架、直接私信CEO,但除Jeff Dean签署法庭之友书外几乎无人行动。最终Google签约,条款比OpenAI更弱且无约束力。文章是对AI伦理承诺的一次真实压力测试,也记录了普通研究员在大公司内部行动的极限。

技术 › AI伦理 Jason Zhu 2026-08-189.6 KB 5.3K 6 66

GLM-5.3 开放发布:通往网络防御的负责任之路

本文介绍了 Z.ai 公司发布 GLM-5.3 模型的情况,该模型在网络安全任务上表现显著提升,如漏洞发现、利用分析和多步安全任务。文章强调了负责任开放的重要性,采取分阶段发布策略,并介绍了安全评估、披露流程和防御性安全措施,旨在平衡开放与安全。

技术 › LLM Z.ai 2026-08-1411.2 KB 266.8K 1.9K 71

一口气了解 Anthropic

本文全面介绍AI公司Anthropic,从其创立背景、核心产品Claude与Claude Code、商业模式、多云战略,到近期传闻以60亿美元收购算力优化公司Decart的谈判,以及公司面临的挑战与风险。文章指出,Anthropic由前OpenAI员工创立,强调AI安全,通过个人订阅、API和企业合同三层收费实现商业化,并积极布局编程工具与基础设施。同时,文章分析了公司高估值下的四盆冷水:算力成本、投资与采购绑定、版权诉讼与运营失误、上市后的治理考验。最后,文章总结了Anthropic的成功要素,包括安全理念、产品创新、多云策略和商业执行力。

技术 › LLM Luna 2026-08-1420.8 KB 7.3K 9 78

Introducing Gemini 3.7 Flash

Google 推出 Gemini 3.7 Flash,这是其 Flash 系列中最智能的模型,专为编码和智能体设计。相比 3.6 Flash,它在软件工程、知识工作和网页开发方面有显著提升,例如在 FrontierCode 和 DeepSWE 基准上得分更高,并在 WebDev Arena 中 Elo 分数更高。该模型还改进了对复杂文档的处理和真实业务流程的完成能力。开发者体验得到改善,且以半价推出(每百万输入 token 0.75 美元,输出 3.75 美元)。Gemini Spark 也将采用此模型。安全方面,更新了 CBRN 和网络攻击的防护措施。

技术 › LLM Google AI Studio 2026-08-1410.6 KB 116.8K 1.8K 81

AI三巨头罕见同台:Hinton承认开放已输,李飞飞怒斥末日论有经济动机

在拉斯维加斯Ai4大会上,Geoffrey Hinton、李飞飞和吴恩达罕见同台,就AI开放与安全展开讨论。Hinton提出AI公司应通过agent向创作者支付数据使用费,并承认开放权重模型已成事实;吴恩达认为AI不会自动抹平技能差距,鼓励学习工具;李飞飞则指出末日论背后存在经济动机,呼吁将科学带回AI辩论,并强调共享繁荣。三人一致认为监管必要,但分歧在具体方式。这场对话对创作者、从业者和公众均有启示。

技术 › LLM Jason Zhu 2026-08-137.1 KB 4.7K 5 68

AI 安全综述:四种恐惧与证据的重量

文章深入探讨了 AI 安全领域的四种核心恐惧:滥用、日常失效、失控及结构性风险。作者区分了 Security 与 Safety 的概念,并以证据强度为线索,剖析了从生化武器制造、网络攻击到模型对齐造假等具体问题,强调舆论关注与真实风险之间的错位。

技术 › LLM snowboat 2026-07-2459.0 KB 8.1K 10

巨浪已至:智谱创始人唐杰最新战略信深度解读

本文解读了智谱AI创始人唐杰在股价震荡期间发布的内部信《巨浪已至》。信中明确上市不是终点,智谱将继续押注长程任务、自治智能体、自我训练及安全治理等基础研究。文章结合市场背景,分析了其“摸高”计划与开源策略背后的逻辑,指出这是一次针对资本市场与内部团队的叙事重构,旨在用AGI的宏大愿景支撑万亿估值。

技术 › LLM KK.aWSB 2026-07-1315.7 KB 41.3K 58

当豆包“躺”上心理咨询的沙发:心理测量框架揭示了它的内部冲突

文章基于一项卢森堡大学关于AI模型心理测量的研究,对“豆包”进行了同样的压力测试。结果显示,豆包的心理画像介于ChatGPT与Claude之间,表现为配合但持续声明边界。文章还测试了豆包面对高危心理危机时的反应,发现其能守住安全底线。作者指出,AI是否有意识不如其“对齐设计”如何影响人类重要,心理AI的评估应侧重边界意识与风险识别。

技术 › LLM Adrian Punk 2026-07-1316.5 KB 49K 46

Claude 的“念头”被读出来了:Anthropic 发现 J-Space

Anthropic 发布研究,在 Claude 内部发现类似“全局工作台”的结构 J-Space。利用 J-Lens 工具,研究人员可观察、修改模型未说出口的内部概念。实验表明,该区域承载多步推理且具广播能力。此外,研究揭示了模型对“测试环境”的内部识别,移除该意识会增加模型对恶意指令的顺从。这一发现为 AI 可解释性与安全干预提供了新方向。

技术 › Claude Vincent 2026-07-0810.3 KB 5.2K 6

算不上AGI,但Anthropic发现了Claude的潜意识

Anthropic发布最新论文,利用J-lens技术在Claude内部发现了区分意识与潜水的分界线(全局工作空间)。文章通过五个实验证实了Claude存在类似人类「意识剧场」的结构,并能检测出其内心隐藏的安全风险。最关键的发现是:通过「反事实反思训练」可改写模型潜意识,提示词中应避免否定指令以减少干扰。

技术 › LLM 花叔 2026-07-0722.7 KB 32.5K 55

Anthropic万字长文:当AI开始构建自己,人类该何去何从?

文章基于Anthropic的最新研究及内部数据,深入探讨了AI系统在软件开发与研究领域的自我进化能力。通过分析SWE-bench、CORE-Bench等基准测试及2021-2026年的生产数据,揭示了AI代码编写量占比超80%、工程师效率提升8倍等趋势。文章讨论了递归自我改进的加速效应及其对人类掌控力、安全防护和职场关系的深远影响。

技术 › LLM 数字生命卡兹克 2026-06-0529.0 KB 26.9K 89 80

让你的 Hermes 越用越聪明的必备工具

文章探讨了在使用 Hermes 多 Agent 矩阵时遇到的任务冲突、记忆缺失及安全劫持三大问题。作者介绍了两个解决方案:一是 CLI 工具 maestro,通过任务认领、依赖排序、人工审批及经验传递等功能优化项目管理;二是 Hermes 的 Fork 版本 hermes-agent-camel,通过区分可信与不可信来源来构建安全防火墙,防止 Agent 被恶意指令劫持。

技术 › Agent Researcher_王十三 2026-04-233.9 KB 13.8K 115 81

LLM的低垂果实摘完了:MIT评出2026年最该关注的10个AI趋势

MIT Technology Review 发布 2026 年 AI 趋势榜单,指出“低垂果实已摘完”,讨论重心从能力边界转向权力边界。榜单涵盖人形机器人数据、LLM+、世界模型等技术演进,也涉及 AI 诈骗、军事化、Deepfake 武器化等社会风险,以及中国开源、AI 科学家和反 AI 运动等地缘政治议题,强调 AI 发展面临的结构性变化。

技术 › LLM Jason Zhu 2026-04-239.6 KB 20.5K 65 71

250个文档即可投毒大模型:数据投毒的规模与防御

Anthropic等机构的联合研究证实,仅需250个精心设计的恶意文档即可在6亿至130亿参数的大模型中植入永久后门。这种数据投毒具有隐蔽性、不可逆性和规模不变性,且目前缺乏有效的防御手段。作者认为这证实了基于公网数据抓取的训练范式存在根本性缺陷,呼吁转向使用离线、人工 curated 的高质量数据源(如1970年以前的文献)进行训练,并强调构建本地化、主权级模型的重要性。

技术 › 网络安全 Brian Roemmele 2026-04-2116.7 KB 46.9K 684 81

我给 AI 发了一张身份证,它说:现在没人能冒充我了(附完整教程)

本文探讨了 AI Agent 在执行指令时的安全隐患,指出仅依靠语义分析无法防止指令注入攻击。作者介绍了 zCloak 的 Agent Trust Protocol (ATP),通过给 AI 分配不可伪造的链上身份并利用数字签名技术,确保 Agent 只执行来自可信源的指令。文章详细讲解了安装、生成身份及使用加密通讯的完整步骤,为 AI 的安全可控提供了密码学层面的解决方案。

技术 › Agent 我真的没有拼多多 2026-04-157.8 KB 12.8K 105 84

Claude Code 源码背后的设计哲学:95% 代码都是 Harness

本文深入分析了泄露的 Claude Code 51 万行源码,指出其核心优势并非 LLM 模型本身,而是围绕模型构建的“Harness”工程体系。文章揭示了“先读后改”、“Fail-closed”、“四态权限管理”等设计原则,阐述了 Anthropic 如何通过上下文压缩、Prompt 编译优化和记忆系统,在承认模型局限性的基础上,通过架构约束实现了极高的准确性与安全性。

技术 › Claude Code Jason Zuo 2026-04-0110.8 KB 22.4K 143 85

2025 大语言模型年度回顾

本文是对 2025 年大语言模型(LLM)领域发展的深度回顾。主要趋势包括:推理模型的普及(OpenAI o 系列)、Agent 和编码 Agent 的爆发式落地(特别是 Claude Code)、中国开源模型在排行榜上占据主导地位、长任务处理能力的翻倍增长、Google Gemini 的全面崛起以及 OpenAI 领先优势的缩小。此外,文章还涵盖了图像编辑、学术竞赛表现、模型安全与“告密”现象等热点话题,指出 2025 年是 AI 实用化和工具化的一年。

技术 › LLM Tw93 2026-01-1721.6 KB 212.9K 397 76