Wiki 知识库

全部文档 / 标签: 提示注入

8 篇
清除

常驻智能体如何工作:Lee Robinson 斯坦福 CS146S 讲座,GrokBot 架构、Harness 与上下文工程全解

本文整理了 Lee Robinson 在斯坦福 CS146S 的讲座,完整拆解常驻主动式智能体(如 GrokBot)的工程架构。内容涵盖:从工具到同事的四个时代演进、模型层六大关键变化(长程指令遵循、子智能体、computer use、技能系统等)、常驻 agent 内部架构(休眠-唤醒模型、Firecracker 微虚机云电脑、薄客户端单工具设计、Temporal 持久化工作流、升级阶梯)、安全模型(auto review、提示注入防护),以及上下文工程核心技巧(prompt caching 经济学、压缩时机、分层记忆),最后展望训练飞轮与行业走向,并给出给学生的三条建议。

技术 › Agent meng shao 2026-10-1013.5 KB 17.4K 57 83

个人 agent 住在哪:三种执行环境,三种安全代价

文章解读 Anthropic 工程团队关于 agent 隔离架构的复盘,介绍三种执行环境:claude.ai 的临时容器、Claude Code 的人工在环沙箱、Claude Cowork 的本地 VM,分析各自的安全代价与设计取舍。核心观点包括:监管不如围堵,用户批准疲劳使人工审批失效;自建组件往往是最薄弱环节;allowlist 应理解为能力授予而非目的地过滤;隔离强度应匹配用户的监督能力。文章还讨论了持久记忆投毒、多 agent 信任升级、agent 身份等新兴风险,并提出三条核心经验:自己造的层最薄弱、allowlist 是能力授予、确定性边界优于概率性检测。

技术 › Agent yibie 2026-09-2914.2 KB 7.6K 81 86

能被流片的不是 AI,而是决策面|TapeOut x Jev 系列研究 ver 1.

本文提出一个研究命题:能够被制造成长期、可复核工件的,不是开放世界的 AI 本体,而是经过严格收缩的决策面。作者区分了 confidence(输出分布尖锐度)、calibration(长期统计关系)与 authorization(制度与权限概念)三个常被混淆的概念,强调概率不能替代授权。文章设计了 Jev 与 TapeOut 连接的两条路线:在线提案路线(Jev 仅提出有限动作建议,确定性安全层与独立执行器限权)与离线冻结路线(将冻结后的有限决策面物化为 Circuit 工件)。作者同时承认最强反对意见的正确性:把世界编码为 bits 只是把模糊性转移到电路之外,并给出不应冻结的条件。核心结论是让 AI 可以提案但不能改写边界,把不可协商的规则放进确定层。

技术 › 区块链 BruceBlue 2026-09-2317.0 KB 3.8K 22 67

Secure agents: architecture and sandboxing

文章探讨生产级 AI Agent 的安全架构与沙箱配置。作者指出行业安全事件多源于提示注入、凭证暴露和开放网络访问,并提出核心方案:“大脑与双手分离”架构——将 harness、会话状态和凭证放在沙箱外部的可信基础设施上,沙箱内的代码通过出口代理按需注入凭据。沙箱配置方面,文章对比容器、gVisor、MicroVM 和完整 VM 四级隔离方案,推荐 MicroVM;建议沙箱短生命周期、默认拒绝出站流量并采用白名单代理,同时需在沙箱外部进行日志监控并配备可即时生效的 kill switch,以实现结构性的安全保障。

技术 › Agent Katelyn Lesse 2026-09-147.0 KB 13.5K 200 82

给 AI 智能体做零信任:每一步都要验证

文章探讨了 AI 智能体面临的安全风险,指出其自主性、工具调用、自然语言理解、记忆和多智能体协作等特性放大了攻击面。作者主张采用零信任架构,默认不信任、持续验证,并从身份、权限、隔离、审计、恢复和治理八个方面提出落地建议,强调安全设计应追求让攻击'做不到'而非'做起来麻烦'。

技术 › 网络安全 谁是专家 2026-09-1416.5 KB 2.4K 26 78

The Elephant in the Context Window

作者借“盲人摸象”寓言剖析个人 AI Agent(BYOA,自带智能体)进入企业后的系统性风险。个人代理凭私钥托管、私有记忆、授权代表和静默执行四大特性在个人任务中表现出色,但在企业中因缺乏共享的组织记忆和集中协调,会引发信息陈旧导致的错误承诺、针对 Agent 的提示注入欺诈、客户沟通混乱、机密泄露以及智能体间操作冲突等问题。作者指出这不是模型能力问题,而是缺少治理型组织记忆,企业需要单一共享的现实来协调各方 Agent 的行动。

技术 › Agent Ashwin Gopinath 2026-09-1015.4 KB 13.6K 123 70

Become AI Agentic Engineer in 6 Weeks (Full Course) - Part 2

这是 AI Agentic Engineer 系列课程的第二部分,深入讲解提示词工程与上下文安全。文章首先介绍 LLM 的指令层级(系统提示、用户消息、工具结果),强调层级只是辅助而非安全模型。随后详细分析直接提示注入与间接提示注入两类攻击:间接注入尤其危险,因为恶意指令藏在外部内容(网页、邮件、GitHub issue 等)中,用户毫不知情。核心防御是来源标记,即区分内容的可信级别,同时强调授权必须在模型之外的后端以确定性方式实现,防止智能体成为权限绕过的工具。

技术 › 网络安全 Rahul 2026-09-0624.8 KB 344.2K 320 75

成为AI原生公司:从共享技能库开始

本文介绍了企业构建共享AI技能库的实践指南。Agent Skill是可移植的程序性知识包,能教会智能体可靠地执行特定任务。作者指出技能通常由个人创建而未被公司充分利用,共享技能库可将其转变为可版本化、可发现的公司资产,是成为AI原生公司最容易的第一步。文章涵盖了Anthropic推出的开放技能标准格式、安全问题(Snyk研究显示37%的技能存在安全缺陷)、以及私有GitHub仓库和企业级技能注册工具等实施方案。

技术 › Skill Kevin Simback 2026-08-2616.8 KB 22.7K 213 83