Wiki 知识库

全部文档 / 作者: chengyongru / 标签: LLM

4 篇
清除

我对system prompt的理解(nanobot)

文章从训练角度剖析 system prompt 为何能影响模型行为。作者以 nanobot 的 SOUL.md 为切入点,梳理了 OpenAI Instruction Hierarchy(训练模型处理指令冲突,拒绝率提升至92.6%)、Llama 2 的 Ghost Attention(多轮指令保持)、Anthropic 的 character training 与《Teaching Claude Why》(角色与原则内化)、Deliberative Alignment(规则通过训练学习)、The Assistant Axis(角色行为的内部激活证据)等研究,说明 prompt 中一句指令的效果取决于上下文与模型已学到的能力。最后建议:先用少量指令说清目标,根据失败案例迭代,随模型演进精简 prompt,把通用能力交给模型本身。

技术 › LLM chengyongru 2026-09-2818.5 KB 7.9K 59 78

上下文压缩和记忆(nanobot)

作者介绍了 nanobot 的上下文压缩机制与长期记忆设计。上下文由 system prompt、历史消息和当前消息构成,当输入达到上下文窗口的 input budget 时,nanobot 压缩历史消息为新 summary,保留未发送的增量消息。生成摘要时通过模拟用户指令请求模型总结,并保持 system prompt 和工具定义一致以复用 KV cache 降低成本。对 OpenAI 原生压缩 API,nanobot 在加密 compaction item 之外额外生成文本 summary 供长期记忆使用。长期记忆通过 consolidator_archive 和 dream 两份提示词模板定制,用户可调整记忆筛选与整理规则,甚至整理成 skill。

技术 › Agent chengyongru 2026-09-074.9 KB 27.1K 109 74

Multi-Agent System 的并发控制协议与算法笔记

本文是 multiagent system(MAS)设计系列笔记的第二篇,探讨现代 MAS 中的并发控制协议与算法。作者指出许多看似'沟通失败'或'协作失败'的问题,本质上是 stale read、lost update、write-write race 等经典并发异常。文章介绍了 raft.build 提出的 Held Draft 协议,通过版本号校验让 agent 在提交前感知新信息,但也分析了其最坏情况下 n² 级的计算复杂度。最后按工作结构给出了 sequencer、DAG、OCC、lock、CRDT 等不同场景下的适用机制对照表,并附有交互式 live demo 与丰富的论文参考文献。

技术 › Agent chengyongru 2026-08-217.8 KB 12.7K 68 75

Multiagent 协作问题的初步整理

本文对 multiagent 协作问题进行了初步整理和定义。通过分析多篇论文,指出简单的多提示词工作流往往不如单 agent 高效,而分布式协作中存在“沟通-推理鸿沟”、专家利用不足及死锁等问题。文章强调,真正的 multiagent 系统需引入明确的工程协议来解决协调难题。

技术 › Agent chengyongru 2026-08-177.7 KB 64.9K 216 74