全部文档 / 作者: 程序员Left / 标签: 注意力机制

2 篇

万字长文 | Agent 工程解析（一）：上下文管理

文章从底层原理出发，以 Claude Code 为例深入解析大模型的上下文管理。作者指出即使上下文窗口达到 1M，上下文管理依然必要，核心原因是 KV Cache 前缀缓存机制（保证前缀一致可大幅降低推理成本）和注意力稀释问题（上下文过长过杂易引发幻觉）。文章详细拆解了 Claude Code 约 25K 系统提示词的组成，将上下文分为静态指令层、弱动态层和强动态层三层结构，并介绍了 Skill 渐进式加载、工具延迟加载、Memory 硬截断等剪枝手法，以及 CLAUDE.md 规则文件的五类分级组织形式与自顶向下的装配顺序原理。

技术 › Agent

程序员Left 2026-09-1249.6 KB 23.1K 131 86

上下文管理 Claude Code KV Cache 注意力机制系统提示词 CLAUDE.md Agent工程大模型提示词工程上下文工程

一个 Token 的自我解剖：从分词到输出生成的全流程解析

文章以第一人称视角（Token），生动通俗地讲解了 Token 在大模型中的“一生”。内容涵盖 Token 的定义、分词方式（如 Byte-level BPE）、向量化原理、训练赋予语义的过程，以及在 Transformer 架构中通过 Q、K、V 和注意力机制进行指令处理与输出生成的完整技术链路。

技术 › LLM

程序员Left 2026-04-1614.7 KB 24.1K 47 65

大模型 Token 分词 Transformer 注意力机制 Embedding 向量技术原理