📚 Wiki 知识库

🏷️ 长上下文

6 篇

Kimi K3:超越 Fable 5 的开源模型完全指南

本文详细介绍了月之暗面发布的 Kimi K3 模型。该模型拥有 2.8 万亿参数和 100 万 token 上下文,性能超越 Claude Opus 4.8 和 GPT-5.6 Sol,对标 Fable 5。文章分析了其定价策略、架构创新以及模型自主优化架构的能力,展示了其在长程编码和 3D 前端开发方面的强大实力。

技术LLM ✍ Kirill🕐 2026-07-21

杨植麟 GTC 2026 演讲:如何扩展 Kimi K2.5

杨植麟在 GTC 2026 演讲中,详细阐述了月之暗面如何通过重构优化器、注意力机制和残差连接这三大基础组件来提升模型性能。他提出了 MuonClip、Kimi Linear 和 Agent Swarm 等技术方案,旨在让 Token 更值钱、长上下文更有效,并实现多 Agent 协作,从而推动开源模型逼近闭源前沿。

技术LLM ✍ 宝玉🕐 2026-07-19

AI Agent 记忆机制原理与实战解析

文章深入浅出地讲解了 AI Agent 记忆系统的工作原理,从基础的单会话与多会话记忆保持切入,引出 Google 提出的情景、语义与程序性记忆三分法。通过对比 OpenClaw 的实现方式与存在的问题,重点剖析了企业级方案 EverOS 的架构。EverOS 将记忆细分为六大类,并通过语义巩固、主动上下文重建等技术优化记忆的抽取、更新与检索。文章还包含 EverOS 的 API 调用示例及 20 个真实落地场景,为开发者提供了 Agent 记忆系统的全景指南。

技术Agent ✍ 铁锤人🕐 2026-05-14

DeepSeek-V4 工程权衡分析:1M 上下文并非无损记忆

文章深入剖析了 DeepSeek-V4 如何通过 HCA、CSA 和 SWA 三通道并行架构,将 KV Cache 压缩至基线的 2%,从而实现工程上可行的 100 万 token 上下文。然而,这种极致的压缩是有代价的:MRCR 8-needle 测试准确率在 1M 长度下显著下降至 0.59。文章指出,V4 通过牺牲检索精度换取了推理成本的数量级降低,是一种‘有损的 1M’,并明确论证了该设计原理上无法完全替代 RAG 系统。

技术LLM ✍ GoGoNN🕐 2026-04-28

本周顶级 AI 论文综述:DeepSeek V4 与自进化智能体

本周综述重点介绍了 DeepSeek V4,这是首个默认支持百万 token 上下文的开源模型系列,通过 CSA/HCA 混合注意力机制和领域专家后训练技术,在推理性能上媲美 GPT-5.2。此外,还涵盖了 Apple 的 Mamba 架构知识蒸馏方法、Autogenesis 自进化智能体协议,以及 Skill-RAG 失败感知检索系统。

技术LLM ✍ DAIR.AI🕐 2026-04-27

DeepSeek V4是怎么训练出来的?58页论文深入解读

文章深入解读了DeepSeek V4论文,指出其核心价值在于将百万上下文、Agent原生能力与低价格结合,抬高了AI应用的地板。技术层面,V4通过mHC稳定残差连接,采用CSA+HCA混合注意力机制解决长上下文算力难题,并用Muon优化器替代AdamW。此外,文章还详细介绍了其1.6T参数量的训练稳定性技巧、反AI坍缩的数据构建以及基于“Specialist + OPD”的后训练范式转变。

技术LLM ✍ 花叔🕐 2026-04-25