📚 Wiki 知识库

如何教授 AI 模型

✍ Lee Robinson🕐 2026-07-24📦 8.2 KB 🟢 已读 𝕏 文章列表

文章通过人类学习的类比，通俗易懂地解释了 AI 模型如何学习新技能和行为。它涵盖了从预训练、监督微调到强化学习的三个阶段，以及通过基准测试评估模型和通过模型规范对齐模型行为的重要性，最后指出了当前模型在持续学习方面的局限性。

AI模型训练机器学习RLSFT模型对齐

🔗 相关文档

如何从头构建一个 RL 环境：以 Othello 游戏为例

本文介绍了如何使用 Prime Intellect 的 Verifiers 框架从零开始构建一个用于强化学习（RL）的 Othello（黑白棋）游戏环境。文章解释了 RL 循环的基本组成部分（状态、动作、奖励、环境），并利用 GRPO 算法替代传统的人工偏好模型。文中详细展示了技术栈、游戏循环逻辑以及内置的 Minimax 对手引擎代码，旨在帮助开发者理解并掌握构建模型无关的 RL 环境的核心方法。

技术 › Agent ✍ Akshay🕐 2026-07-07
强化学习RL环境构建OthelloGRPODeepSeekLLMAIVerifiers教程

人工智能/机器学习数学基础与学习路径

文章详细阐述了掌握人工智能和机器学习所需的三大数学支柱：统计学与概率、线性代数以及微积分。作者不仅解释了每个领域的核心概念（如贝叶斯定理、矩阵分解和梯度优化），还强调了它们在 AI 模型（如神经网络、回归）中的实际应用。最后，作者分享了一条个性化的学习路线图，推荐了 3Blue1Brown、Coursera 课程及《统计学习导论》等优质资源，帮助读者从直观理解过渡到理论实践。

技术 › 机器学习 ✍ vixhaℓ🕐 2026-07-06
AI数学机器学习线性代数概率统计微积分学习路线教程

构建递归智能体系统：扩展 Composer 训练规模

本文介绍了 Cursor 如何构建一个包含数千个 Agent 的递归系统，以加速 Composer 模型的训练。系统通过主 Agent 管理子 Agent 的“健康”状态，实现并行实验的自动化监控与故障修复。该架构将研究员的效能提升了数量级，使大量计算资源能像企业组织一样协同工作。

技术 › Agent ✍ Lee Robinson🕐 2026-06-14
智能体多Agent系统模型训练自动化运维大规模并行人工智能机器学习DevOpsInfrastructureCursor

SkillOS 详解：自进化 Agent 的技能策展机制

文章详细解读了 Google 关于 SkillOS 的最新论文。SkillOS 是一个帮助 LLM Agent 通过管理可复用“技能”来实现自我进化的框架。该框架包含一个冻结的 Agent Executor 和一个可训练的 Skill Curator，后者利用强化学习（RL）从执行轨迹中自动提取、更新或删除技能，从而实现从经验到技能的转化。

技术 › Agent ✍ AVB🕐 2026-05-12
AgentSkillOSGoogleSkill CuratorLLMReAct强化学习模型训练AI论文解读

LoRA - LLMs 的低秩适配详解

文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。

技术 › LLM ✍ Amit Shekhar🕐 2026-05-08
LLMLoRA微调深度学习Transformer模型优化低秩适配AI机器学习Parameter Efficient

Mixture of Experts (MoE): Scaling AI with Specialized Models

文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。

技术 › LLM ✍ Jayanth🕐 2026-05-07
MoE混合专家大模型架构设计Transformer稀疏路由AI深度学习模型扩展机器学习

2026年真正学习AI的7个开源仓库

这是一份2026年AI学习资源清单，包含7个精选的GitHub开源仓库。内容覆盖从初学者指南到高级LLM路线图，包括微软的GenAI课程、从零构建ChatGPT的PyTorch教程、Karpathy的nanoGPT训练、OpenAI与Anthropic的实战Cookbook以及AI Agents构建指南。所有资源均免费，旨在帮助学习者掌握Prompt、RAG、微调及Agent等核心技术。

技术 › LLM ✍ self.dll🕐 2026-05-06
AILLM学习资源GitHubOpenAIClaudeAgent教程开源模型训练

SFT、RL 与 On-Policy 蒸馏：原理与差异

本文深入探讨了模型后训练中的 SFT 与 RL 流程，重点分析了基于同族模型（Same-family）的 On-Policy 蒸馏（OPD）技术。文章解释了 SFT 存在性能天花板的原因，以及 RL 如何通过复利效应突破这一限制。作者指出 OPD 结合了 SFT 的低成本和 RL 的复合优势，能高效利用教师模型的反向 KL 散度信号，是实现高性能模型微调的关键手段。

技术 › LLM ✍ will brown🕐 2026-05-01
SFTRLOn-Policy Distillation模型蒸馏后训练Reverse KLLLM同族模型算法深度学习

顶级AI实验室如何构建RL智能体：从RLHF到RULER的演进

文章探讨了 Anthropic、OpenAI 和 DeepSeek 等顶尖 AI 实验室在 2026 年关于强化学习（RL）的趋同思路，即使用系统提示作为奖励函数。内容详细梳理了 RL 在 LLM 中的应用历程，从 RLHF 到 RULER（Karpathy 提出的系统提示学习概念）的演变。重点介绍了 DeepSeek R1 利用可验证奖励（RLVR）突破传统瓶颈的机制，通过规则编译器直接提供信号，并结合 GRPO 算法移除了复杂的 Critic 和奖励模型，实现了从 15.6% 到 77.9% 的 AIME 数学成绩飞跃。

技术 › LLM ✍ Avi Chawla🕐 2026-04-28
LLMRLDeepSeekRULERGRPORLHFAI智能体模型训练强化学习

图解 Transformer 架构：从原理到细节的全面解析

本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。

技术 › LLM ✍ Amit Shekhar🕐 2026-04-18
Transformer架构解析注意力机制深度学习AILLM编码器解码器机器学习教程