📚 Wiki 知识库

关于 Inkling 的数学思考

✍ deep Manifold🕐 2026-07-22📦 9.8 KB 🟢 已读 𝕏 文章列表

本文从深度流形视角分析 Thinking Machines 的多模态模型 Inkling。探讨了模态早期耦合、放弃 RoPE 的几何意义、Muon 的归一化作用以及大规模强化学习对流形同调的影响，提出了关于数据耦合和训练稳定性的开放问题。

多模态Inkling流形学习RoPEMuon强化学习深度学习Transformer几何归一化

🔗 相关文档

Paper List for AI beginners

这是一份针对计算机科学和数学专业大二学生的机器学习（ML）与强化学习（RL）入门阅读清单。清单分为四个部分：基础（如ResNet、Attention）、AI基础设施（如VAE、BERT、LoRA、Agent）、推理加速（如Linear Attention、Speculative Decoding）以及强化学习（如PPO、DPO、RLHF）。该列表由导师 Mingyang Yi 推荐，旨在帮助本科生构建系统的 AI 知识体系。

技术 › LLM ✍ Xiuyu Li🕐 2026-04-18
论文推荐机器学习深度学习强化学习大模型RLHFAgent推理加速学习指南Transformer

强化学习沉浮史：从深度寒冬到大模型封神

文章回顾了强化学习七十年跌宕起伏的发展历程。从心理学的效果律与数学的动态规划这两条根源讲起，梳理了教科书时期的理论奠基与早期边缘化。随后，深度学习的引爆带来了黄金年代，DQN与AlphaGo的辉煌让强化学习备受推崇。然而，样本效率等缺陷曾让其一度跌入谷底。如今，这门学科在大模型时代通过RLHF等技术奇迹般重生，再次站到了AI舞台的中央。

技术 › LLM ✍ snowboat🕐 2026-07-23
强化学习深度学习AlphaGo大模型RLHFAI历史萨顿动态规划深度学习OpenAI

OpenRLHF 作者发布 Agentic RL 框架 Molt：9K 行核心代码支持超大规模 MoE 训练

OpenRLHF 作者发布了新的强化学习框架 Molt。该框架采用纯 PyTorch 栈，核心代码仅约 9000 行，专注于 Agentic RL 研究。它支持 Qwen3.5-397B 到 GLM-5.2 753B 等超大规模 MoE 模型训练，无需依赖 Megatron，具备高度的代码可读性和可修改性。

技术 › LLM ✍ 青稞社区🕐 2026-07-16
强化学习Agentic RLMoltPyTorchvLLMMoEOpenRLHF大模型训练深度学习框架

什么是具身智能？它跟 AI 的关系是什么？

文章深入解析了具身智能的定义、历史渊源及发展现状。作者区分了具身智能与传统机器人，指出其核心在于感知-行动闭环与物理世界的实时交互。文章回顾了从符号主义、行为主义到深度学习、Transformer时代的技术演进，分析了VLA模型如何继承大模型能力来突破泛化难题，探讨其与AI的本质关系及未来前景。

技术 › LLM ✍ snowboat🕐 2026-06-17
具身智能VLA机器人Transformer人工智能AI技术原理深度学习大模型

什么是世界模型？概念溯源、流派划分与AI新前沿

本文深入探讨了当前AI领域的热门概念“世界模型”。文章梳理了该概念从1943年心理学起源到2024年爆发式发展的历史脉络，详细区分了两大核心阵营：用于行动的模型（如DreamerV3和JEPA）与用于呈现的模型（如Sora和视频生成）。文中分析了杨立昆、李飞飞及OpenAI等不同派别的技术路径与定义之争，揭示了世界模型如何成为超越大语言模型的下一代AI竞争焦点。

技术 › LLM ✍ snowboat🕐 2026-06-09
世界模型AI杨立昆Sora强化学习Agent深度学习技术趋势概念科普

Step-By-Step LLM Engineering Projects (2026 Edition)

文章提出了一个基于项目的 2026 年 LLM 工程学习路线图。作者主张通过从零构建系统来掌握技术栈，路径涵盖从基础的 Tokenizer、Embedding、Positional Encoding、Attention 机制，到 Transformer 模块构建、训练循环、KV Cache、MoE、量化、服务部署、RAG 及 Agent 等高级系统。该指南强调“实现、绘制、破坏、解释”的学习闭环，旨在帮助读者深入理解大模型原理并具备工程构建能力。

技术 › LLM ✍ Ahmad🕐 2026-05-25
LLMTransformer工程实践AI架构TokenizationAttentionRoPE模型训练Deep Learning学习路线

How to Build LLM Architectures From Scratch

本文是一篇关于从零构建大型语言模型（LLM）架构的深度指南。文章详细解释了 LLM 的工作原理，包括从原始数据收集、清洗、分词，到 Transformer 架构的核心组件（如自注意力机制、位置编码）。同时涵盖了预训练、微调、基于人类反馈的强化学习（RLHF）以及推理优化等关键技术环节，旨在帮助读者理解 ChatGPT 和 Claude 等模型背后的系统构建全流程。

技术 › LLM ✍ Shabnam Parveen🕐 2026-05-25
LLMTransformer架构设计RLHF深度学习人工智能模型训练OpenAIChatGPT技术原理

20 张手绘图讲透 AI 核心概念

本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图，涵盖从神经网络、Transformer 架构到大语言模型（LLM）的 20 个核心概念。作者不仅解释了 AI 底层运作原理（如分词、注意力机制），还介绍了模型优化手段（如微调、RLHF）及前沿应用架构（如 RAG、Agent、思维链），是一份简洁全面的 AI 技术入门指南。

技术 › LLM ✍ Jason Zhu🕐 2026-05-25
AI神经网络TransformerLLMAgentRAGRLHF科普手绘图深度学习

LoRA - LLMs 的低秩适配详解

文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。

技术 › LLM ✍ Amit Shekhar🕐 2026-05-08
LLMLoRA微调深度学习Transformer模型优化低秩适配AI机器学习Parameter Efficient