900万参数，130行代码：从零构建微型语言模型 GuppyLM 教程
本文介绍了开发者 arman-bd 开源的微型语言模型 GuppyLM。该模型拥有 900 万参数，核心代码仅 130 行，可在免费 Colab 上 5 分钟训练完成。文章详细拆解了构建流程：利用模板生成 6 万条合成数据、训练 4096 词表的 BPE 分词器、搭建 6 层 Vanilla Transformer 架构以及优化推理环节。该项目旨在通过极简的实现，帮助开发者深入理解语言模型的数据工程、架构设计与训练循环。
相关文档
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
如何从零开始构建自己的大语言模型 (LLM)
文章揭秘了 GPT、Claude 等 LLM 背后通用的五阶段构建流程，指出数据质量而非架构才是核心。作者详细阐述了数据清洗、分词、训练目标（预测下一个 Token）及 Transformer 架构实现，并提供了包含 Tokenizer 和 PyTorch 模型的代码示例。
PyTorch 训练流程速查表
这是一份关于 PyTorch 训练流程的单页速查表。文章通过代码示例和原理解析，深入浅出地讲解了张量的核心概念、矩阵乘法、自动求导机制、反向传播以及梯度下降优化过程。同时涵盖了 `nn.Module` 常用组件如 Linear、ReLU 和 GELU 的使用，旨在帮助开发者快速理解深度学习引擎的运作原理。
How to Build LLM Architectures From Scratch
本文是一篇关于从零构建大型语言模型（LLM）架构的深度指南。文章详细解释了 LLM 的工作原理，包括从原始数据收集、清洗、分词，到 Transformer 架构的核心组件（如自注意力机制、位置编码）。同时涵盖了预训练、微调、基于人类反馈的强化学习（RLHF）以及推理优化等关键技术环节，旨在帮助读者理解 ChatGPT 和 Claude 等模型背后的系统构建全流程。
2026年真正学习AI的7个开源仓库
这是一份2026年AI学习资源清单，包含7个精选的GitHub开源仓库。内容覆盖从初学者指南到高级LLM路线图，包括微软的GenAI课程、从零构建ChatGPT的PyTorch教程、Karpathy的nanoGPT训练、OpenAI与Anthropic的实战Cookbook以及AI Agents构建指南。所有资源均免费，旨在帮助学习者掌握Prompt、RAG、微调及Agent等核心技术。
图解 Transformer 架构：从原理到细节的全面解析
本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。
如何成为一名机器学习工程师：完全指南
本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。
GitHub 是互联网上最大的免费图书馆——不会写代码也能用好它
文章面向非程序员，用"图书馆"的比喻解释 GitHub 的核心概念：Repo 是书、README 是封底、Star 是书评、Fork 是复印件、Releases 是下载书架、Issue 是给图书管理员留言、Awesome list 是书单。作者详细介绍了如何不写代码使用 GitHub：用自然语言搜索、按星数排序、30 秒速读 README、从 Releases 下载成品软件而非源代码、用 Star 和 Watch 管理个人工具库。还提供了 60 秒安全检查清单（星数、更新时间、Issue 活跃度、许可证等）和两个危险信号。最后推荐了免费学习、职业发展和优质清单类仓库，如 freeCodeCamp、free-programming-books、developer-roadmap 和 awesome 列表。
万字长文｜DeepSeek Harness 从 0 到 1：一切皆插件的 Agent，到底强在哪、怎么上手
本文是一篇面向小白的 DeepSeek Harness（DSH）完整上手教程。作者介绍了 DSH 的核心特点：门槛低（DeepSeek 账号登录即用）、一切皆插件（连 Agent 循环都可替换，社区插件超 6000 个）、过程可回放（轨迹功能）。文章详细讲解了下载安装、登录方式（账号与 API Key 两种）、界面各功能入口（模式、权限、模型、推理强度等）的含义，并分析了计费方式与省钱技巧，同时提醒它仍是预览版，未经过安全审计，需注意数据安全。后续还将涵盖插件市场、原理拆解、实战练习及与 Pi、Claude Code、Codex 的对比。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
Codex-OpenPencil 快速上手篇
本文是 Codex-OpenPencil 插件的快速上手教程，以设计一个服装购物 APP 为例，完整演示从安装、打开画布、确认风格、扩展页面、选中元素口喷修改，到图片生成与搜索、保存设计资产，再到设计稿转代码的全流程。插件免费开源，提供支持平移缩放的无限画布，Codex 负责理解需求并调用工具，OpenPencil 负责设计展示与编辑，可 100% 还原生成 HTML、Vue、React、SwiftUI 等框架代码。文章还介绍了看板、教程图、对比图、PPT 等其他应用场景及常见问题处理方法。
How to Turn Opus 5.5 Into a Reverse Engineering Machine with 8 Steps (full course)
文章介绍了开源项目 REA（Reverse Engineer Anything），一个可将 Claude Code、Codex、Cursor 等 AI Agent 接入 Ghidra、Hopper 等真实反汇编引擎的 MCP 服务器与 CLI 工具。REA 发布三个月即获得超过 10 万 GitHub Star，支持原生应用、Electron、APK、固件、智能合约字节码等多种目标的逆向分析。文中列举了多个实战成果，如用 Rust 重写 Adobe 系列应用、Super Mario Sunshine 原生 PC 移植等，并给出八步完整教程：从目标路由判断、五分钟安装配置、侦察定位，到最终完成通过一致性测试的代码重建，所有结论均标注为观察、推断或未知并附证据地址。
