Wiki 知识库

全部文档 / 标签: 反向传播

5 篇
清除

Open-Science 实战:从个人 Bot 到科研 Agent

作者使用 AIPOCH Open-Science 科研工作台,基于 HHMI Janelia 与 Google Research 开放的果蝇中枢神经系统连接组数据(16.7 万神经元、0.12B 突触),尝试训练生物大脑模型解三阶魔方。文章详述了搭建实验环境、定义信号传递规则、设计输入输出(324 个颜色开关与 93 个前腿运动神经元)、多卡并行训练的全过程。单步动作准确率从 6.39% 提升至 64.86%,结合 Beam Search 后未见状态还原率大幅提高。作者展示了从找论文、追数据、训练到评测的完整科研流程均在 Open-Science 中完成,倡导 Vibe Research 时代的到来。

技术 › Agent 实践哥 Li 2026-10-1612.3 KB 99.3K 108 85

Karpathy GitHub 上最重要的 5 个仓库:从零学习 AI 基础

本文介绍了 Andrej Karpathy 的 GitHub 上五个最具教育价值的仓库:micrograd、nanoGPT、minGPT、llm.c 和 nanochat。这些仓库以极简和清晰著称,帮助学习者从零理解神经网络、反向传播、GPT 架构、底层实现和完整的 LLM 系统。文章强调了主动学习的重要性,并提供了实践学习路径,帮助读者从基础原理到实际应用建立直觉。

技术 › LLM Kanika 2026-08-1510.3 KB 6.8K 20 71

PyTorch 训练流程速查表

这是一份关于 PyTorch 训练流程的单页速查表。文章通过代码示例和原理解析,深入浅出地讲解了张量的核心概念、矩阵乘法、自动求导机制、反向传播以及梯度下降优化过程。同时涵盖了 `nn.Module` 常用组件如 Linear、ReLU 和 GELU 的使用,旨在帮助开发者快速理解深度学习引擎的运作原理。

技术 › 编程语言 k kozue 2026-07-0312.0 KB

纯 C 语言从零开始构建 GPT

本文是一篇硬核技术教程,详细记录了如何不依赖任何外部库,仅使用纯 C 语言从零构建一个可用的 GPT(Generative Pre-trained Transformer)模型。文章涵盖了从随机数生成、数据分词、模型架构定义,到手动实现反向传播、Adam 优化器及推理采样的全过程。通过手写矩阵乘法、注意力机制和神经网络层,帮助读者深入理解 LLM 的底层原理。

技术 › LLM vixhaℓ 2026-02-1514.0 KB 423.3K 2.4K 90