Wiki 知识库

全部文档 / 标签: 神经网络

19 篇
清除

AI 眼里根本没有猫,那它到底是怎么认出猫的?|从 0 开始理解大模型底层

本文从最简单的线性模型 y=wx+b 出发,逐步拆解神经网络识别图片的原理。作者解释了为何单层线性计算表达能力不足,堆叠多层也仍会退化为一次线性变换,因此需要 ReLU 等激活函数引入非线性。随后说明图像如何从原始像素经多层计算被加工成适合任务的内部表示,并澄清了'第一层看线条、第二层看耳朵'的常见误解。文章还介绍了万能逼近定理的含义与局限、CNN 与 Transformer 的关系,以及模型为何是黑箱与机制可解释性,最后引出过拟合问题,为下一篇泛化主题做铺垫。

技术 › LLM joy 2026-09-2614.8 KB 6.5K 18 63

AI 到底是怎么学会东西的?我把机器学习的训练过程拆开看了一遍

文章以通俗易懂的方式拆解机器学习的训练原理。作者从传统编程与机器学习的思维差异切入,说明机器学习是让计算机从数据中自行寻找规律。随后讲解核心概念:X→Y 的映射、特征与标签、向量/矩阵/张量的数据表示、Embedding 的意义;再解释模型本质是带大量可调参数的函数,训练通过损失函数衡量错误,借助导数与梯度判断参数调整方向,梯度下降如蒙眼下山的比喻直观呈现了这一过程。文章还涵盖局部最优与鞍点、泛化能力、Batch/SGD/Mini-batch 的取舍以及 Adam 优化器的改进思路,帮助初学者建立机器学习的整体认知框架。

技术 › 编程语言 joy 2026-09-2228.1 KB 2.2K 25 69

什么是深度流形?

本文介绍深度流形框架,一个旨在揭示神经网络数学结构的理论体系,由四大支柱构成:学习作为反问题(解释了学习的适定性与锯齿智能现象)、范畴论(神经网络学习的是数据间关系而非数据本身)、堆叠分片流形(学习发生在层与迭代形成的演化几何结构中)、不动点理论(描述学习在变化边界条件下的推进方式)。文章阐述了神经网络方程、训练动力学、模型推理的数学原理,指出网络能力源于计算的无属性性与满秩性。该框架旨在为神经网络建立严谨的数学基础,实际意义在于实现更高效的学习、更好的对齐和更小的模型。

技术 › LLM deep Manifold 2026-09-098.1 KB 10.7K 28 58

小白必看:从词向量到Transformer,一口气搞懂自然语言NLP技术发展

文章以一个趣味猜词游戏切入,通俗易懂地讲解NLP技术的演进历程。首先介绍基于统计的N-gram模型及其在组合爆炸和语义理解上的局限;接着引出词向量(Word Embedding),通过高维空间中的坐标表示词语含义,使模型具备泛化能力;然后讲解前馈神经网络如何利用词向量进行预测;再介绍RNN通过隐藏状态机制处理任意长度文本,实现记忆功能;最后指出RNN存在长期依赖问题,为LSTM等改进方案做铺垫。全文循序渐进,用生活化例子帮助读者理解语言模型预测下一个词的基本原理。

技术 › 编程语言 轩辕之风 2026-09-0329.7 KB 9.9K 116 64

现代科技与人工智能:改变一切的时代

文章探讨了人工智能如何重塑智能手机、自动驾驶、医疗、机器人、智慧城市和太空探索等关键领域,并提出了关于隐私、责任、伦理和人类独特性等深刻问题。作者认为AI是反映我们数据、价值观和梦想的镜子,其发展取决于我们自身。

技术 › LLM Bober_smart 2026-08-158.7 KB 420.6K 84 38

Karpathy GitHub 上最重要的 5 个仓库:从零学习 AI 基础

本文介绍了 Andrej Karpathy 的 GitHub 上五个最具教育价值的仓库:micrograd、nanoGPT、minGPT、llm.c 和 nanochat。这些仓库以极简和清晰著称,帮助学习者从零理解神经网络、反向传播、GPT 架构、底层实现和完整的 LLM 系统。文章强调了主动学习的重要性,并提供了实践学习路径,帮助读者从基础原理到实际应用建立直觉。

技术 › LLM Kanika 2026-08-1510.3 KB 6.8K 20 71

从邓煜2026年菲尔兹奖的数学工作看人工智能

文章通过分析2026年菲尔兹奖得主邓煜关于硬球动力学与玻尔兹曼方程的数学工作,探讨了人工智能的数学本质。文章指出,AI的核心能力在于在没有已知全局方程的情况下进行可学习数值计算,并强调AI的宏观能力源于局部数学结构的长期演化与闭合,而非单纯规模扩张。

技术 › 人工智能 deep Manifold 2026-07-247.0 KB 1.9K 10

深度流形不是计划的

本文回顾了作者从Health AI到“深度流形”理论的研究历程。作者通过与导师石根华的探讨,发现神经网络与堆叠分片流形、不动点理论存在深刻联系。文章介绍了“蓝领智能”和“学习空间”概念,展示了通过理解学习空间大幅减少模型参数量的实践,并阐述了深度流形在AI数学框架及现实应用中的潜力。

技术 › AI理论 deep Manifold 2026-07-218.4 KB 1.8K 14

什么是控制论?控制论是AI的上辈子吗?

文章深入探讨了控制论的起源、发展及其与人工智能的深厚渊源。作者指出,AI中的梯度下降和强化学习本质上是控制论中“负反馈”与“修正差距”思想的延续。从Wiener在二战期间对防空火炮的研究,到Macy会议的跨学科讨论,控制论曾试图用统一数学解释机器、生物和社会。随着符号AI的兴起,控制论作为独立学科逐渐消失,但其核心思想已融入现代AI的底层逻辑之中。

技术 › LLM snowboat 2026-06-1073.1 KB 45.7K 220

当物理遇上AI:深度学习里的物理元素(上)

文章探讨了物理学与人工智能(特别是深度学习)之间的深刻联系。作者指出,神经网络本质上是一个类似于物理学中的“多体系统”,因此统计力学的语言天然适用于描述AI。文章详细拆解了能量最小化、Softmax(玻尔兹曼分布)、交叉熵(信息熵)、VAE(自由能)以及最大熵原理等核心AI概念背后的物理学渊源,揭示了从蒸汽机到神经网络的知识传承。

技术 › 人工智能 snowboat 2026-06-0563.4 KB 26.6K 52

20 张手绘图讲透 AI 核心概念

本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图,涵盖从神经网络、Transformer 架构到大语言模型(LLM)的 20 个核心概念。作者不仅解释了 AI 底层运作原理(如分词、注意力机制),还介绍了模型优化手段(如微调、RLHF)及前沿应用架构(如 RAG、Agent、思维链),是一份简洁全面的 AI 技术入门指南。

技术 › LLM Jason Zhu 2026-05-2510.0 KB 4K 34 63

终极指南:Attention 机制、QKV 与 KV Cache

本文深入剖析了 AI 领域核心的注意力机制。文章回顾了 Attention 从早期神经机器翻译到 Transformer 架构的演变历史,详细解析了其解决固定长度向量瓶颈的原理。同时,通过图文并茂的方式,逐步拆解了从 Embedding 到上下文表示的过程,重点阐述了 Queries、Keys、Values (QKV) 机制的运作逻辑及其在现代大模型中的关键作用。

技术 › LLM Turing Post 2026-05-156.5 KB 14.2K 236 38

如何利用神经网络在交易中获得优势:量化交易框架指南

文章深入探讨了如何利用神经网络构建量化交易系统。作者解释了对冲基金如何利用机器学习提取交易优势,揭示了神经网络计算条件期望的数学本质,而非直接预测未来。文中分析了为何直接预测价格会失败,并提出了正确的数据处理方法和架构选择,旨在为交易者提供一个从数据准备到信号部署的完整实施框架。

技术 › 量化交易 Roan 2026-05-0757.9 KB 1.4M 1.4K 69

Building a Neural Network from Scratch in Pure x86-64 Assembly

本文展示了如何在没有任何高级库的情况下,仅使用 x86-64 汇编语言从零构建一个微型的神经网络来解决 XOR 问题。作者详细讲解了数据内存布局、前向传播、基于 x87 FPU 实现的 Sigmoid 激活函数、损失计算、手动求导的反向传播算法以及权重更新的汇编代码实现。

技术 › 编程语言 vixhaℓ 2026-04-1718.3 KB 557.9K 1.4K 85

开源大模型越狱:从理论到工程实现的完整指南

本文详细介绍了针对开源大模型(如Gemma-4-31B)进行“越狱”的技术原理与实操流程。不同于闭源模型的提示词工程,开源模型越狱(Abliteration)通过修改权重直接抹除模型内部的“拒绝维度”。文章涵盖了从构建对比数据集、提取激活值、计算拒绝向量、权重正交化到最终验证的完整步骤,并指出了过度顺从等副作用及相关的法律伦理风险。

技术 › LLM y yishan 2026-04-075.7 KB 71

如何成为一名机器学习工程师:完全指南

本文是一份详细的机器学习(ML)工程师学习路径指南。作者首先纠正了被动观看视频的学习误区,提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别,强调工程实现能力。随后,作者将学习路径分为两个阶段:第一阶段利用 3Blue1Brown 的视频构建数学直觉,涵盖神经网络、梯度下降、反向传播及 Transformer 架构;第二阶段(文中截断处未完)预告将通过 Andrej Karpathy 的课程来提升代码实现能力。

技术 › 机器学习 Arman Hezarkhani 2026-01-2133.2 KB 1.3M 4.2K 74