Reinforcement Learning from scratch #1
本文是强化学习从零开始系列的第一篇，作者通过赌场老虎机的故事引入多臂老虎机问题。文章以通俗易懂的方式讲解了期望值、条件概率、贝叶斯定理、大数定律等基础概率统计概念，并推导出增量式价值估计 Q 的更新公式，为后续学习强化学习算法奠定基础。作者强调从最简单的问题出发、逐步增加复杂度的学习方式。
相关文档
人工智能/机器学习数学基础与学习路径
文章详细阐述了掌握人工智能和机器学习所需的三大数学支柱：统计学与概率、线性代数以及微积分。作者不仅解释了每个领域的核心概念（如贝叶斯定理、矩阵分解和梯度优化），还强调了它们在 AI 模型（如神经网络、回归）中的实际应用。最后，作者分享了一条个性化的学习路线图，推荐了 3Blue1Brown、Coursera 课程及《统计学习导论》等优质资源，帮助读者从直观理解过渡到理论实践。
如何从头构建一个 RL 环境：以 Othello 游戏为例
本文介绍了如何使用 Prime Intellect 的 Verifiers 框架从零开始构建一个用于强化学习（RL）的 Othello（黑白棋）游戏环境。文章解释了 RL 循环的基本组成部分（状态、动作、奖励、环境），并利用 GRPO 算法替代传统的人工偏好模型。文中详细展示了技术栈、游戏循环逻辑以及内置的 Minimax 对手引擎代码，旨在帮助开发者理解并掌握构建模型无关的 RL 环境的核心方法。
图解 Transformer 架构：从原理到细节的全面解析
本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。
看完这篇，把收藏的提示词模板全删了！
文章指出收藏的提示词模板大多是安慰剂，问题在于使用方式错误：AI 不理解'电影感''8K''大师级'等模糊愿望词，只接受具体指令。作者强调提示词本质是导演语言，需要先建立导演思维。文中系统讲解了三大要点：镜头（景别、运镜动词、机位角度的权力感）、调度（人物走位让画面活起来）、光影（先定时间再定光源来控制情绪），并给出新手可直接照抄的 6 条原则，包括先定景别、运镜用一个动词、加走位描述、删掉抽象形容词换具体表达、以及必写负面词等实用技巧。
Kaggle免费白嫖MiniMax H3视频生成教程
本文介绍如何利用Kaggle提供的免费GPU资源（T4 x2，每周30小时）免费运行MiniMax H3视频生成模型。作者详细讲解了注册流程，包括大陆用户可用的人脸认证替代手机验证；随后引导读者复制现成的MiniMax H3 Turbo Int8 notebook并一键运行，获得可用的网页界面。进阶部分介绍了安装kaggle-skill，通过VS Code Compatible URL让本地AI直接操控Kaggle环境。
免费的AI课程全指南：350+课程、5000+讲座替代你的学位
作者因厌倦在YouTube、Google和大学网站间费力搜寻AI学习资源，整理了一份完全免费的AI课程大全，涵盖350多门课程和5000多个讲座。内容按主题分类，包括深度学习、机器学习基础、优化、强化学习、概率图模型、贝叶斯深度学习、医学影像、图神经网络、NLP、语音识别、计算机视觉等14个方向。课程来源包括Geoffrey Hinton、Andrew Ng、Andrej Karpathy、Richard Socher等名师在多伦多大学、斯坦福、牛津、MIT、CMU、DeepMind等机构的经典课程，并附有课件和视频链接。
不会建模，也不用最强的模型：我用 AI 把一张图，做成了会放歌的 3D 狐狸电台
作者以一张 AI 生成的概念图为起点，完整记录了制作一个网页 3D 狐狸电台的全过程，证明不会建模、不用最强模型也能做出 3D 作品。文章分四步：想法生成静态图、图生 3D 模型（用混元 3D）、模型瘦身上网页（66MB 压到 1.9MB）、让模型在 shader 中动起来。文中穿插 7 个 3D 概念知识（网格面数、材质贴图、PBR、GLB 格式等），并给出挑图标准、模型体检打分方法、瘦身命令和成本账单，是一份可复现的 AI 3D 创作实践教程。
斯坦福机器人学免费课程：6个月成为机器人学习工程师的学习路径
作者整理了一份利用斯坦福免费公开课程资源、历时6个月成为机器人学习工程师的自学路径。斯坦福将大量机器人学课程发布在YouTube上，讲师包括NVIDIA自动驾驶研究高级总监、Physical Intelligence联合创始人及Tesla Optimus AI负责人。该路径包含7门课程共119讲、约95小时视频、2本免费教材、6个可在家用笔记本上完成的练习项目，以及可选的122美元机械臂。学习顺序遵循斯坦福正式课程体系：先数学基础（线性代数），再机器人物理结构、感知、规划，最后是学习方法，避免了自学时无序观看导致的低效问题。
How robot arms are controlled
本文面向进入机器人学习领域的机器学习从业者，系统讲解 SO-100 机械臂的控制原理。内容涵盖机械臂的组成（六连杆五关节的伺服电机结构）、通过主从臂遥操作采集演示数据的方法、PID 控制器的工作机制（弹簧-阻尼模型与临界阻尼的推导）、力矩限制带来的非线性行为，以及关节空间与任务空间的表示方法、正运动学（FK）与逆运动学（IK）的原理与挑战。文章也解释了一个反直觉现象：机械臂在臂长范围内无法精确到达 0% 的夹爪位姿。
果蝇大脑被谷歌开源后，竟学会了玩游戏、炒币...
谷歌联合HHMI Janelia发布首个成年雄性果蝇完整中枢神经系统连接图谱MaleCNS v1.0，识别超16.6万个神经元、约1.25亿个突触。图谱开源后，开发者围绕其展开各种创意实验：接入《我的世界》《Doom》《Beat Saber》等游戏，让果蝇刷短视频、决定央行利率等。加密社区也迅速跟进，有人让果蝇自主发币、炒Meme币和比特币，甚至发行Meme币FLYBRAIN，市值一度突破5500万美元。这项神经科学成果从实验室走向大众娱乐与链上实验，成为热门话题。
图解 Blender for macOS：五个核心概念入门
本文以 macOS 上的 Blender 5.2.1 和金门大桥 3D 模型为例，图解讲解新手入门 Blender 必备的五个核心概念：安全网（撤销与常见误操作）、导航（触控板手势与 View Selected 聚焦）、Outliner 场景目录、着色模式（Solid/Material Preview/Rendered）、相机与出图流程，以及物体模式与编辑模式的区别。文章纠正了 Emulate Numpad 等常见误解，并给出大场景下缩放卡死的解决方案和 5 分钟上手流程，帮助 GPT-6 等 AI 驱动场景下快速玩转 Blender。
我用 AI 接上了微信：每天少翻几百条消息，还能顺手发现商机
作者分享了一个实用教程：让 AI 在本地只读读取微信聊天记录，从而高效处理海量消息。通过 Codex 配合开源工具（wechat-decrypt）提取 key 并解密本地微信数据库，AI 可以总结群消息、提炼待办、复盘合作关系、挖掘群里的潜在商机，甚至学习用户自己的表达风格来代写回复。文章强调使用边界：只读本机数据、不自动发消息、不上传隐私，并建议每次限定读取范围。作者认为微信是巨大的个人资料库，让 AI 先读一遍能省时间、少漏事，但最终判断仍应由人来做。
