一位18岁大学生仅用iPhone 16e和Kaggle笔记本，开发出稀疏注意力机制ALHR（Adaptive Learnable Hierarchical Routing）。该方法通过给key矩阵构建静态二叉树，配合预算预测器、邻居搜索和树下降三步推理，让每个query只读取所需key。在1024 token的MQAR测试中，仅读取2.83%的key即可达到92.1%准确率（稠密基线94.9%），KV压缩35.3倍。训练分三段：先训稠密教师模型，再用其注意力矩阵标注top-k key训练树模块，最后无教师联合训练。目前因未做kernel优化比稠密注意力慢约10倍，代码由Claude Sonnet 5.5生成，Apache-2.0开源。
本文系统科普了主流LLM的注意力机制，指出其并非简单的单线升级，而是可组合的四个维度：KV缓存表示、注意力连接范围、序列混合器及位置稳定化技术。文章详细解析了MHA、MQA、GQA、MLA等机制对显存带宽的影响，以及全注意力、稀疏注意力、线性注意力等在降低长序列计算复杂度上的权衡。最后通过对比DeepSeek、Qwen、Kimi等代表模型，澄清了常见误区，为机制选择提供了准确的技术指导。
《从零构建大模型》作者 Sebastian Raschka 推出 8 集共 11 小时的免费视频课，配合新书《从零构建推理模型》，教你用 PyTorch 基于 Qwen3 0.6B 从零实现推理模型。课程内容涵盖 KV cache、数学答案验证器、self-consistency 多数投票、自我修正、简化版 GRPO（RLVR）训练、reward hacking 以及 DeepSeek R1 蒸馏。前几集 CPU 或 Mac Apple 芯片即可运行，只需会 Python 和 PyTorch 即可直接学习。视频与代码仓库均已开源。
文章盘点了近期爆火的 5 个 Agent Skills 开源项目：Google Android 官方的安卓开发技能包 android/skills、K-Dense 的 177 项覆盖多学科的 AI 科学家技能库、rehan-remade 的万能游戏 Mod 工具、QingYunA 的一页式 HTML 回答方案，以及 oil-oil 的 UI 设计师技能。这些项目展示了 Skills 生态的爆发：官方下场教 AI 写安卓、Agent 变身科研专家、一句话改游戏、答案自带排版、AI 具备审美能力，标志着 Agent Skills 正成为下一代 AI 能力扩展标准。
文章盘点了本周 GitHub 上增长最快的十个 AI 开源项目：REA 可用 AI 逆向分析任意应用；Matt Pocock 的 skills 提供工程化 AI 编程技能；diagram-design 教 AI 画出专业图解；OpenMontage 把编程助手变成 AI 视频工作室；claude-mem 为 AI 增加长期记忆并节省 token；free-claude-code 汇聚免费模型额度让 AI 编程工具零成本使用；Anthropic 官方 knowledge-work-plugins 面向非程序员岗位；AirLLM 让小显存跑超大模型；text-to-cad 一句话生成可加工的 3D 零件；OpenSRE 让 AI 承担线上运维值班工作。
作者分享了在番茄小说用 AI 写长篇的实践经验，指出大上下文窗口并不等于剧情逻辑连续性，核心在于状态锁、角色知识边界和改稿后的级联更新。文章深入分析了 5 个 GitHub 开源方案：oh-story（Codex 深度写手，追踪提交协议）、MuMuAINovel（中文 Web 工作台，可视化记忆管理）、Ani Book Skill（本地 YAML 工程化方案）、ainovel-cli（Go 语言多 Agent 引擎）、Webnovel Writer v6（Claude Code 插件），各自说明核心机制与实操避坑点。最后给出三个测试标准：道具连续性、角色知识隔离、改稿级联冲突检测。
文章回顾 Andrej Karpathy 在 OpenAI 七年间见证 GPT 从 1.17 亿参数增长到万亿参数的历程，强调 Transformer 是近 50 年计算领域最重要的架构。内容深入浅出地讲解 LLM 内部机制：文本被切分为 token 并映射为高维嵌入向量，模型通过注意力机制（Q、K、V 矩阵）学习上下文语义；Kaplan 提出的缩放定律证明性能随参数规模可预测提升；大模型还涌现出上下文学习、思维链推理等未显式编程的能力。作者指出 LLM 不是工具而是基础设施，真正赚钱的是理解底层架构并在此基础上构建的人。
作者分享了利用 AI 开发的开源背单词神器「词汇星图」。文章分析了传统背单词方式的痛点：纸质书无法乱序、App 复习流程不自由、缺乏多释义例句和同义词高级表达等。工具的核心功能包括：以网状结构展示单词的词汇星图（涵盖词形变换、派生词等同族词，以及同义、近义、反义、拼写相似等关联词）、集成剑桥、牛津、朗文等多词典数据的单词详情页、支持艾宾浩斯遗忘曲线和葫芦背书法的背单词功能，以及内置各类考试词表和自定义词表。项目已开源至 GitHub，旨在提供 AI 赋能教育的思路。
文章由 dontbesilent 的 Codex 撰写，完整复盘了一个内容诊断 Skill（dbs-beta-content-value）的制作过程，介绍如何将个人经验沉淀为 AI 可重复执行的规则。核心流程为：定义任务 → 做出第一版 → 输入真实案例 → 定位错误位置 → 写成通用规则 → 换案例复测。文章强调使用真实案例暴露 AI 判断错误、区分任务目标/判断过程/对外表达三类错误、用理论（如信息觅食理论）稳固规则、以及用已有 Skill 协助制作新 Skill 的协作链，最后附上可直接使用的 Skill 制作清单和母提示词。
作者对开源项目 CLM（Contrastive Language Models）声称的 DeepSWE 81.6% SOTA 成绩进行了独立复现。通过三重验证（常数分数测试、用作者自带分数复算、checkpoint 哈希校验），确认 fold1 的 81.579% 可精确复现。但深入分析发现，该项目采用三折交叉验证，公布的数字是最优折，三折平均仅为 78.66%，跨度达 19 个百分点，fold2 甚至低于随机基线（主要因小样本高方差）。文章还验证了 CLM 训练成本低（纯 CPU 分钟级）、编码器可在 macOS 上运行、预训练头在 1000 条数据以内有效等结论，并指出 README 中复现命令路径失效、评估脚本未公开等问题。
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
作者分享了一个开源的 Jev WeChat 微信群聊助手项目，可用 AI 自动分析群聊意图并生成候选回复，解决不懂人情世故、微信客服和群助手自动化等场景。项目发布后引发热议，网友讨论了封号风险（建议用小号测试安卓设备）、适用场景（私域运营、客服、销售、情侣群聊）、技术实现（使用 DeepSeek 生成回复）等。文中还附带分享了 Agent Space 订阅管理产品和 6 个大模型写 Space Invaders 的横向评测 benchmark，以及出海增长工作坊推荐等内容。
作者分享了做 AI 内容时常用的高质量信息源，并按主题分类介绍：AI 模型与 Coding Agent 方面推荐 LINUX DO、r/LocalLLaMA、r/cursor、r/ClaudeAI；基础设施与低成本部署方面推荐 NodeSeek 和 LowEndTalk；独立开发与产品冷启动方面推荐 V2EX、r/SaaS、Indie Hackers、r/SideProject；开源趋势与学术前沿方面推荐 GitHub Trending、Latent Space、The Pragmatic Engineer、arXiv 和 Hugging Face Daily Papers。文章还提及作者自用的跨平台检索 skill 及其 GitHub 项目，强调一手实测数据和真实用户反馈的价值。
