我用Ling-3.0-flash-VL把学习视频拆成能可动手的实验
作者利用蚂蚁百灵多模态大模型Ling-3.0-flash-VL开发了Course Rebuilder，将B站收藏的《从函数到Transformer架构》网课重构为10个可交互实验，涵盖从函数拟合到Transformer组装的完整因果链。模型能精准解析视频片段，提取讲解概念、画面证据和先修知识，并给出交互改造建议，推理延迟仅1.1-1.3秒。该工具将被动听课转化为主动探索，支持跳转原片和AI助教答疑，显著提升学习吸收率。
相关文档
大模型学习地铁图：从 Transformer 到今天的主流大模型
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
Is ENGRAM free lunch? Does it not impact AI model quality?
文章深入分析Engram技术：将序列嵌入存储到可卸载至DRAM的嵌入表中，节省HBM内存、减少FLOPs，从而降低AI推理成本。在参数和训练预算相同的对照实验中，Engram-27B相比MoE-27B不仅没有降低性能，反而显著提升（MMLU从57.4升至60.4）。作者指出Engram参数分配存在约20-25%的最优区间，过高会挤占MoE专家参数损害性能，且不能完全替代FFN（FFN负责概念运算）。结论认为Engram确实是一种'免费午餐'，DeepSeek、美团LongCat、Qwen等已采纳该技术。
Behind Jev: Two Hypotheses About Its Base Model
文章探讨 TypeSafe 公司 Jev 决策 API 背后可能的基础模型架构，提出两种假设：一是 BERT 风格的双向编码器，二是去掉生成循环、直接输出决策概率的因果解码器。作者引用 Archer Hume 基于约一万次 API 调用的逆向分析，认为其可能是带共享状态计算、独立问题分支和直接概率读出的因果 Transformer，甚至可能是 MoE 架构，但其研究无法区分编码器与解码器。文章还通过 OpenJev 等开源项目（基于冻结的 Qwen3.5-4B 权重）证明使用因果模型骨干做直接决策打分在技术上可行，并讨论了因果注意力、前缀缓存等工程优势。作者强调这些都是架构假设，不能确定 Jev 的真实权重来源。
MoE 推理工程详解
本文系统讲解 MoE（混合专家）模型的推理服务工程原理。从稠密 Transformer 的 FFN 与 MoE 层的区别入手，介绍路由器如何为每个 token 选择专家、dispatch 和 combine 过程如何将路由决策聚合成专家专属矩阵，以及 grouped GEMM 如何减少内核启动开销。文章还涵盖专家并行、拓扑感知部署、显存需求（常驻参数 vs 激活参数）、负载不均衡、容量限制和量化等话题，并分析计算、显存带宽与互连流量之间的性能瓶颈权衡，以 Qwen3-30B-A3B 为实例说明。
DeepSeek-V4.1-Flash 发布：更聪明、更快速、更高效
DeepSeek 发布新架构家族中最小的模型 V4.1-Flash，具备原生视觉理解能力。该模型采用非对称因果编码器-解码器架构，552B 参数 MoE，仅 8B 激活参数用于输入、16B 用于输出，通过新预训练方法和大规模 RL 后训练，性能超越旗舰模型 V4-Pro。KV 缓存仅需前代 1/4 的 HBM 和 1/8 的 SSD 存储，大幅降低 Agent 成本。模型已上线 DeepSeek API，支持多模态，API 价格下调，非高峰时段费率为峰值的 50%。官方将与开源社区合作推进推理支持，模型已在 HuggingFace 开放。
DeepSeek V4.1 Flash 正式发布，全面超越自家 Pro 模型？实战测评
DeepSeek 发布 552B 参数的开源 MoE 模型 V4.1 Flash，原生支持多模态视觉理解，官方称其性能、费用、速度全面超越 V4 Pro，V4 Pro 将于 9 月 14 日下线。作者通过两个实战项目（3D 程序化城市生成器、基于 draw.io 的 AI 智能绘图工具）横向对比 V4.1 Flash、V4 Pro 和 GLM-5.3-Flash。结果显示 V4.1 Flash 完成度最高，输出速度达 287 TOK/s，成本仅约 5 元/项目，多模态能力让前端开发质量明显提升，最终结论是梁神回归，可重新推荐为日常 AI 编程模型。
智谱GLM-5.3-Flash发布：真正的智能平权
文章揭秘了海外爆火的匿名模型OX Alpha的真实身份——智谱发布的GLM-5.3-Flash。该模型是总参数320B、激活18B的MoE架构，GLM-5系列首个原生多模态模型，支持图像、视频和文本输入，上下文达100万。其能力逼近Opus 4.8，而价格极低（每百万Token输入0.8元、输出2.8元），比DeepSeek V4还便宜一半。作者通过自建1000条新闻评测集实测发现其在精选率和品味上优于MiMo 2.5 Pro和DeepSeek V4 Pro，前端代码能力也直逼顶级模型。此外，智谱用10万张国产卡扛下了匿名测试期的全部推理流量。作者决定将AIHOT网站模型全面切换至GLM-5.3-Flash。
MoE与MMoE模型详解：从稀疏扩容到多任务学习
本文系统梳理了MoE（混合专家）模型的概念分歧与技术演进。针对目前命名混乱导致的认知误区，作者明确划分了两条核心技术路线：一是追求参数量与计算量解耦的稀疏路线，已成为大语言模型的默认架构；二是通过多门控机制实现任务共享的MMoE路线，主要应用于推荐系统。文章深入回顾了条件计算思想，并详细探讨了稀疏MoE在路由设计、负载均衡、并行通信等工程实践及结构演进的现状。
MiniMax H3: 打破任务与模态界限的开源多模态生成模型
MiniMax 发布通用多模态生成模型 H3，支持文本、图像、视频和音频的统一理解与生成。H3 可生成原生立体声的 2K 分辨率视频，具备优异的指令遵循和精准编辑能力，并计划近期开源模型权重，旨在打破任务边界，降低成本，加速商业化内容创作。
关于 Inkling 的数学思考
本文从深度流形视角分析 Thinking Machines 的多模态模型 Inkling。探讨了模态早期耦合、放弃 RoPE 的几何意义、Muon 的归一化作用以及大规模强化学习对流形同调的影响，提出了关于数据耦合和训练稳定性的开放问题。
Mixture of Experts (MoE): Scaling AI with Specialized Models
文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。
DeepSeek新论文解读：用“手指着图片思考”的多模态推理框架
DeepSeek发布新论文，提出一种名为“视觉原语”的多模态推理框架。不同于业界卷分辨率的趋势，该模型通过在思维链中嵌入边界框和坐标点，模拟人类用手指着图片思考的过程，有效解决了语言在空间指代上的局限。DeepSeek-ViT配合LLM将视觉Token压缩至竞品的十分之一，但在空间推理、计数和迷宫导航等任务上性能超越GPT-5.4等顶尖模型。