Wiki 知识库

全部文档 / 标签: Scaling Law

6 篇
清除

MiMo-V2.6 复盘:Agent RL 的规模化之路

文章解读小米罗福莉关于 MiMo-V2.6 的 RL 复盘,探讨 RL 能否像预训练一样规模化。MiMo-V2.6 单次更新抽取 1568 个任务、每任务 16 条 rollout,一个 Step 生成约 2.5 万条 Agent trajectory。文章指出 Agent RL Scale 的三大难点:需要 7000 多个 RL Task Environment 供模型进入;将 Harness 混入训练实现跨 Harness 迁移能力(You Only RL Once);以及需要强大的 Grader 评估轨迹质量并对抗 Reward Hacking。作者认为未来模型公司的核心能力是建造 Experience Factory,让模型通过大量真实经历实现下一轮 Scaling。

技术 › LLM sleepy.md (@sleepy0x13) 2026-09-225.5 KB 75

辛克維奇时刻,历史正在重演?

文章回顾了有限元法(FEM)的发展史,指出伯克利学派和辛克維奇因数学基础局限而导致的衰落。作者将巴布什卡悖论与当前 AI 领域的 Scaling Law 类比,警示过度堆叠参数可能无法解决根本的架构缺陷,提出智能突破需重构底层数学架构。

技术 › LLM deep Manifold 2026-08-039.5 KB 1.4K 1

一个产品经理读完200篇AI论文后,看见了别人看不见的边界

文章讲述了前豆瓣产品经理谢青池通过阅读200多篇AI论文,梳理出理解大模型发展的历史视角。他通过分析从GPU、AlexNet到Transformer等关键技术节点的演进逻辑,指出产品经理需在边界变化中寻找最优解。读论文不仅消除了他对AI发展的焦虑,也让他能更精准地预判技术趋势。

技术 › LLM 向 向阳乔木 2026-07-3118.7 KB 62.7K 339

当物理遇上AI:深度学习里的物理元素(下)

本文是《当物理遇上AI》的下篇,探讨了深度学习中的未解难题与物理学现象的同构关系。作者详细分析了Scaling Law与临界标度律、模型涌现与相变、双下降曲线与随机矩阵理论之间的深层联系。文章评估了这些类比证据的强弱,指出部分物理数学工具已能精确推导AI行为,同时也讨论了争议与未解之谜。

技术 › LLM snowboat 2026-06-0568.6 KB 9.7K 36

深度扩展视角:Looped LLM 与 Claude Mythos 架构解析

本文深入探讨了 Looped LLM(循环大语言模型)的演进及其在 Claude Mythos 中的潜在应用。作者从字节跳动实习期间的研究出发,分析了循环架构在多跳推理任务上的优势,并指出 Anthropic 新发布的 Mythos 在 GraphWalk BFS 基准上的异常提升可能与底层状态跟踪能力有关。文章进一步探讨了将 Looped LLM 扩展至大规模应用时面临的“三道门槛”:深度稳定性(借鉴 RNN/SSM 理论解决梯度问题)、推理效率(结合 Diffusion Forcing 和 YOCO 优化并行度)以及单位 FLOPs 的有效性,强调了在算力预算有限时架构选择的重要性。

技术 › LLM Rui-Jie Zhu 2026-04-2230.5 KB 70.4K 292 81

Looped LLM 与深度缩放:解析 Claude Mythos 的架构演变

文章基于作者在 ByteDance Seed 的研究经历,探讨了 Looped LLM 架构的起源与演进。作者通过分析 Anthropic 发布的 Claude Mythos 在 GraphWalk BFS 基准上的异常表现,指出 Looped 架构在多跳推理和状态追踪上的优势。文章进一步深入讨论了 Looped LLM 在扩展至 10T/100T 规模时面临的深度稳定性、推理效率和 FLOPs 有效性的三大挑战,并对比了 RNN 视角与 Parallel Looped Transformer 等解决方案。

技术 › LLM Rui-Jie Zhu 2026-04-2230.5 KB 85