Wiki 知识库

全部文档 / 标签: MLsys

3 篇
清除

UC Berkeley 2026 秋季课程《Scalable AI》:从架构、预训练到推理的全栈工程

文章介绍 UC Berkeley EECS 2026 秋季开设的《Scalable AI》课程(EE 290/194),由 Anant Sahai 与焦剑涛联合授课,NVIDIA 提供算力支持。课程将大模型作为端到端工程对象教授,涵盖架构、预训练、后训练、高效推理、应用与研究前沿六个阶段,采用基于真实 H100 节点的项目制考核,无笔试,研究项目占 50% 且要求外部影响力证明。课程深度绑定 NVIDIA NeMo 工具链,反映了 AI 教育重心从论文向工程实践迁移的趋势,适合目标为 LLM infra 与 MLSys 的学生。

技术 › LLM meng shao 2026-09-299.4 KB 6.4K 53 73

机器学习系统:AI 工程的物理学(哈佛大学开源教材解读)

文章介绍了哈佛大学 Vijay Janapa Reddi 教授的开源教材《Machine Learning Systems: The Physics of AI Engineering》,两卷 33 章,旨在像 Hennessy & Patterson 的体系结构经典一样,将 ML 系统工程变为有定量定律的学科。全书以铁律、屋顶线模型、能耗阶梯、Amdahl 定律、漂移方程等核心定律组织内容:第一卷讲单机 ML 系统栈(数据、训练、压缩、硬件、服务、MLOps),第二卷讲集群规模化(分布式训练、3D 并行、容错、推理经济学、可持续 AI)。文章总结了书中'约束驱动''一切皆有价格''静默失败是默认模式'等核心世界观,并给出不同读者群体的阅读建议。

技术 › 后端 meng shao 2026-09-2817.0 KB 13.5K 125 84

LEANN:省97%存储的轻量级本地RAG检索方案

传统RAG存储成本高昂,百万级文档索引动辄数百GB,本地设备难以承载。LEANN采用新思路:不存储所有向量,只保留精简的图结构,检索时按需计算,实现存储节省97%且精度不减。它可在笔记本上全本地运行,支持索引文件系统、邮件、浏览器记录、微信/iMessage、ChatGPT/Claude对话、Slack/Twitter实时数据及代码库,零云成本、数据不出设备、注重隐私。该项目已入选MLsys 2026,适合关注隐私的个人语义搜索开发者。

技术 › LLM LanfAI (@Huahuazo) 2026-08-31941 B 60