LoRA - LLMs 的低秩适配详解
文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。
全部文档 / 作者: Amit Shekhar / 标签: LoRA
2 篇
LLM 工程师必读的 12 篇研究论文
文章列出了每位 LLM 工程师必须阅读的 12 篇核心论文清单，涵盖了从 Transformer 架构、BERT、GPT-3 等基础模型，到扩展定律、Chinchilla 训练法则、RLHF 对齐技术，以及 LoRA 高效微调和 FlashAttention 等工程优化技术。这些论文构成了现代大模型理解、训练和部署的理论基石。