本文从“模式”（一列乘一行的秩1矩阵）概念出发，系统讲解 LoRA 与 QLoRA 如何降低大模型微调的显存开销。LoRA 通过低秩近似冻结原有权重，只训练少量新增模式（B·A），将可训练参数减少到约万分之一；量化则用 4 位 NF4 格式配合分块缩放和双重量化存储权重，保留全部模式但降低每个数的精度。QLoRA 结合两者：冻结权重用 4 位存储，LoRA 分支用 16 位训练，使 65B 模型只需一块 48GB GPU 即可微调，Guanaco 在 Vicuna 评测中达到 ChatGPT 的 99.3%。文中还比较了低秩近似与量化误差结构的不同，并给出 7B 模型显存估算：全参数微调约 100GB，LoRA 约 15GB，QLoRA 约 5GB。
本文是翻译整理的完整小模型微调指南（原作者Rahul），主张用1.5B参数模型配合200-500条高质量样本微调，即可在特定任务上超越通用前沿大模型。文章涵盖微调的正确认知（微调非提升智能而是稳定窄任务）、三个基线建立、选择Qwen2.5-1.5B等小基座模型、数据权利确认、PDF/OCR文本抽取与清洗、按公司切分数据集、QLoRA训练超参配置、幻觉数字检测评测、vLLM部署及监控重训策略。强调数据合规和评测纪律是真正值钱的部分，附完整可运行代码。
这是一篇关于微调小型LLM的完整实战指南。作者指出不需要70B大模型或昂贵算力，1.5B参数模型在200-500个优质样本上微调后，可在特定任务上超越通用提示的前沿模型。文章以商业融资文案生成为例，详细讲解了微调的实际目标、建立基线（纯提示、RAG、微调）的先后顺序，并分步骤介绍了小型基座模型选择（如Qwen2.5-1.5B）、数据权利合规、可复现数据下载、PDF文本提取与OCR、文本清洗、训练数据集构建、QLoRA训练、评估与部署，每一步均附完整代码。
本文系统梳理了模型微调的核心概念与术语。作者首先解释了微调的意义：在预训练模型基础上，用任务相关数据继续训练，使模型更适应特定表达、任务或指令，减少幻觉。随后从五个层面展开：模型训练阶段（预训练、基础模型、后训练、微调）；训练原理（SFT、指令微调、下一个token预测）；训练框架与工具（PyTorch、容器、训练方案）；LoRA相关技术（PEFT、QLoRA、rank、alpha、target modules）；数据与训练参数（语料、数据集、batch size、学习率、过拟合、eval loss等）。文章以DGX Spark本地微调Gemma为例，帮助读者理解微调全流程。
本文探讨了在只有 12G 显存的消费级 GPU 上进行大语言模型（LLM）算法研究的可行路线。文章指出资源限制本身可以成为研究的起点，并重新定位了研究方向为对小模型的训练算法与适配方法做贡献。文章详细计算了 12G 显存的实际边界，提出了三条可行路线（训练算法优化、结构改动、RL/推理），并介绍了如何利用 HuggingFace 生态（包括官方 Model Trainer Skill）来搭建实验环境、选择模型以及设计严格的三层验证实验（机制验证、扩展验证、现实落地）。
