🏷️ 微调

训练小模型：2026 年最被低估的 AI 技能

本文探讨了 2026 年 AI 领域的边缘趋势：个人开发者训练小模型（SLM）。文章详细介绍了 CJ Zafir 的方法论，即利用 Codex 和 DeepSeek 生成数据、Unsloth 进行训练、Qwen 作为基座，以极低成本（最低 11 美元）在垂直任务上超越大模型。文章指出，真正的护城河在于高质量数据集的生成工厂，而随着硬件门槛降低和工具成熟，模型微调正从企业军备竞赛转向个人技能。

我们如何构建自动化的 LLM 训练基础设施

文章详细介绍了作者团队构建端到端 LLM 训练平台（Catalyst）的技术历程。通过解决数据标准化、超参数自动配置、多 GPU 提供商调度及无服务器环境下的长时训练恢复等挑战，实现了用户一键微调模型的愿景。

使用 Fireworks Agent 自动化 LLM 微调全流程

本文介绍了如何利用 Fireworks Agent 实现 LLM 微调（SFT）的全自动化。文章以 Andrej Karpathy 的“个人 LLM Wiki”理念为引，阐述了将知识注入模型权重比单纯依赖上下文窗口更高效。通过 Fireworks Agent，作者展示了从数据集检查、超参数搜索、模型训练到部署推理的完整闭环，无需人工干预繁琐步骤，仅需少量 GPU 时间和极低成本，即可训练出具有特定输出风格（如 Wiki 摘要风格）的模型，为构建自我进化的 Agent 铺平了道路。

LoRA - LLMs 的低秩适配详解

文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。