如何用自己的数据微调一个小模型
本文是翻译整理的完整小模型微调指南（原作者Rahul），主张用1.5B参数模型配合200-500条高质量样本微调，即可在特定任务上超越通用前沿大模型。文章涵盖微调的正确认知（微调非提升智能而是稳定窄任务）、三个基线建立、选择Qwen2.5-1.5B等小基座模型、数据权利确认、PDF/OCR文本抽取与清洗、按公司切分数据集、QLoRA训练超参配置、幻觉数字检测评测、vLLM部署及监控重训策略。强调数据合规和评测纪律是真正值钱的部分，附完整可运行代码。
相关文档
How To Fine-Tune a Small LLM on Your Own Data (Full Guide)
这是一篇关于微调小型LLM的完整实战指南。作者指出不需要70B大模型或昂贵算力，1.5B参数模型在200-500个优质样本上微调后，可在特定任务上超越通用提示的前沿模型。文章以商业融资文案生成为例，详细讲解了微调的实际目标、建立基线（纯提示、RAG、微调）的先后顺序，并分步骤介绍了小型基座模型选择（如Qwen2.5-1.5B）、数据权利合规、可复现数据下载、PDF文本提取与OCR、文本清洗、训练数据集构建、QLoRA训练、评估与部署，每一步均附完整代码。
LoRA 与 QLoRA：用一块 GPU 微调大模型
本文从“模式”（一列乘一行的秩1矩阵）概念出发，系统讲解 LoRA 与 QLoRA 如何降低大模型微调的显存开销。LoRA 通过低秩近似冻结原有权重，只训练少量新增模式（B·A），将可训练参数减少到约万分之一；量化则用 4 位 NF4 格式配合分块缩放和双重量化存储权重，保留全部模式但降低每个数的精度。QLoRA 结合两者：冻结权重用 4 位存储，LoRA 分支用 16 位训练，使 65B 模型只需一块 48GB GPU 即可微调，Guanaco 在 Vicuna 评测中达到 ChatGPT 的 99.3%。文中还比较了低秩近似与量化误差结构的不同，并给出 7B 模型显存估算：全参数微调约 100GB，LoRA 约 15GB，QLoRA 约 5GB。
2小时从零看懂 AI：一篇文章建立AI认知体系（8000元企业内训同款）
本文是作者基于3家企业AI内训经验整理的AI入门长文，涵盖四大部分：大模型通识、提示词方法、智能体入门与实操。文章用通俗语言解释AIGC概念、大模型的定义与工作原理（概率预测文字接龙）、AI的优势（信息处理、知识覆盖、内容生成）与局限（幻觉、时效性、偏见、推理限制），并阐明AI软件=大模型+产品界面的本质，介绍提示词、微调、RAG三种大模型优化手段，帮助读者快速建立完整的AI认知框架。
The 2026 LLM Engineering Roadmap
本文提出了2026年LLM工程路线图，指出与LLM工作不只是提示词，生产级系统需要对LLM的工程化、部署和优化有深入理解。文章总结八大支柱：提示工程（将prompt当作代码管理）、RAG系统（嵌入、检索、重排）、上下文工程（管理上下文窗口中各类信息的取舍）、微调（LoRA/QLoRA等技术）、Agent（工具调用循环与编排、状态管理、重试逻辑），并为每个领域提供了大量免费开源学习资源，如Anthropic、OpenAI官方指南及多个GitHub教程仓库。
Hugging Face 详细教程：从调用模型到微调与部署
本文是一篇 Hugging Face 平台的系统教程，从零讲解大模型开发的完整工作流：安装环境、登录 Hub、用 Pipeline 快速推理、理解 Tokenizer、加载模型、使用 Datasets 处理数据、用 Trainer 微调模型、通过 LoRA/PEFT 高效微调大模型、上传模型到 Hub，以及用 Spaces 部署 Gradio Demo。文章还涵盖模型选择要点、常见问题排查（如显存不足、tokenizer 配置、训练效果差）和分阶段学习路线，并附官方文档链接，适合想将大模型真正用起来的开发者入门与进阶。
Jeff：把 Jev 类决策模型压到 0.8B，跑在本地
Mathias Strasser（Scissero）基于 Qwen3.5 和 Gemma 4 微调出 Jeff 系列 0.8B/2B 决策模型，用于零样本分类：输入描述与选项，一次前向传播返回各选项校准概率。模型在 RTX PRO 6000 上约 22 毫秒、M4 Max 上 28 毫秒即可完成一次决策，0.8B 仅 1.7GB，可直接本地部署。整体基准分 Jeff-2B 达 83.1，几乎追平 Jev 的 83.0；Doom 零样本测试中 Jeff-0.8B 在无人提示规则下达到 6.55，追平 Jev 公布成绩。作者诚实列出局限：不能推理、最多 26 个选项、只支持英文文本等。代码 MIT、权重 Apache 2.0 开源。
把 Jev 插进 RAG：爆速与降本到底能不能实现，实测验证
本文实测了 TypeSafe AI 发布的不生成文本的 AI 模型 Jev 在 RAG 检索流程中的效果。作者在重排、回答判断、检索前置门卫三个环节插入 Jev 进行验证：重排方面，Jev 以八分之一的成本达到接近 Cohere Rerank 的精度；在调用 LLM 之前用 Jev 判断「无法回答」，响应速度提升 5.6 倍，成本降至二十七分之一；在检索之前拦掉范围外提问，速度提升 7.4 倍，成本降至七十五分之一。此外，Jev 还能一次请求同时完成重排和回答判断。结论是用 Jev 改善 RAG 速度与成本可行，但需慎重设定阈值，避免误拦可回答问题。
How to train your own Jev for $17
本文介绍如何以约17美元的成本微调一个类似Jev的高效分类模型。作者基于Qwen3.5 4B，从MultiNLI、BoolQ、Banking77、AG News、SST-5等多个Hugging Face数据集中采样约3.8万个样本，通过脚本归一化数据后，使用Together AI的Fine-tuning服务启动训练任务（约25分钟完成），再将模型部署到Together AI的专用端点（dedicated endpoint），并通过API查询模型完成分类任务。文中还发布了可直接使用的together/Tev1-4B-experimental模型，适用于客服意图识别、文本情感分析、论文分类等实际场景，涵盖从环境搭建、数据准备、训练到部署查询的完整流程。
Hamel 的 AI 产品工程笔记：Evals、Context、Systems 的优化全序
本文整理了 Hamel Husain 的 Maven 课程「AI Product Engineering」13 场讲座（共 9.5 小时）的笔记精华，按 Evals、Context、Systems 三大主题组织。核心结论是 AI 产品优化的顺序：先优化检索与上下文（投入产出比最高），再改进系统与执行框架，最后才考虑 post-training。Evals 贯穿一切改进，是判断优化效果的前提。文章涵盖数据 Agent 评测、模型级联降本、自动化错误分析、多向量检索、嵌入模型优化、OCR 选型、推理延迟调试、开源模型经济学等具体实践，强调评测环境应反映生产环境的真实脏乱，模型推理能力往往远超其所得的检索质量。
如果你想做 AI 应用不妨考虑一下 Harness 开发
作者结合实际工作经验，整理出一份 AI Harness 开发的 11 条技能清单，涵盖后端与系统设计、RAG 与向量数据库、记忆与上下文管理、工具调用与 MCP、Agent 编排、护栏校验、评测、可观测性、模型路由降级、排队负载均衡以及推理部署引擎。作者指出 Harness 开发是硅谷热门方向（如 YC Demo Day 上大量项目），建议普通开发者从 AI 应用入手，把模型接入具体业务，并给出将清单交给 AI 逐项学习的 prompt 方法。
我在 22.7B token 上从零训了一个 348M 模型，它能做 14 位加法
作者 nkthebass 从零训练了一个 348M 参数的 decoder-only 小模型 TinyBrainBot 350M V3 Math，用带纸笔（scratchpad）的竖式算术方式做计算。九项 GPT-3 算术子任务均值达 99.4%，加法干净做到 14 位，三位数乘法 98.0%。文章详细分析了首版三个缺陷的修复过程、加法天花板源于词表位名不足、减法错误集中在大小比较、应用题弱与算术高分不矛盾等发现，并分享了训练中关于联合分布控制和显式对齐步骤两个关键经验，以及 LoRA adapter 合并的意外收益。
我让蚂蚁百灵的金融模型，和它自己打了 441 轮
作者对蚂蚁百灵发布的金融模型 Ling-3.0-flash-Fin 与其通用基座 Ling-3.0-flash 进行了 441 轮对比实测，使用微软 FY26 Q4 财报和宁德时代 2025 年报等一手公开材料，设计八类任务。结果显示两个模型都能以分析师水准完成建模、口径辨析、抗幻觉等任务，准确率上金融版没有体现出明显优势；唯一显著差距在长篇输出场景，金融版更易'想太多'后返回空白（研报撰写失败率 18.6% vs 0%）。文章还给出反直觉发现：长上下文直投比 RAG 检索更准、更快、更便宜，并坦诚记录了测评过程中的多次自我纠错。
