Wiki 知识库

全部文档 / 标签: 模型微调

9 篇
清除

Grok Bot 如何改变了我的工作方式

作者分享了使用 Grok Bot 后工作方式的转变:他从主要在电脑前使用 Claude Code、Codex 等 AI 编程助手,转变为通过手机协调实际工程工作。他搭建了 29 个分工明确的机器人,由管家 Emma 协调研究机器人和编码机器人完成模型实验、微调、内容创作等任务。通过跨设备协作,他无需固定在工位即可推进研究和编码工作。他认为最大的变化不是效率提升,而是思维方式的转变——从考虑打开哪个应用,到思考要完成什么目标以及哪个机器人可以帮忙。

技术 › Agent Melvin Vivas 2026-10-135.1 KB 4.1M 827 62

爆肝30天!魔搭紫皮书开源:系统学习AI的免费指南

袋鼠帝及其AgentWork开源社区耗时30天推出免费开源的《魔搭紫皮书》,一本约40万字、8篇34章的系统学习AI指南。与侧重AI Agent应用的workbuddy蓝皮书和豆包工作蓝皮书不同,紫皮书面向想从零深入AI领域的读者,涵盖开源模型下载、微调(ms-swift)、评测(EvalScope)、应用场景(AI健身教练、智能客服质检、语音助手等)及Agent篇(Claude Code、DeepSeek Harness等)。作者分享了自己7年前报培训班学习编程的经历,强调开源时代AI学习资源免费可得,唯一门槛是执行力。

技术 › LLM 袋鼠帝 2026-09-206.1 KB 32.5K 328 63

万字长文!读懂模型微调的基本概念和名词

本文系统梳理了模型微调的核心概念与术语。作者首先解释了微调的意义:在预训练模型基础上,用任务相关数据继续训练,使模型更适应特定表达、任务或指令,减少幻觉。随后从五个层面展开:模型训练阶段(预训练、基础模型、后训练、微调);训练原理(SFT、指令微调、下一个token预测);训练框架与工具(PyTorch、容器、训练方案);LoRA相关技术(PEFT、QLoRA、rank、alpha、target modules);数据与训练参数(语料、数据集、batch size、学习率、过拟合、eval loss等)。文章以DGX Spark本地微调Gemma为例,帮助读者理解微调全流程。

技术 › LLM Roland.W 2026-09-0120.3 KB 32.5K 85 71

用小模型替代大模型最难的一步,我用 Apodex 解决了

作者尝试用 Apodex 1.1 自动生成训练数据,解决用小模型替代大模型时缺乏标注数据的难题。实验场景是让小模型学会根据自然语言描述从 HuggingFace 九百多个候选模型中挑选正确的模型。Apodex 拆解任务、派出 14 个子 Agent 分工协作并上网核实,最终生成 4218 条经核实的训练数据,还主动推翻了作者一条错误规则。用这批数据训练 Qwen3.5-0.8B 后,挑对模型的比例从 0.4% 提升到 10.7%,瞎编模型名的比例大幅下降,效果优于当年 Berkeley 用 GPT-4 生成的数据。作者总结:AI 能替人造数据的关键,在于能否自动判对错。

技术 › LLM 柯基是只猫 2026-08-2814.7 KB 15.8K 93 82

AI 学的越勤快,反而错的越牢?

本文探讨了AI Agent的“自进化”能力,指出若训练数据包含过期或错误的历史信息,模型会越学越错。作者以Alloomi公司的两份技术报告为例,介绍了Holistic Context如何通过实体归因、时间线和关系学习清理混乱的工作历史,以及Self-Evolving Agent如何通过质量过滤、LoRA微调、跨任务回放和稀疏权重单元(Engram X)将整理后的经验安全地融入模型。实验显示,在CL-Bench上,完整SEA机制比无记忆基线提升26.1个百分点。文章强调,AI公司的下一道分水岭在于能否构建受控的经验积累与更新链路,而非单纯扩大上下文窗口。

技术 › Agent Rachel 2026-08-137.6 KB 52.5K 80 67

69个最佳开源AI仓库推荐(2026年4月)

文章精选了69个经过实战验证、维护活跃的开源AI仓库,旨在替代昂贵的API订阅。内容涵盖完整的AI技术栈,包括本地大模型推理、RAG知识库构建、AI智能体框架、提示词与评估、模型微调、工具链及部署等十大领域,为开发者、研究人员和独立黑客提供免费的生产级AI工具清单。

技术 › 工具与效率 self.dll 2026-04-2950.2 KB 698K 576 81

全链路本地化 AI 应用实践:从端侧微调到 Ambrosia

作者构建了名为 Ambrosia 的离线 AI 护肤日记应用,全过程在本地设备完成。文章探讨了端侧模型在硬件适应性、成本及隐私方面的优势,详细记录了基于 Qwen3-VL-2B 模型在本地 MacBook 上进行 LoRA 微调并在 iPhone 上部署的实践,强调了针对特定任务约束小模型比通用助手更高效,展望了边缘智能与算力结合的未来。

技术 › LLM Aman 2026-04-2411.3 KB 798.4K 913 85

AI 智能体的持续学习:模型、控制层与上下文

文章探讨了 AI 智能体的持续学习机制,将其分为三个层次:模型权重的更新、Harness 控制层的优化以及 Context 上下文层的记忆与配置。作者指出,虽然大多数讨论集中在模型层的微调(如 SFT)及其带来的灾难性遗忘问题上,但工程实践中 Harness 代码和 Context 技能(如 SOUL.md)的迭代往往更为灵活高效。文章最后以 LangSmith 和 Deep Agents 为例,强调了 Trace(追踪日志)在驱动所有层级进化中的核心作用。

技术 › Agent Harrison Chase 2026-04-0515.9 KB 518.1K 1K 86