Wiki 知识库

全部文档 / 标签: NLP

8 篇
清除

指令微调:理解 Instruction Tuning

本文是后训练系列第二篇,介绍指令微调(SFT)。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例,说明指令微调与预训练使用相同的下一个 token 预测损失,但数据和任务不同。文章详细讲解训练五步骤:收集、格式化、掩码、训练、评测,并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识,少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限:无法补充知识、比较回答优劣或检验正确性。

技术 › LLM Dongxi 东锡 NLP 2026-10-2312.4 KB 8.9K 59 83

想转 FDE?一个干了 4 年多的人告诉你:这活从开会聊需求,到私有化部署,都得会

作者基于4年多车企AI落地经验,按项目全流程拆解FDE(Frontier Development Engineer)岗位的真实工作内容:售前阶段的客户预期管理、深入业务打磨几千个标签体系、模型开发(从BERT加规则演进到大模型抽取加检索链路,涉及微调、embedding、评测)、私有化部署的工程细节(驱动、CUDA、vLLM、压测、稳定性)、以及上线后的数据报告与可视化。作者强调模型只是最不用担心的部分,难的是模型前后的业务与工程,并介绍了AI coding如何让他一个人交付客户demo。

技术 › LLM Simon聊AI 2026-10-0929.3 KB 26.1K 87 86

免费的AI课程全指南:350+课程、5000+讲座替代你的学位

作者因厌倦在YouTube、Google和大学网站间费力搜寻AI学习资源,整理了一份完全免费的AI课程大全,涵盖350多门课程和5000多个讲座。内容按主题分类,包括深度学习、机器学习基础、优化、强化学习、概率图模型、贝叶斯深度学习、医学影像、图神经网络、NLP、语音识别、计算机视觉等14个方向。课程来源包括Geoffrey Hinton、Andrew Ng、Andrej Karpathy、Richard Socher等名师在多伦多大学、斯坦福、牛津、MIT、CMU、DeepMind等机构的经典课程,并附有课件和视频链接。

技术 › LLM shikamaru 2026-10-06191.8 KB 333.9K 340 65

小白必看:从词向量到Transformer,一口气搞懂自然语言NLP技术发展

文章以一个趣味猜词游戏切入,通俗易懂地讲解NLP技术的演进历程。首先介绍基于统计的N-gram模型及其在组合爆炸和语义理解上的局限;接着引出词向量(Word Embedding),通过高维空间中的坐标表示词语含义,使模型具备泛化能力;然后讲解前馈神经网络如何利用词向量进行预测;再介绍RNN通过隐藏状态机制处理任意长度文本,实现记忆功能;最后指出RNN存在长期依赖问题,为LSTM等改进方案做铺垫。全文循序渐进,用生活化例子帮助读者理解语言模型预测下一个词的基本原理。

技术 › 编程语言 轩辕之风 2026-09-0329.7 KB 9.9K 116 64

一口气搞懂 Transformer:注意力、QKV、残差连接全讲透

本文是 Transformer 架构的科普长文,作者轩辕之风回顾了从 N-gram、词向量、RNN 到 LSTM 的语言模型发展历程,指出 LSTM 串行计算和远距离信息传递的两大痛点。随后详细讲解注意力机制的核心思想,深入解释 Query、Key、Value 三者的作用与计算方式(点积、Softmax、缩放因子),以及多头注意力如何从多个角度捕捉指代、语法等不同关系。文章还介绍了位置编码解决并行计算丢失顺序信息的问题,并通过'苹果'的例子说明 Attention 负责信息收集、FFN 负责特征消化组合的分工。

技术 › LLM 轩辕之风 2026-09-0228.7 KB 31.7K 354 72

全网最详细的AI学习路线图

文章由物理转行AI的大厂工程师撰写,针对AI自学者常见的盲目学习问题,提出先明确目标(算法或工程)和形式(写论文或做项目)的两大核心问题。作者指出2026年AI领域论文供给过剩,建议大多数人转向以工程落地为主的学习路径。文章详细拆解了传统机器学习、CV、NLP/LLM、推荐系统四大工业界方向,并结合数据分析了就业市场需求。最后,作者提倡使用“三三制”项目驱动法和“Vibe Coding”配合费曼学习法的高效学习策略。

技术 › LLM snowboat 2026-04-2450.8 KB 20.7K 154 90

斯坦福 AI & ML 课程清单:从入门到大模型

本文列举了斯坦福大学关于人工智能与机器学习的 10 门顶级课程,涵盖了人工智能基础、机器学习、深度学习、强化学习、自然语言处理(NLP)、计算机视觉(CV)、大语言模型(LLMs)及深度生成模型等核心领域,旨在帮助学习者掌握 AI 第一性原理。

技术 › LLM A Andrew NG (提及) 2025-12-304.1 KB 34