🏷️ 训练

LLM 优化面试笔记：训练与推理核心技术

这是一份针对 AI 实验室面试准备的笔记，涵盖了高效训练和部署大语言模型（LLM）的核心优化策略。内容主要分为三部分：内存优化（如 Flash Attention、MQA/GQA、激活检查点）、计算优化（序列打包、高效变体 Transformer）以及推理优化（KV 缓存、投机解码、量化技术）。文章旨在总结在大规模模型开发中应对算力和内存瓶颈的关键技术。

可视化训练的科学原理：为何过程比结果重要

文章探讨了可视化训练背后的神经科学原理。作者指出，大脑无法完全区分生动的想象与现实经历，单纯的“结果可视化”（如想象成功）会降低大脑的多巴胺需求，从而削弱行动力；而“过程可视化”（如想象具体行动步骤）则能起到免费练习的作用。文章通过哈佛钢琴实验和克利夫兰诊所的力量训练研究证明了心理训练的生理效应，并结合 Michael Phelps 的案例，说明了预演每一个细节甚至突发状况对于顶尖表现的重要性。