LLM 优化面试笔记：训练与推理核心技术
这是一份针对 AI 实验室面试准备的笔记，涵盖了高效训练和部署大语言模型（LLM）的核心优化策略。内容主要分为三部分：内存优化（如 Flash Attention、MQA/GQA、激活检查点）、计算优化（序列打包、高效变体 Transformer）以及推理优化（KV 缓存、投机解码、量化技术）。文章旨在总结在大规模模型开发中应对算力和内存瓶颈的关键技术。
全部文档
2 篇
自动辅助：具有自动评估功能的自改进代理系统
NeoSigma 开源了‘Auto-harness’系统，这是一个自改进循环框架，能将代理失败转化为评估结果并自动修复。实验显示，该系统使 Tau3 基准任务得分提升了 40%。文章探讨了故障聚类、回归门控和子代理管理等关键技术，标志着工程重心从编写代码转向构建能够自我维持和改进的系统。