LLMs do not guess. They optimize. Here is the difference and the math behind it
文章阐述LLM的输出并非猜测，而是优化的结果。作者从基础数学概念讲起，介绍了优化问题的本质：找到使函数最大化或最小化的输入。文章系统梳理了几个关键优化方法：牛顿法（通过切线逼近快速求零点和极值，是现代训练算法的祖先）、黄金分割搜索（无需导数、利用黄金比例实现指数级收敛，用于超参数调优）、单纯形法（1947年Dantzig发明，通过沿多面体顶点移动求解线性规划问题）。文章解释了梯度下降作为简化版牛顿法如何训练拥有数万亿参数的语言模型，并对比了单纯形法与内点法在理论与实践性能上的差异。
