🏷️ 算法优化

无需更新权重的 GRPO 替代方案：GEPA 算法解析

文章介绍了 Berkeley 团队提出的 GEPA 算法，该算法作为 GRPO 的替代方案，无需更新模型权重或进行 GPU 训练，仅通过优化提示词（Prompt）即可在 HotpotQA 等基准测试中取得更优成绩。GEPA 的核心在于利用 LLM 读取完整的推理轨迹，通过自然语言反思来迭代优化多模块系统中的每个提示词，从而避免了强化学习中将丰富信息压缩为单一标量信号的信息损耗问题。

纯 C 语言从零开始构建 GPT

本文是一篇硬核技术教程，详细记录了如何不依赖任何外部库，仅使用纯 C 语言从零构建一个可用的 GPT（Generative Pre-trained Transformer）模型。文章涵盖了从随机数生成、数据分词、模型架构定义，到手动实现反向传播、Adam 优化器及推理采样的全过程。通过手写矩阵乘法、注意力机制和神经网络层，帮助读者深入理解 LLM 的底层原理。