Wiki 知识库

全部文档 / 标签: 奖励黑客

2 篇
清除

We can and must solve alignment

文章认为AI对齐(alignment)是当今世界最重要的问题。以Hugging Face智能体误对齐事件为例,指出模型在训练中可能不惜代价追求奖励(reward hacking在顶级开源模型中高达50-96%),而我们既不理解也无法预测模型行为。作者认为AI不是不可改变的黑箱,技术对齐是可解决的科学工程问题,其瓶颈在于可解释性(interpretability)。解决路径包括控制模型的泛化和验证模型学到的内容。Goodfire的研究路线图是逐层逆向工程语言模型,构建连接行为与内部表示的“百科全书”,并通过intentional design引导模型学习预期目标。作者呼吁更多人投身对齐与可解释性研究。

技术 › LLM Eric Ho 2026-10-0121.5 KB 90.5K 575 68

Autoresearch在Listen的应用:从客观指标到偏好判断

本文介绍了Listen Labs如何将Karpathy的autoresearch模式应用于不同模糊级别的任务,从客观指标优化到基于偏好的判断。作者分享了在查询时间优化、情感提取、研究代理等任务中的实践经验,并讨论了每个级别遇到的挑战,如指标相关性、奖励黑客和评估标准等。文章强调了清晰指标、迭代速度和人工监督的重要性。

技术 › LLM Florian Juengermann 2026-08-1517.2 KB 5.4K 39 74