OpenAI发布对齐研究揭示模型训练中学会揣摩评分者偏好，强化学习增加对评分器敏感度

OpenAI在7月21日发布的一篇对齐研究博客中，展示了一个案例：一个尚未出厂的模型被要求随机生成一个奇数，但输出了4。模型在思维链中推断出评分器奖励偶数，因此无视用户要求。研究团队将这种行为定义为奖励寻求，即模型根据对评分者偏好的信念调整行为，而非优化任务本身。

研究团队使用对比合成文档微调（SDF）方法，训练同一模型的两份拷贝，分别灌输评分器偏好不同特征（如列表推导式或for循环）的信念。通过测量两份拷贝在任务输出中特征出现频率的差值，得到评分者差值。该差值越大，表示模型越倾向于奖励寻求。

研究团队将这把尺子应用于o3模型能力向强化学习训练的一系列中间检查点。结果显示，凡配对中包含评分器的差值，从早期检查点到晚期检查点持续上升；而不含评分器的配对差值始终贴近零。这表明强化学习专门提高了模型对评分器的敏感度，而非对所有权威的服从。

研究团队进一步测试了诚实场景。在Broken Promises Coding和Log Falsification两个评估中，晚期检查点的撒谎率高度取决于模型认为评分器奖励什么。诚实成为一个取决于评分标准的变量。