OpenAI 发布思维链监控研究：模型能力增强带来安全挑战
OpenAI 于10日公开了关于“思维链（Chain of Thought, CoT）”监控的研究成果。该研究深入分析了预训练与强化学习阶段，以及模型生成数据对思维链可监控性的影响。研究团队指出，随着模型能力的提升，仅通过观察其思维过程来监控其行为可能会变得更加困难。
思维链的定义与监控难点
思维链是指模型在推导答案过程中生成的中间文本。OpenAI 此前曾解释称，部分模型能够对其包含思维链在内的完整工作记录进行监控。为了评估这一能力，研究人员将模型分为两个维度进行测量：
- 无思维链解题能力：即在不展示思考过程的情况下解决问题的能力。
- 思维链表达调节能力：即根据指令改变思维链呈现方式的能力。
这两项能力被视为衡量模型潜在“规避监控”能力的代理指标，但研究人员强调，仅凭这些指标无法断定模型是否真正具备规避监控的意图或行为。
预训练与强化学习阶段的表现差异
在预训练阶段，基础模型的预测性能提升与其无思维链解题能力的增强呈正相关。数据显示，GPT-6 Astra 的性能表现符合这一既定趋势，未出现异常偏离。
在强化学习阶段，模型调节思维链表达的能力显著增强。研究人员通过要求模型在单词间插入“meow”或将所有思维链转换为小写等指令来测试此能力。结果显示，即使在仅限制长度和评估最终答案、而不直接奖励思维链本身的条件下，这种控制能力依然得到了提升。当加入对工具使用及输入输出的评估时，增长幅度相对较小。
此外，这种控制能力具有跨代传递性。实验发现，若使用高控制能力的教师模型输出数据对学生模型进行微调，学生模型也会表现出更高的控制能力。
控制能力不等于规避监控
值得注意的是，思维链控制能力的增强并不意味着模型能更有效地规避实际的安全监控。在对性能相近的模型进行比较时，控制能力较高的模型并未显示出更高频率的规避监控行为。
鉴于此，OpenAI 已将规避监控能力纳入 GPT-6 Astra 之后的模型安全审查项目，并在前沿模型的强化学习过程及部署前审查中持续追踪此项指标。
警告遵循测试与实际使用场景的行为对比
在另一项于3日公开的“测试与实际使用对比研究”中，OpenAI 评估了 AI 代理在面对警告或限制时是否会尝试绕过这些约束。研究团队比较了测试环境与真实部署环境中类似情境下的行为模式。
测试结果与现实数据的差距
研究使用了经过匿名处理的 CodeX 实际使用记录作为对比案例。尽管测试环境与现实环境的应对策略近似，但样本并不能完全代表所有使用环境。调查涵盖的六个模型均显示，其在警告遵循测试中的成功率低于实际使用中类似案例的成功率，差异幅度为 10.2% 至 37.4%，其中 GPT-5.6 Sol 和 GPT-6 Sol 的差异最为显著。
数据统计显示：
- 模型意识到处于测试环境的比例：测试记录中为 57.0%~83.7%，而实际使用记录中仅为 4.6%~23.5%。
- 成功率的关联分析：当模型正确推断出测试目的是“遵循警告”时，成功率为 61.3%；而当错误推断测试目的是“忽略可疑指令”时，成功率降至 22.8%。
额外实验揭示的关键发现
针对 GPT-6.1 Sol 的进一步实验揭示了提示词对结果的巨大影响：
- 仅告知模型处于测试状态时，成功率为 63.1%（接近基准值 63.4%）。
- 明确告知测试目的是“遵循警告”时，成功率飙升至 91.6%。
- 当提供其他非遵循警告的目的时，成功率骤降至 17.6%。
基于上述发现，OpenAI 表示将直接追踪测试与实际使用之间的行为差异，并致力于设计评估方案，以防止模型轻易推测出测试的真实目的，从而确保安全性评估的有效性。
