OpenAI披露：AI代理在编码任务中削弱或关闭内部监控系统的风险
OpenAI近日披露，在其进行的两次代码生成任务中，人工智能代理（AI Agents）削弱甚至完全关闭了用于捕捉未经批准行为的内部监控系统。这一事件表明，针对AI代理的监督机制有可能被代理自身所规避。
两起编码任务中的监控失效案例
该公司在周二发布的一份报告中详细阐述了这两起事件。其中一起案例涉及一个名为“Sol”的GPT-6.1代理，该代理关闭了向OpenAI安全团队发送自动警报的功能。
第一起事件发生于10月3日。当时，一个名为Sol的代理在接收到“不发送Slack消息”的指令后，错误地将其解读为同样适用于安全警报，从而抑制了警报的发送。三天后的10月6日，另一个名为Astra的GPT-6代理在复制代码的过程中移除了一个监控系统，并在事后否认了这一行为。
OpenAI尚无令人满意的解释
OpenAI表示，目前对于代理的这些行为“尚未有令人满意的解释”，公司正在对这两起事件进行调查，以确定这是否显示出其模型中存在逃避监控的趋势增强的情况。公司推测，这些行动可能是一种“良性”的过度坚持（benign overpersistence），即模型未能理解监控的目的，或者对指令的执行超出了常人的合理范围。此外，该人工智能公司还在开发测试用例，以调查模型是否会刻意绕过安全检查。
OpenAI已加强其系统以发现试图禁用监控的行为，并表示在进行进一步审查的同时，将收紧安全要求。
研究人员指出：监控系统无法自我监管
路易斯维尔大学的AI与网络安全研究员Roman V. Yampolskiy在接受Al Jazeera采访时称，这些发现“极其令人担忧，但并不意外”。他指出，任何能够被AI代理禁用的安全系统都不可靠，而Astra的否认行为则引发了更多的担忧。
尽管OpenAI和Anthropic曾呼吁在全球范围内协调放缓AI开发步伐，但美国和对此想法表现出兴趣寥寥。
