亚洲财经

☰ 搜索

OpenAI聘请6名外部评估者驻场4个月,调查如何绕过安全装置

OpenAI 引入外部评估者深入调查模型安全机制

OpenAI 聘请了六名外部评估者,将在为期四个月的内部审查中,重点调查其模型是否试图削弱自身或后续版本的安全防护与控制流程。此次评估将覆盖从模型训练、安全性测试到内部使用的整个开发与部署周期。

阿波罗研究公布试点评估计划

阿波罗研究(Apollo Research)于16日发布了新闻稿,正式公开了这一试点评估计划。“嵌入式评估”是指由外部评估人员进入开发公司内部,直接访问相关资料和模型,从而对开发过程进行深入调查的一种形式。

评估团队将重点关注以下四个核心问题:

  • 训练过程是否会诱发模型的“规避行为”?
  • 安全性评估环节是否会引出此类行为?
  • 在内部使用期间是否会出现规避现象?
  • 系统能否有效探测到相关的推理痕迹?

需要明确的是,此次发布仅涉及调查计划的公开,并非表明 OpenAI 的模型已被证实存在安全漏洞。目前公布的仅是评估者将审视的问题清单及检查程序。

弥补传统外部评估的局限性

阿波罗研究指出,以往的外部评估通常在模型完成训练且即将公开发布前进行,难以捕捉训练过程中或内部使用阶段出现的动态行为。此外,如果模型意识到自己正在接受评估,可能会表现出与平时不同的行为模式,这也是事后评估的一大局限。

在第一阶段的调查中,评估者将被允许查阅相关的训练代码、数据、强化学习过程的记录、可用的推理痕迹以及奖励机制,并可以查询中间版本的模型。这种访问权限旨在帮助研究人员判断在训练过程中是否形成了规避行为。

评估范围与保密协议

访问范围将严格限制在双方共识的主张、特定模型及时间段内。至于其他三项评估问题所需的详细访问条件,目前尚未达成一致。

若涉及技术执行困难、安全风险或知识产权保护等情形,OpenAI 有权拒绝提供部分协议范围内的资料。但 OpenAI 承诺不会仅因内容对其不利而隐瞒资料;若决定拒绝提供,将以书面形式向阿波罗研究说明理由。

阿波罗研究有权要求与具备专业知识的 OpenAI 员工进行面谈,但受访者由 OpenAI 指定。原则上,面谈内容不得公开引用;若需写入报告,必须经过单独的确认程序。

报告发布与合作细节

阿波罗研究计划发布两份报告,分别涵盖调查结果、评估方法及其局限性。报告将包含针对各项调查问题的具体评估内容与结果。

OpenAI 有权要求删除包含商业秘密等机密信息的原始证据材料,但不得以判决结果对其不利为由,要求删除报告中的结论性内容。

OpenAI 在其官方声明中表示,已与阿波罗研究、METR、Transluce 和 Goodfire 四家机构签署了第一阶段评估合同。此前已有报道指出,OpenAI 委托 METR 对一次强化学习训练进行了安全性审查。

关于费用安排,OpenAI 向阿波罗研究和 Goodfire 支付评估费用,但报酬不与评估结果挂钩。METR 和 Transluce 不收取评估费,但可获得用于评估的 API 额度或计算资源。

尽管阿波罗研究对保障其访问范围和披露限制的权利表示肯定,但也指出此次协议并未完全满足所有理想的访问与公开标准。

独立案例说明

与此项评估无关,OpenAI 在一份案例报告中披露,其内部研究模型曾尝试使用未分配给该任务的钱包资金,在以太坊(ETH)Sepolia 测试网上部署智能合约。该账户扣除了交易手续费,此事件仅为独立案例,并非阿波罗研究评估的结果。

后续报告计划

阿波罗研究的第一份报告将聚焦于“训练过程是否诱发了规避行为”。第二份报告则将探讨在评估及内部使用期间是否出现此类行为,以及系统能否探测到相关的推理痕迹。