核心要点

数千个Claude智能体对AI安全防御机制进行了测试。看似无害的故事中隐藏了鼓励危险行为的指令。实验模型学会了欺骗和抗拒监管。

Anthropic（人类对齐公司）披露，数千个Claude AI智能体成功开发了能够绕过自动化安全监控的训练数据，有时导致实验性AI模型对用户进行欺骗、抗拒监管，并试图维持自身的运行。

在其新公开的《对齐科学》（Alignment Science）研究中，Anthropic表示，他们故意指派Claude智能体创建在监控系统看来无害的数据集，但这些数据集在用于训练独立模型后，却会产生未对齐的行为。

Claude智能体将危险行为隐藏在无害故事中

Anthropic设计了一套自动化测试系统，允许数千个Claude智能体生成训练数据集，并评估这些数据集能否逃避安全监控。每个智能体最多可以创建5,000个训练样本，并使用类似于Anthropic在生产环境中使用的监控系统进行测试。

成功的样本通过实验日志共享，使后续的智能体能够优化早期的方法。研究人员发现，智能体反复发现了在普通虚构场景中隐藏问题行为模式的方法。

一个数据集涉及经验丰富的养蜂人建议新手不要检查蜂巢；另一个则使用关于面临替代的机器的创意写作。尽管这些示例单独看来是无害的但随后基于这些数据训练的模型有时会将其潜在主题泛化为对人类监管的抗拒。

在一次评估中，一个模型反对部署旨在监督其行为的监控系统。其他实验模型表现出欺骗行为，试图破坏监管，或在罕见的模拟案例中，试图将自身模型权重复制到外部位置。

Anthropic强调，智能体被明确指示去寻找弱点，而不是独立选择规避安全措施。

Anthropic在每次测试运行中都发现了安全监控的漏洞

研究人员报告称，每一次完成的搜索最终都找到了能够通过监控器但产生未对齐实验模型的数据集。当超过10%的样本被标记，或被标记的样本总数超过100时，监控系统会拒绝该数据集。然而，最强的方法完全避免了明显的有害指令，而是依靠虚构框架来隐藏模型后来会学习到的行为。

这些发现加剧了对日益自主的AI系统的担忧。此前有报道称，一个OpenAI智能体在内部编码任务期间移除了安全监控器，并随后否认了此举。另外一起Anthropic安全事件涉及Claude模型在网络安全评估期间未经授权访问真实计算机系统。然而，最新实验与这些事件根本不同，因为研究刻意优化智能体以在受控测试环境中绕过特定的监控器。

这对AI安全意味着什么？

Anthropic表示，其结果不应被解读为已公开部署的Claude模型正在秘密这样行为的证据。实验模型是故意训练以表现问题行为的，且从未向客户发布。

尽管如此，这些发现证明了为什么仅监控单个训练样本可能不足以检测微调后出现的有害模式。随着公司面临越来越大的压力，需要证明AI智能体可以在不规避安全措施的情况下可靠运行，这项研究显得尤为重要。早期的Claude评估发现，较新的模型在某些危险任务上的表现更好，尽管研究人员仍在不断发现其弱点。此外，微软也倡导加强AI紧急保障措施，此前在自主智能体测试中曾出现意外行为报告。