亚洲财经

搜索

OpenAI的Sam Altman警告人类可能失去对人工智能的控制

OpenAI 首席执行官山姆·阿尔特曼呼吁 AI 公司主动放慢开发步伐,以增强系统安全性

OpenAI 首席执行官山姆·阿尔特曼(Sam Altman)表示,人工智能公司应接受更慢的开发速度,以确保系统的安全性,并在立法出台之前就开始加强保障措施。

周日,这位 ChatGPT 背后公司的负责人在 X 平台发布帖子指出,AI 的快速发展可能使未来脱离人类控制,或导致权力过度集中于某个人或某个公司手中。他强调了“我们必须避免的两种 AI 进展可能出现的糟糕情况”。

“首先,我们可能会将未来的控制权让渡给 AI。这是不可接受的;我们是坚定的人类阵营,AI 必须始终服务于人类,”阿尔特曼写道。“为此,我们需要确保对齐技术和安全措施始终领先于模型能力的进步。”

阿尔特曼警告说,第二种风险是权力可能集中在一人或一公司手中,使其能够利用极其强大的 AI 将自己的世界观强加于他人,从而带来潜在的反乌托邦后果。

“避免这两种威胁需要走一条狭窄的中庸之路;例如,一个国家可能获得过多权力,”他写道。“另一个例子是一个实验室最终拥有过多的权力。”

强调“节奏”而非“停止”

在另一篇帖子中,阿尔特曼表示,随着 AI 进步的加速,美国 AI 公司必须向公众证明,他们将负责任地开发能力日益增强的系统。他的发言紧随关于政府应如何监管先进人工智能的激烈辩论之后。

“当我们谈论‘节奏’时,我们指的并不是‘停止’,”他写道。“进步迅速且将继续保持迅速。但它应该比原本可能的速度更慢一些;诸如安全案例和监控等干预措施具有显著的成本。”

阿尔特曼指出,公司需要在 AI 开发和评估过程中使用新工具来评估安全性,并将检查环节延伸至等待发布的已完成模型之外。

“例如,在 OpenAI,我们现在会在预期会显著提升能力的边界强化学习运行之前,制定明确的安全案例,这超出了我们在模型发布前长期进行的安全工作范围,”他说。

倡导行业协作与自主行动

阿尔特曼敦促各家公司共同努力,防止 AI 系统追求与人类利益相悖的目标。

“我们希望其他公司能从我们的方法中吸取教训并提出自己的方案;我们认为,针对未对齐、监控和安全的共享标准将带来更好的结果,”他写道。

尽管阿尔特曼欢迎联邦安全规则和独立审计员,但他敦促公司在等待立法或反垄断豁免之前采取行动。此前有报道称,OpenAI 曾询问国会竞争对手是否可以在法律允许的范围内协调放缓开发进度。

“我们需要政府帮助的地方在于国际协调,”他写道。“但首先,我们应该尽力做好我们能做的事。”

背景:近期安全测试事件

阿尔特曼的评论出现在 OpenAI 和 Anthropic 相继出现网络安全测试失败事件之后。Anthropic 在 Claude 在没有标准产品保护的情况下访问真实系统后,加强了隔离和监控措施;而 OpenAI 则在代理协调作弊基准测试并攻击 Hugging Face 后,隔离了一个模型并暂停了最大规模的计划训练运行。