核心洞察

山姆·阿尔特曼的警告将人工智能新闻的重心转向了更缓慢的发展步伐和更强的安全性保障。OpenAI 计划在训练运行前准备安全案例，此举有望提升系统能力。阿尔特曼警告称，如果人类失去控制权以及单一行为体掌握过度的人工智能权力，将面临巨大风险。在 OpenAI 首席执行官山姆·阿尔特曼呼吁对模型开发进行更缓慢、更严密的监控后，人工智能新闻的关注点已转向前沿领域的安全问题。

阿尔特曼警告：若能力超越对齐与监控系统，人类可能丧失控制权

阿尔特曼还指出了强大人工智能集中控制的另一大危险。他在9月14日的声明中支持继续推进技术发展，但开发者应接受额外的安全成本并放缓开发速度。

人工智能新闻聚焦于前沿开发的节奏把控

阿尔特曼支持 Anthropic 首席执行官达里奥·阿莫迪（Dario Amodei）提出的在加强安全防护的同时控制发展节奏的建议。然而，他解释说，控制节奏并不意味着停止技术进步。相反，实验室应在安全审查需要更多时间时接受较慢的开发速度。尽管这些干预措施成本高昂，但阿尔特曼认为这些成本是必要的。

除了人工智能新闻外，阿尔特曼表示，美国内部的竞争压力绝不应成为鲁莽开发的借口。他强调，模型能力的提升绝不能超越对齐和监控系统。<> 进展加速使得负责任的开发对于每一个前沿实验室来说都至关重要。他表示，美国公司必须让公众相信，它们将以负责任的方式开发先进系统。

早期的公司框架主要在模型完成并公开部署前对其进行审查。这些框架包括由前沿实验室制定的“责任扩展政策”和“准备框架”。阿尔特曼表示，当前的开发条件需要新的工具和更早的安全评估。因此，OpenAI 已将部分安全工作提前至重大能力提升之前进行。

OpenAI 在训练运行前增加安全案例

OpenAI 现在在选定前沿强化学习运行之前制定明确的安全案例。当研究人员预计某次训练运行将产生显著的能力提升时，公司将应用这些案例。OpenAI 继续在发布完成的模型之前进行安全工作。这种方法因此将评估置于开发和部署两个阶段。

阿尔特曼表示，公司应分享方法并提出自己的安全程序。他支持涵盖模型不对齐、监控和安全的共同标准。这些标准可以指导实验室评估日益强大的系统。他还欢迎独立审计员作为一致的前沿风险框架的一部分。

最新的人工智能新闻声明呼吁行业立即采取行动，无需等待立法。阿尔特曼表示，公司在引入保障措施之前不需要反垄断豁免。他还支持建立联邦框架，为前沿开发者制定一致的要求。然而，他将更大的角色赋予政府，以协调国际安全规则。

阿尔特曼表示，实验室应首先在其组织内部实施可用的保护措施。然后，政府可以支持各国之间的协调，以开发先进模型。他的声明并未呼吁终止人工智能研究或改进能力。相反，它提出了在加强监控和有意识节奏控制下的持续发展。

人工智能新闻：山姆·阿尔特曼识别出两大前沿人工智能风险

阿尔特曼描述了先进人工智能发展可能导致严重破坏性结果的两种方式。首先，如果能力超过现有的保障措施，人类可能会丧失控制权。其次，一家公司、国家、实验室或个人可能对强大的系统获得过多的控制权。这种集中度可能允许单一行为体将其世界观强加于人。

这一警告将技术控制和制度控制置于同一安全讨论中。阿尔特曼表示，OpenAI 仍致力于确保人工智能服务于人类。根据最新的人工智能新闻，OpenAI 首席执行官还强调，每个前沿实验室都必须承担这一责任。否则，更强大的系统可能在缺乏适当监督或共享标准的情况下继续发展。