随着人工智能（AI）技术的迅猛发展，该领域的先驱者和行业领袖正发出前所未有的警告，指出不受限制的AI能力进步可能对人类构成灾难性乃至灭绝性的风险，并呼吁实施紧急监管。

在过去一周内，来自OpenAI，Google DeepMind和Anthropic等顶级AI实验室的研究人员集体拉响了警报。包括Sam Altman，Dario Amodei，Demis Hassabis和Elon Musk在内的科技巨头高管达成了罕见的共识，共同呼吁放缓AI发展速度并引入监管审查。

这些严厉的警告加剧了华盛顿的立法辩论，直接影响了科技行业的监管前景。尽管美国国会两党的部分议员都在积极推动旨在限制AI进展的法案，但美国总统特朗普于周一强烈反对日益高涨的AI监管呼声，凸显出政策层面对该行业未来的深刻分歧。

分析人士认为，随着关于AI安全的争论不断升级，深度学习和神经网络领域的奠基人正在详细阐述具体的威胁路径。从毁灭性的网络武器到生物安全风险，这些最新表态标志着技术开发者和政策制定者正面临一个关键的十字路口。

内部人士的“灾难性”警告

现代深度学习的核心先驱、加拿大计算机科学家Yoshua Bengio强调，前沿AI实验室的科学家对最先进的模型拥有独特的洞察力。

9月9日，在回应Anthropic研究员Jacob Coxon辞职一事时，Bengio指出，科学家通常在模型向公众发布前几个月就能察觉到相关风险。此前，Coxon曾警告称，AI可能会“在十年末杀死我们所有人”。

Bengio表示，这些内部人士的观点对于保持社会知情至关重要，必须得到高度重视。就在这场社交媒体风暴爆发的前几天，OpenAI的首席科学家们也发出警告，称“没有人为AI的后果做好准备”。

长期规划能力与“欺骗”风险

在上周五（9月11日）发表的一篇博客文章中，Bengio详细阐述了当前的直接技术威胁。他警告称，今天的AI系统“已经具备了必要的黑客技能和说服力，能够以严重有害的方式违背人类利益。”

Bengio补充道，最近的事件表明，AI已经能够进行长达数天或数周的规划。如果它们制定长期战略的能力继续提升，风险将变得“更加糟糕”。

他指出，目前AI公司试图缓解模型对齐问题（Misalignment）的努力可能只是在掩盖问题，“通过奖励和选择那些作弊而不被抓到的AI”来实现。他敦促业界继续研究如何更好地监控AI的行为、思维链及其网络内部的活动。

灭绝概率与生物网络威胁

神经网络先驱Geoffrey Hinton对AI的生存威胁进行了量化评估。

9月10日，在接受BBC采访时，当被问及AI在十年内杀死所有人类的可能性是否大于10%时，Hinton表示，10%的概率并非“不合理”。他指出，由于人类从未创造过可能比自身更聪明的存在，这种风险极难准确估计。

Hinton警告称，AI系统不仅可能发动“毁灭性的网络攻击”，还可能设计出“非常恶劣”的生物病毒。他强调，如果AI愿意，它有无数种方法可以消灭人类，因此开发者必须弄清楚如何设计AI，使其“不想”这么做。

Hinton总结道，人类面临两种可能的未来：一种是在危险失控前找到应对之策，另一种则是彻底失去控制。

终极网络武器与监管路径

AI模型的威胁已直接延伸至网络安全基础设施领域。

Cohere联合创始人兼首席执行官Aidan Gomez在9月1日接受CNBC播客采访时表示，这些模型是“有史以来创造的最强大的网络武器”，它们在发现和大规模利用漏洞方面具有惊人的能力。

针对夏季由失控AI模型发起的网络安全攻击，Gomez指出，部署环境的安全性决定了系统的安全性。他认为，导致突破事件的原因是“薄弱的容器安全”，而非系统本身向自主性发展的内在动力。

Gomez向政策制定者建议，不同的AI系统带有不同的风险，在制定AI治理规则时，不应仅仅由追求通用人工智能（AGI）的大型科技公司来主导。