Anthropic即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司AI研发进展速度已达到自身设定的安全阈值,必须启动额外安全控制措施。
11月19日,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已触发2023年制定的“负责任扩展政策”(Responsible Scaling Policy)中的额外安全机制。这一披露恰逢公司将IPO发行价定为每股83美元,高于此前指引区间,估值约达1.5万亿美元之际。
触发安全机制的依据,来自AI评估机构METR本月发布的一份报告。该机构在获得Anthropic系统、人员及未发布模型的广泛访问权限后发现,Anthropic过去一年的AI能力进展相当于此前约两年的历史进展。研究人员借助AI工具加速自身研发,正成为推动这一趋势的重要因素。
AI进展速度翻倍,触发内部安全机制
METR是一家专注于评估前沿AI能力及风险的研究机构。其最新报告显示,Anthropic过去12个月实现了约两年的历史技术进展,能力提升速度较此前一年大约翻倍。
这一速度触及Anthropic自身设定的安全阈值。根据公司2023年制定的政策,当AI发展速度达到将过去两年的技术进展压缩至一年内实现的程度时,公司必须执行更严格的安全监督措施。
Anthropic表示,此次判断基于对未来模型能力的预期及整体进展速度,并不意味着AI系统已经能够完全自主改进。新增措施将涉及安全保障、治理架构以及模型开发过程中的内部审查。
Anthropic高管Sam McCandlish回应称,METR报告中的许多结论与自己的判断一致。他承认,AI正在加速公司的研究工作,但这一影响仍难以精确量化。
AI参与自身研发,递归改进风险升温
技术进展提速背后,是AI开始越来越多地参与下一代AI系统的研发。这一过程被称为“递归自我改进”(RSI),即AI系统利用自身能力协助开发更强大的后续模型。
Anthropic在招股说明书中将一个模型协助构建下一个模型的“闭环”研发能力,列为自身相较竞争对手的重要优势,并称其已显著提升算力使用效率。
但这一能力也带来新的安全风险。Apollo Research首席执行官Marius Hobbhahn表示,研究人员此前对递归自我改进的实现时间存在很大分歧,如今这一时间窗口正迅速缩短,而行业的安全准备远未到位。
AI安全机构“AI未来项目”(The AI Futures Project)认为,METR报告揭示的加速趋势出乎意料,并预测超人类AI研究员很可能在2027年某个时间点出现。该机构认为,暂停或实质性放缓前沿AI开发已十分迫切。
Anthropic首席执行官Dario Amodei去年9月也曾提出,应为AI递归自我改进的速度设置某种“速限”,因为相关进展可能快得令人咋舌。
安全定位遭质疑,外部批评升温
Anthropic披露安全机制触发之际,外部对其安全定位的质疑也在升温。
周三,由非营利机构“AI安全中心”(Center for AI Safety)牵头,一个包括Hugging Face及xAI创始人在内的AI研究人员和安全倡导者联盟发表公开声明,指责Anthropic利用安全品牌吸引投资者、员工和公众,并直言其“并非一家安全的AI公司”。
声明特别指出,Anthropic一方面警告递归自我改进可能导致权力集中和人类失去控制,另一方面却在竞相开发相关技术。
类似担忧也出现在AI行业内部。OpenAI董事会成员、AI安全研究员Paul Christiano近日在一档播客节目中表示,AI开发自动化程度不断提高,可能在短时间内推动极其强大的AI出现。如果行业经历快速的智能爆炸并走向超级智能,人类可能最终无法控制所开发的系统。
Hobbhahn则认为,即使Anthropic IPO失败、AI融资市场陷入低迷,也未必能够阻止技术继续跃升。他表示,现有AI实验室拥有足够资金推进至少两轮重大技术突破,即使市场泡沫破裂,也可能诞生远超人类能力的模型。
