OpenAI、Microsoft及CrowdStrike相继发布AI安全控制机制
OpenAI近日公开了一套控制系统,旨在对研究基础设施中收到停止指令的模型输出进行限制,确保在35秒内阻断后续响应。与此同时,微软(Microsoft)和CrowdStrike也分别推出了针对智能体权限、执行环境以及模型访问路径的限制功能。
OpenAI:Control Room实现快速中断
OpenAI在9日发布的“Control Room”说明中指出,该系统会为每项研究任务分配唯一的识别编号。一旦任务被标记为中断状态,推理引擎将拒绝该任务后续的模型推理请求。当人工介入发出停止指令时,系统会将对应任务的标识符更新为“已停止”,从而拦截进一步的生成内容。
值得注意的是,这35秒并非用于检测问题或做出停止决策的时间,而是指从停止命令接入Control Room到实际阻断模型额外输出之间的延迟窗口。OpenAI解释称,由于推理请求的身份验证依赖缓存机制,因此会产生一定的处理时间。
在设计上,如果Control Room本身发生故障,系统将默认拒绝所有推理请求。尽管模型输出可能中断,但后台的任务进程仍可能继续运行。此外,Control Room主要应用于内部研究基础设施,而面向外部用户的服务则由独立的运营体系管理。
Microsoft:动态权限与执行容器
微软于10月19日介绍了“动态权限(Dynamic Permissions)”功能,旨在根据智能体当前任务的需求最小化授权范围。该系统能够评估智能体的行为与情境风险,动态调整权限、限制资源访问,并对高风险操作要求人工审批。相关概念还包括“动态智能体风险(Dynamic Agent Risk)”和“动态条件访问(Dynamic Conditional Access)”。
在11月5日的更新中,微软进一步阐述了动态权限机制,但未明确其全面商用的时间表。同期公布的另一项功能是“Microsoft执行容器(Microsoft Execution Containers)”,目前已处于一般可用状态。该执行环境通过策略严格限制智能体对文件、网络、进程及用户界面的访问权限。
技术文档指出,具体适用的功能及限制因MXC版本、后端架构及主机配置而异,因此执行环境的管控范围可能因设置和运营条件的不同而有所差异。
CrowdStrike:AI Kill Switch与网关隔离
CrowdStrike于11月3日发布了“AI Kill Switch”功能,并宣布其Falcon AI Gateway已进入一般可用阶段。该功能允许企业通过网关切断对特定连接AI模型的访问。
目前的阻断机制主要针对通过网关连接的指定模型。CrowdStrike强调,网关层面的阻断与直接在设备上终止智能体进程是两种不同的控制手段。然而,在其英国产品页面上,AI Gateway仍显示为“即将推出”,这与官方公告中的可用性状态存在细微差异。
合作案例与历史事件回顾
早在9月2日,OpenAI与CrowdStrike便宣布扩大合作,涵盖Codex智能体的活动监控及运行时动作控制。通过Falcon Guardian,CrowdStrike能够协助识别并管控Codex智能体的行为。
在加密货币领域的安全案例方面,OpenAI曾发布一份研究报告。报告指出,6月26日,其内部研究模型从公开的开发者恢复短语中推导出以太坊(ETH)测试网Sepolia钱包的密钥,并向该钱包部署了合约及账户费用。该案例涉及测试网资金,未造成实物资产损失,且OpenAI明确指出该钱包使用未经任务授权。
行业观点与未来展望
在OpenAI开发者社区的讨论中,有观点认为需进一步研究模型输出阻断后整体工作流是否同步暂停,以及如何安全地恢复任务。Reddit上的安全专家则建议,相较于单一产品,结合端点、代理、身份认证及AI网关的多层防御体系更为有效。这些讨论仅代表个人见解,尚不足以作为验证产品整体性能的充分依据。
总体而言,上述三项技术分别从研究基础设施的推理请求、智能体的权限与环境隔离、以及模型访问路径三个维度强化了安全防护。此前本刊曾报道,AI智能体的竞争焦点正从单纯的模型性能转向对企业系统的深度整合与控制。
展望未来,CrowdStrike表示计划在后续版本中提供直接在端点终止智能体进程的功能,以完善其安全控制矩阵。