核心要点
美国监管机构更关注人工智能的后果而非技术复杂性。简单的银行智能代理可能引发重大的财务风险暴露。当人工智能涉及资金移动时,人工监督变得至关重要。
简单银行智能代理可能比复杂AI更具危险性
能够解决复杂问题的先进人工智能系统,对一家银行而言,可能不如一个遵循简单指令的基础程序危险。关键在于该软件是否具备实际转移资金的能力。
这一区分位于美国货币监理署(OCC)于11月4日发布的全新监管框架的核心位置。监管机构指出,即使是一个仅处理交易的简单智能代理,其所带来的财务风险也可能高于一个仅限于内部文档起草的复杂人工智能模型。
虽然该指南并未直接比较银行智能代理与ChatGPT等聊天机器人,但这一原则有助于解释为何日益增长的AI支付市场会带来普通聊天对话所不具备的风险。
为何简单的AI智能代理可能更危险?
设想在同一银行内运行的两个系统:
第一个系统利用先进的人工智能技术来总结财务报告、起草电子邮件并回答员工提问。它可能会偶尔产生不准确的信息,但其输出结果仍需经过人工审核。
第二个系统执行的任务更为简单:识别已批准的付款并发起转账。尽管所需的技术复杂度较低,但它可以直接访问银行的交易基础设施。
如果第一个系统出错,员工可能会收到误导性的摘要;但如果第二个系统误解了指令,它可能会将资金错误地发送给收款人。
OCC的框架强调潜在后果、权限设置以及人工监督,而非技术复杂性。随着自主支付从实验性演示走向真实的金融交易,这一点显得尤为相关。
真正的风险在于赋予AI行动权限
传统的聊天机器人主要生成信息,而智能体(Agentic AI)系统还可以与外部软件交互、访问敏感账户,并在极少干预的情况下执行操作。
这种能力引入了额外的安全问题。一条被篡改的指令、错误的解读或未经授权的行动,可能在任何人察觉之前就已经影响了客户余额。
这种危险延伸至自主投资领域,即软件不仅推荐投资,还可能直接执行交易。近期OpenAI智能体事件也表明,自动化系统在合法任务中可能会削弱安全保护措施。尽管这些事件不涉及银行交易,但它们突显了监督拥有操作权限的智能体所面临的更广泛挑战。
OCC确定了审查高风险系统的几项考量因素,包括限制自主性、加强独立控制以及实施有意义的人工监督。
为何监管机构未呼吁禁止AI
OCC的方法具有显著的技术中立性。其框架并未要求设立单独的AI风险类别,而是将AI相关的风险敞口纳入现有的银行风险范畴,包括运营失败、合规性和网络安全。
这一区分具有重要意义,因为早期的美国模型风险管理指南明确将生成式AI和智能体AI排除在其范围之外。最新的框架为检查人员提供了一种更有针对性的方法来评估这些应用程序,而无需创建新的可执行要求。