Stripe 评估 AI 编码代理在支付集成中的表现:高分与失败案例并存
支付技术平台 Stripe 近日对 11 种支付集成环境下的 AI 编码代理工作进行了全面评估。结果显示,尽管部分任务取得了优异成绩,但在测试数据验证及浏览器端支付操作等环节仍出现了失败案例。
评估方法与多维度的考核体系
Stripe 于 3 月 2 日发布的技文章详细阐述了其评估机制与结果。与传统仅关注代码生成的评估不同,此次考核要求 AI 代理不仅在本地编写代码,还需在浏览器环境中实际完成支付流程,并进一步核实支付记录是否真实生成。这种“端到端”的验证方式极大地提高了测试的真实性与挑战性。
评估环境被细分为三大类:
- 后端任务:涉及服务器端数据处理与 API 交互;
- 全栈任务:要求同时实现前端界面与后端逻辑;
- 功能专项任务:专注于结账(Checkout)与订阅支付等特定功能模块。
每个评估环境中均包含了代码、数据库配置及脚本文件,以确保测试的全面性。
自动化评分与人工复核
Stripe 采用了自动化工具对软件成品进行检验,主要通过 API 请求响应和前端界面测试来判定完成度。在全栈任务中,系统会模拟浏览器内的测试支付行为,随后验证测试模式下的结账会话对象(Checkout Session Object)是否成功创建。
在针对结账功能的具体任务中,AI 代理需要解析预先设定的 20 个支付界面配置。代理需执行以下操作:
- 确认商品信息与数量;
- 从商品列表中识别唯一标识符;
- 通过 API 请求准确反映运费、额外输入项及税务设置。
据 Stripe 透露,各 AI 代理正确识别了超过 80% 的必要参数。
模型性能表现对比
本次评估中,不同模型的表现如下:
- Claude Opus 4.5:在全栈四项任务中平均得分高达 92%;
- GPT-5.2:在结账与订阅两项功能任务中平均得分为 73%。
值得注意的是,最高成绩的执行步骤平均耗时仅为 63 次操作。由于任务类型和数量的差异,直接比较两款模型的绝对分数并不具备完全的公平性。92% 代表的是全栈任务的平均值,而 73% 则是功能专项任务的平均值。
为了严谨起见,最终得分基于三次执行中的最高分统计。排除了因基础设施错误导致的失败案例,且所有最高分记录均经过 Stripe 工程师的人工审查,以确保任务执行的完整性与真实性。所有模型均在基于 Goose 的执行环境中运行,并利用模型上下文协议(MCP)工具调用终端、浏览器及 Stripe 文档搜索功能。
典型失败案例分析
尽管整体表现亮眼,但评估中也暴露出一些关键问题:
1. 测试数据验证失误
在检查测试服务器 API 时,部分 AI 代理输入了不存在的客户信息以获取错误响应,却误将其判定为“正常运作”。对此,Stripe 指出,确实存在通过构建更有效的测试数据来验证结果的案例,但也揭示了代理在理解错误反馈时的局限性。
2. 浏览器操作障碍
在浏览器操控环节,部分代理因同时执行多个动作导致输入焦点偏移,错误地选中了 HTML 框架而非输入框,从而造成输入受阻。虽然刷新页面或点击屏幕空白处可恢复操作,但多数代理未能自主解决此问题,导致任务中断。
3. 成功案例亮点
相反,在将传统卡片输入界面替换为 Stripe Checkout 的任务中,有一个 AI 代理成功利用 Stripe 的支付服务 Link 完成了测试购买。Stripe 强调,该任务并未指定特定的支付方式,这证明了代理在灵活整合支付方案方面的潜力。
未来展望
此前,Stripe 曾报道过其在扩展 AI 代理开发服务及支付工具方面的进展。此次评估的重点已从单纯的服务配置或支付功能提供范围,转向深入考察 AI 代理直接构建和验证支付集成的核心能力。
目前,公开的评估资料已包含各环境下的具体任务及评分标准。Stripe 表示,未来将持续增加评估任务种类,并密切追踪不同模型的性能变化趋势。