亚洲财经

搜索

用AI路由器省Token成新趋势?巨头争相布局,企业AI成本最高下降近97%

用AI路由器省Token成新趋势?巨头争相布局,企业AI成本最高下降近97%

在AI使用成本持续攀升的背景下,“模型路由器”技术正加速渗透企业市场。

其核心逻辑并不复杂:为任务自动匹配合适而非最贵的模型,在效果基本不减的前提下,大幅压缩Token支出。这正推动企业从“默认调用最强模型”,转向“按任务分层调度”。

从产业层面看,模型路由器正在完成从工具型产品向基础设施级组件的跃迁。无论是科技大厂还是AI平台公司,都在加速布局这一能力,并将其深度嵌入AI工作流与API网关之中。

而背后更深的信号是:AI竞争的重心,正在从“模型能力”部分转向“调度与成本优化能力”——谁更擅长精细调配,谁就更可能在下一阶段占据优势。

从“默认最强”到“按需分层”

模型路由器的本质,是对AI任务进行成本-能力匹配分层。

在企业实际使用中,大量任务并不需要最强模型。例如邮件总结、文档摘要、信息检索等场景,完全可以由更小、更便宜的模型完成,而复杂推理任务才交由前沿模型处理。

这一思路在OpenAI发布GPT-5系列后进一步普及:系统会根据任务复杂度在不同模型间自动切换。随后,跨模型、跨供应商的第三方路由器开始出现,使企业可以在OpenAI、Google、Anthropic等模型之间动态调度。

日本AI实验室Sakana AI此前推出的多模型协同系统显示,这种路由机制已经具备一定“专家分工”特征:数学问题倾向调用OpenAI模型,科学问题则更多路由至Google Gemini。

头部企业的降本实践:推理成本降幅最高达97%

在商业化层面,模型路由器已经开始带来可量化的成本下降。

Palantir Technologies 推出的路由工具 Evolve AI routing system,不仅负责模型选择,还会优化提示词并避免重复调用。公司披露,在某些案例中,通过将任务从较强模型切换至轻量模型,推理成本下降高达97%。

建筑公司McCarthy Building也表示,其AI token使用量同比下降约60%,主要来自模型调度优化。

与此同时,Databricks 推出的 Unity AI Gateway 已在内部广泛使用。其CEO Ali Ghodsi直言,这类工具之所以受欢迎,是因为企业“正在以过快速度烧掉AI预算”。

在安全与网络侧,Palo Alto Networks等公司也开始通过模型切换策略降低AI调用成本,路由能力逐渐成为企业AI架构的默认模块。

资本与产品共振,模型路由器赛道加速成型

资本市场同样迅速跟进这一趋势。

模型路由平台OpenRouter 在4月完成1.2亿美元融资,成为该赛道最受关注的创业公司之一。其核心产品“自动路由器”允许用户设定成本-质量偏好区间(0-10),系统据此动态选择模型。

数据显示,其路由策略中约三分之一请求被分配至Google的低成本模型,而仅约10%流向OpenAI较强模型,实现明显的成本分层优化。OpenRouter底层还整合了Not Diamond等路由技术提供商,并支持跨云服务商调用,以优化延迟与价格结构。

此外,AI编程公司Cognition也推出了自己的路由系统,在编程基准测试中接近前沿模型表现,但成本下降约35%。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

资讯来源:华尔街见闻