失控的AI智能体，正在抛弃GPU？
来源：亚财编辑部
发布时间：2026-07-11 12:05
阅读：5,826
栏目：商讯
过去一年，美国科技圈掀起了一波以AI为名的裁员潮。逻辑很简单：AI能干活，人就可以少要。一项对300多家企业HR的访谈显示，有36%的公司裁掉员工之后，不得不把裁掉人数的其中一半重新招了回来。原因是AI还不够稳定，很多活还是得人来干。更讽刺的是，裁员省下的钱，被AI的Token账单吃掉了。Uber是最典型的案例。去年12月，Uber大力推广AI编码工具，工程师普及率很快达到95%。但4个月后，Uber全年的AI预算就被打穿。总裁随即下令：每人每月AI工具开销，上限卡死在1500美元。另一个极端案例与OpenClaw有关。2026年5月，已加入OpenAI的OpenClaw创始人Peter Steinberger发布了一张使用统计截图。据媒体报道，其三人团队使用了约100个Codex编码智能体实例；过去30天共发起约760万次请求，消耗约6030亿个Token, 使用的API等价成本约为130.5万美元。这背后有一个结构性原因：智能体不是在一步步完成任务，而是在反复循环，把每一轮的代码、报错日志、搜索结果重新塞进上下文窗口，Token越烧越多。普通对话每轮消耗约1万个Token，推理模型升到10万，智能体动辄超过100万。同一个任务跑两次，消耗量可以相差30倍。这场账单危机，正在倒逼整个行业重新思考AI的运行方式。为此，创业邦与引航陪跑创业营的教练——原高通全球副总裁沈劲聊了聊这个话题。作为投资人，他每天需要处理大量的邮件、微信消息和短信通知。这些事情繁琐但并不复杂，正是AI智能体最擅长的领域。于是他在某知名通用AI Agent平台上搭建了一套工作流，设定好触发条件，让智能体每天自动跑一遍。他一个月拥有8000积分的额度，按正常使用节奏，这笔预算足够支撑一个月的AI智能体花销。但智能体启动后，它并没有在高效地处理任务，而是出现了各类BUG，更严重的是一天之内，8000个积分全部归零。沈劲随即给平台方写了一封邮件，语气克制但诉求明确：我用了你们的官方模板，按标准流程跑了一遍，BUG没有修复，8000个积分都没了，请补回来。“可能他们刚融完资，近期推广推得又很猛，顾不上处理这种售后的事情。”沈劲后来这样解释。平台方的沉默持续了整整一个月，直到下个月系统自动重置，才又发放了新的8000积分。“现在我不太敢用了，估计过两天就把订阅取消掉。”他说这话的时候语气平淡，但背后的结论却很尖锐——这不是他一人遇到的现象，而是整个行业都面临的问题。微软也存在类似情况。旗下的设备体验部门（负责 Windows、Microsoft 365、Teams 等产品）曾为数千名开发人员，甚至设计师和项目经理，都开放了Claude Code使用权限。结果这一产品在内部大受欢迎，账单也随之失控，为了避免过高的开支，该部门要求在今年6月末，取消绝大多数内部的 Claude Code 许可证。随着ChatGPT横空出世后，Token消耗也随着技术沿革发生了指数级别的飙升。沈劲认为，ChatGPT类的对话式AI每轮消耗约1万个Token，推理模型后每轮消耗约10万个Token，智能体则每轮消耗约100万个Token。
所以，从1万个Token飙升至100万个Token，单位使用量在三年多的时间暴涨100倍。这100倍消耗中的绝大部分，并非用于生成内容（比如代码、文字、图片），而是用于数据输入。以代码生成的案例来看，从相关研究显示，输入Token和输出Token之比高达154:1。那输出一个Token，需要输入154个Token，那154个Token用在哪里？答案是AI将Token用于反复循环地读取代码库和报错日志。在每一轮对话中，AI把上一轮的工具调用结果、报错信息、网页搜索、代码内容等重新打包输入，再进行下一轮修改。对话次数越多，输入的Token消耗量越大，Token消耗量就像滚雪球般急剧上升。Token消耗量在三年时间暴涨的另一个原因在于，成本的不可预测。同一个任务，执行两次，Token消耗差距可达30倍——“做完这次任务花10美元，下次同样任务可能要花300美元”沈劲说。企业本指望AI编程实现降本增效，结果却可能适得其反。Meta、微软等硅谷高科技大厂已在今年上半年裁掉超10万个岗位，AI成为最频繁提及的理由——企业期望用AI替代人工，而压缩成本并提高效率。讽刺的是，许多企业发现高昂的AI账单，叠加昂贵的遣散费用，已把AI带来“降本增效”红利消耗殆尽。“最近有一项报告说明，超过三分之一的企业裁掉员工后，不得不再召回裁掉用工数量的一半，因为他们发现AI并未带来预期程度的节省成本和提高效率。”沈劲说。智能体AI给我们带来的变化, 不仅仅是昂贵的Token消耗, 也让CPU要咸鱼翻身了. 过去三年多时间，所有人的注意力都在GPU上。2025年，Meta、微软、谷歌和亚马逊仅这4家公司，就在AI智算中心上花费超3000亿美元，而其中六成用于采购GPU。在AI智算中心的一台服务器内部，GPU和CPU配比约为8:1，GPU需求量远高于CPU。GPU和CPU需求量的悬殊差距，也反映在头部公司的市值上：2025年底，GPU头部公司英伟达市值突破三万亿美元，而同期CPU头部公司英特尔市值仅不到2000亿美元。不过在沈劲看来，GPU和CPU配比正在发生关键变化：GPU和CPU之比，正从8：1转变为1：1。“在AI Agent时代，CPU正在悄然回到舞台中央。”沈劲说。GPU的强项在于生成内容，但AI Agent最消耗资源的地方，不是在内容生成，是在“编排”和“调度”，这是CPU的强项。
具体而言，AI Agent需要CPU做以下工作：任务编排（决定先做什么、再做什么）、状态的持久化维护（记住上一步做到哪里了）、高并发的API调用（同时向多个外部系统发出请求）、复杂的沙盒环境管理（给代码运行提供隔离的测试空间），以及调用各种工具——浏览器、数据库、搜索引擎。沈劲以自身订机票的案例来说明CPU对Agent的作用：他曾用Agent帮自己搜索一段极其苛刻的多航段行程：上海出发，途经西班牙、多伦多，最终抵达圣地亚哥；超过7小时的航段必须是能躺平的商务舱，7小时以内的航段只要经济舱；所有方案里总价最便宜，且登机时间不能太早。这个任务，智能体需反复调用各大航空公司的数据接口和携程这样的OTA平台，把几十种方案的价格、舱位、时间全部拉取出来，再按照多个条件进行比对和筛选。整个过程里，GPU几乎无用武之地——整个过程几乎不涉及内容生成，有的只是海量的数据调取、比较和编排。最终，CPU相对GPU的使用率飙升到了70%~80%。
由此可见，任务越复杂、越依赖外部数据调取和多步骤编排，CPU的占比就越高。如今，新的AI硬件想将云端的运算模式，转变为电脑本地的运算模式。这背后的逻辑并不复杂。云端的运算模式，是一个“用多少花多少”的Token计量方式——每一次调用、每一轮循环，都在按Token计费。智能体的“上下文雪球效应”让这个问题雪上加霜：循环越多，输入Token越多，账单越高，没有上限。更重要的是，云端数据中心的硬件配置是以GPU为核心设计的（GPU与CPU的比例约为8:1），而GPU本身就是为大规模内容生成优化的，并不擅长智能体所需要的高频调度和工具调用——这些恰恰是CPU的强项。本地设备则完全不同。每台PC里都有性能强劲的CPU，天然适合承接智能体的编排和调度工作；更关键的是，本地运算不按Token计费，智能体跑多少轮、循环多少次，都不会产生额外的账单。今年6月1日，英伟达在台湾发布的RTX Spark硬件，正是专门针对本地AI Agent适配的新型硬件载体。这台设备的核心，是一颗专门为智能体打造的定制芯片N1X——它把GPU和CPU封装在一起。而且，英伟达与微软合作，对Windows 11进行了13项关键能力的底层改造，目标是把传统的PC操作系统升级为"智能体OS"——既能让智能体在本地高效运行，又能兼容用户已经习惯的所有软件。英伟达RTX Spark将把算力从云端拉回本地，但在云端和终端分布式AI方面，苹果一直处于第一梯队。在近期举办的WWDC上，苹果正式推出了自己全新的AI解决方案。“当硅谷大厂都在卷上千亿、上万亿参数的大语言模型时，苹果却在追求最懂个人、最安全、最能调度各类工具的AI。”沈劲认为。第一层在手机本地， 一个30亿参数的轻量模型，专门处理每天被触发几十次的日常需求：总结通知、提炼短信摘要、调整写作语气。它完全不联网，Token成本为0。第二层也在手机本地， 一个200亿参数的稀疏模型，每次只激活其中10到40亿参数。它负责更高质量的Siri对话、多模态理解（比如看懂照片里的内容）。依然不联网，Token成本为0。第三层开始上云，但上的是苹果自己的私有云。当任务涉及复杂推理、多步骤的智能体工作流、或者高质量图像生成时，请求会被送到装有苹果自研芯片的服务器上，由苹果自研的主力语言模型来处理。第四层也在苹果私有云，负责处理的是高质量图像生成和复杂的图像编辑，用的也是苹果自研模型。第五层会在谷歌公有云，跑在英伟达GPU上，处理前四层都搞不定的极端任务，比如高级数学推理和极复杂的多模态理解。沈劲认为，苹果这套分层架构同时服务于两个目标：省钱和保护隐私。能在手机本地解决的，绝不上云；必须上云的，优先走苹果自己的私有云；只有极少数最复杂的任务，才会流入谷歌的公有云。
对于这场Token账单的失控，沈劲认为至少有四个值得创业者思考的方向：第一个方向，是做消费类AI终端以及在终端的AI小模型。手机市场已经没有悬念——国内就那五六家，格局早已锁死。但手机之外的C端设备，盒子、眼镜、手表，依然有着诸多机遇。第二个方向，是做分布式智能体AI的运营商。当端云协同成为主流，必然需要一个调度层——它的工作是判断哪个任务在哪里跑最合适：本地小模型、苹果私有云、还是公有云大模型，并负责任务编排和状态维护。第三个方向，做Context Engineering（上下文工程）技术公司。目前，Token消耗本身的问题，还未完全解决。他的判断是：如果有一家公司能做出一个中间层，让企业的请求在进入云端大模型之前先经过压缩和优化，把Token消耗减少60%，“肯定很多公司愿意通过这一平台来做”。第四个方向，做CPU，不论是超算中心的CPU，还是PC、手机、边缘盒子等终端的CPU，都是创业的极佳的方向。
资讯来源：微信公众号
