AI基础设施的每一层正在同步承压，而机会与误判并存。SemiAnalysis创始人Dylan Patel近日接受播客专访，系统梳理了当前AI基础设施栈的核心动态与投资逻辑。他的判断涵盖模型经济学、内存超级周期、CPU的重新定价、CPO的时间线风险，以及数据中心能源供给的结构性机遇。

针对市场对AI投资回报率（ROI）的普遍质疑，Dylan透露，Anthropic已于今年第二季度实现自由现金流转正，年化经常性收入突破500亿美元，毛利率超过70%。在企业端，最新AI模型带来的生产力跃升远超算力成本的增加，促使企业削减其他软件开支以维持爆炸性增长的AI预算。

在硬件演进层面，向推理模型的范式转换正在重构市场需求。Dylan强调，存储面临长达数年的结构性短缺，仍有2至3倍上行空间；与此同时，尽管智能体和强化学习推高了CPU需求，但卖方市场对此定价过高，CPU的增长主要来自历史“补账”，其在AI服务器中的绝对价值仍远不及GPU。

Dylan认为，备受市场期待的共封装光学（CPO）大规模落地时间，则被明确推迟至2028年底至2029年，意外延长了铜缆连接器的红利期。而电网输配电的受限，正迫使数据中心转向“表后电源”（自建电源），在传统的芯片投资之外，催生出庞大的工业能源和电力转换供应链投资机会。

以下为访谈全文：

主持人：欢迎回到下一件大事播客。我是主持人，今天与我同行的有同事Klay Hyman，以及我们的新合伙人、SemiAnalysis研究机构的创始人Dylan Patel。今天是一个特别的日子，我们将与Dylan一起深入探讨当前AI基础设施领域的全貌。Dylan的内容我一直在关注，他的播客出镜率很高，SemiAnalysis的新闻通讯也一直是我的必读清单。最近他们有一篇关于太空数据中心的深度报告，感兴趣的朋友可以去看看，非常详尽。

Dylan，我很想听你聊聊SemiAnalysis最初是怎么来的。我知道在Substack社区里，大家最近都在谈论这家公司的营收和成功，但我觉得很多时候，人们只看到了成功的当下，却忘了背后的旅程和付出了多少心血。

SemiAnalysis的起源

Dylan Patel： SemiAnalysis的起源其实来自网上发帖——用不太镇定的说法就是“灌水”。回想我首先关于半导体的帖子，那是在我十几岁的时候，我就开始在网上发芯片、智能手机、关于智能手机显示屏和智能手机SoC的帖子，虽然那会儿我自己都还没有智能手机，但我就是痴迷于这些东西。游戏硬件、PC硬件、主机硬件也一样，我一直在网上到处发帖子。

到了12岁，我已经在管理和创作很多与Android、苹果、谷歌、英特尔、英伟达、AMD相关的论坛，以及Reddit上跟这些硬件话题相关的各种版本的块。这就是一切的起源——我一直是个“发狂人”，一直在帖子表达自己的观点，一直在回复、思考、接受评论。

我们团队里的人——现在公司已经有90人了，我们甚至有专门的市场部门——他们常哭说：“迪伦，别再回复网上那些乱喷的人了，你这样让公司视野很不专业。”心里我还是有一个强烈的警报，只要在网上批评我，我就想到了。这也许不是一件好事，但确实如此。

整个青少年时期我都在管理这些论坛。等到开始赚钱后，我就开始做投资。后来我做了两个量化交易员，然后创立了自己的公司，但这一路上我一直在不停地发帖。我曾去过匿名博客，匿名发帖，但到了2020年，我对自己的工作感觉厌倦了——做量化交易员的幻灭感，就是说，你确实能赚钱，但并没有想象中那么光鲜。于是我基本上辞掉了工作，开始创业。

我当时并不确定这条路能走多远，但我在自己搭建的WordPress网站上，用真实姓名发帖，内容主题科技、商业、金融、供应链等我最感兴趣的领域——因为我是在一个小生意家庭里长大的。我在佐治亚州一个乡下的旅馆里，我父母经营着这家旅馆，就住在里面。后来我们开了加油站，所以我内部就做生意，一直很喜欢商业。

后来，WordPress网站转成了Substack，开始收费，写遍了整个半导体和AI供应链。四年间我跑遍了世界各地，一年参加四十场会议——从AI研究者的顶级学术会议，到芯片供应链里某种化学原料的行业小会，从服务器到网络再到晶圆制造，上上下下整条栈我都去。有些会议只有三百人，全程日语只有五个人能用英语交流，我也去。有些是一两万人的大会，也去。参加了三届之后，你就真正掌握了这个领域的语言，认识了里面的人，能提出真正有深度的问题，整个生态系统就这样在你脑海里建立起来了。

SemiAnalysis的成长与团队建设

Dylan Patel：我一直关注技术上的"拐点"——每当在会议上发现某个技术或供应链的变化，我就能判断它会在供应链或财务层面带来什么影响。有些报告纯粹是技术向的，金融界根本不关心；但有些报告就能说清楚这是个瓶颈、这是个拐点、这家公司凭借下一代技术将拿下大量市场份额——而且我能比市场上任何人、任何对冲基金都更早说出来。

2022年Substack越来越大，我开始招人。头两个人是我在Discord上认识了多年的网友。第三个人是Myin，他以前在对冲基金工作，当时要搬到日本陪太太生活，是个"自由身"。我发过一篇文章，说内存是AI最大的输家——因为AI服务器用的内存量比普通服务器少得多。在付费区末尾，我顺带说了一句"我在招人"，Myin就来了。他是第一个有对冲基金背景的人，另外两个是技术背景。他一加入，我们就开始建各种财务模型，业务也从纯新闻通讯，逐步转向信息服务、研究报告销售、数据集销售。

从那以后，雪球就开始往下滚了。从2023到2024年，人数从2人增到7人；2024年底到2025年初，从7人到20人；2025到2026年，从20人到60人；今年又增加了30人，现在是90人。

SemiAnalysis最令人兴奋的地方，在于人才密度——我不知道还有哪家公司能在这种聚焦程度上有我们这样的专业积累。我们有来自ASML、应用材料、泛林半导体这些设备公司的人，有来自英特尔、台积电、英伟达、微软、亚马逊的人，有曾在OpenAI做模型的人，有在特斯拉做FSD的人，有在Cohere工作过的人，有专注数据中心的人，还有一个人在哈萨克斯坦建过发电厂——这种人才密度真的很疯狂。大概一半的人是行业各层级的工程师，另一半是前对冲基金人士，或者从网上找到的、充满热情的聪明人，我在Twitter或Discord上发现了他们，说"你很聪明，来跟我工作吧"，这套方法行得通。

现在SemiAnalysis有很多业务线：数据服务、咨询、信息服务、新闻通讯、媒体，还有即将举办的一场大型会议，是一场相当精彩的旅程。

英伟达GTC现场与"算力之王"腰带

主持人：说到勇敢的旅程，我想起一个印象特别深的时刻。WisdomTree 和 SemiAnalysis 已经合作了好几个月了。今年三月的英伟达 GTC 大会上，我当时在北卡罗来纳州夏洛特市看直播，据说当时有 5.5 万人在线观看直播，现场体育馆里还有 2 万人。

Dylan Patel：是的，成年人里确实有 2 万人。

主持人：黄仁勋在台上直接点名提到了你，说你说他“藏着掖着”某个数字，你做的图表当时就直接投影在了台上。我当时——我猜是替你——都有点激动，看着全球市值最大公司的CEO在台上直接回应你的研究，回应你对他某些数据表述的质疑。能聊当时的场面吗？听起来你当时就在热闹的现场。

Dylan Patel：那一刻确实非常超现实。SemiAnalysis 做的其中一件事，是我们有一批工程师专门针对所有开源 AI 模型以及硬件做开源基准测试，这是一项相当不起眼的工作。我们和整个行业保持着紧密的合作关系，比如硬件方面，我们从 OpenAI、微软、亚马逊、谷歌、Coreweave、Nebius、Crusoe 等公司获得了超过 5000一美元的硬件捐赠，甲骨文也捐赠了硬件给我们用于运行这些测试。

我们手上有八种不同型号的GPU：H100、H200、Blackwell，还有AMD的各流GPU；另外还有谷歌的TPU和亚马逊的Trainium。我们每天都会用最新版本的软件跑基准测试——因为每天晚上都可能有新的CUDA版本发布、新的PyTorch版本发布、新的驱动更新，或者推理引擎（比如vLLM、SGLang）出新版本。我们每天都会跑一条整条性能曲线，最快的“每秒生成代币速度”与“成本实现”之间在各种最优化场景下的关系，这是一套的基准测试系统。

黄仁勋最初发布 Blackwell 时，曾获得一些性能会提升 25 倍。当时没人相信他——毕竟觉得这是黄仁勋，大家都觉得这是黄仁勋营销话术。就连我们当时这么想的，我们比较看好，觉得可能有 15 到 20 倍的提升，这是基于我们自己做的仿真模拟。我们有一套性能仿真器。但等我们真正做出 InferenceX 推理基准是测试系统之后，我们发现，在 DeepSeek V3上，布莱克威尔在某些指标上的性能其实比霍珀快了30倍。

结果一我就给他发了邮件——因为测试结果会自动发布到开源的GitHub上，这是一个开源合作项目，英伟达那边的人也参与并共耗情况，但我特意告诉他：“嘿Jensen，2024年你发布Blackwell的时候说是25倍，当时所有权都在喷你，我也喷了你，说不可能有25倍，最多15到20倍。”很多人当时说的是“顶多” 3倍”。所以我们的判断其实相对乐观，但结果证明我错了——Jensen，你确实是“藏着掖着”了，实际上是30倍。

他后来把这个用起来了，我一开始不知道他会拿做什么。后来听几位客户提起，说Meta内部有个会议去，Jensen用这个数据来证明自己没有“注水”，因为当时他正在介绍下一代芯片。显然后来就发生了这一切，我完全不敢在台上被提起。

另外，我们在 InferenceX 里做了一条领导，看起来像 WWE 摔角领导项目那样，上面写着“Inference King”（推理之王），我们把它传达给了所有的合作伙伴——传达了英伟达、AMD，还传达了 SGLang、vLLM团队等所有帮助我们做基准测试、捐赠硬件的人，因为这是一个开源项目，我每年在工程师工资上投入了几百万美元，其他合作方也在硬件或工程师工资上投入了几百万美元并无偿捐赠支持这个开源项目。

我把这条指示传达了他，结果他在幻灯片上举着这条指示，配上我们的图表，整整讲了五分钟，说“迪伦说我藏着掖着，但其实没有，我们的成绩是最好的”。这真是个非常超现实的瞬间。他提到了我们的文章宽度比整场演讲中提到的其他人或公司都要长，最后提到文章宽度能相提并论OpenClaw，这个产品今年确实火遍全球。所以那真是一个令人难忘的时刻。

AI需求侧：ROI问题与Anthropic盈利

主持人： Dylan，你提到了相关开源的话题，我想引导转向最近的一些行业动态，以及市场层面的一些讨论。目前初步有明显关于开源模型和闭源模型推理效率的讨论，同时也引起了很多投资者质疑整个行业的投资回报率（ROI）。就在最近一段时间，我记得彭博社的一位经济学家谈话，很多公司的人工智能项目可能正在“失败”。而你之前提到你们公司在广泛使用人工智能，给员工提供大量的代币使用增量，持续持续招人。我很好奇，你怎么看待需求这个问题——这种需求推动了当前这一轮大规模基建投入，尽管过去一个月（最近这几天）市场对相关个股的追捧其实填充了各种补充端的否定因素。

Dylan Patel：关于这个“投资回报率”的核心问题——公司到底能不能从AI上赚到足够的钱？这种现状能否持续？利用AI的公司是否真的获得了价值？——我觉得可以从几个角度来拆解。

首先，Anthropic目前是自由现金流为正、且已经实现盈利的，就是这样的表现。4月份账本结算结算后，公司实现了盈利，自由现金流为正；5月同样如此；6月看起来很明显这个趋势，虽然月度账目尚未完全清零，但三个月里结有两周确认盈利并同时为正。他们经常性的盈利性收入已经突破500亿美元ARR，表现相当出色。这是一个可爱的一面——Anthropic正在“印钞”。当然也有很多公司还没有到这个阶段，但正在朝这个方向发展，比如OpenAI的随着Codex采用率的提升以及其他产品的增长，也开始出现拐点。Anthropic的盈利能力都在不断提升，毛利率非常高，超过70%。

但这只是硬币的一方面。另一方面，你提到的，是公司在AI上的支出问题。就拿我们自己举例，我们把这个叫做“年化经常性支出”（ARS，年度重复支出，区别于ARR）。去年11月、如果克劳德代码真正移植，我们的年化经常性支出还不到10万美元——当时我们之前给每个员工都订阅了各家模型的高级套餐，比如ChatGPT的200美元档，如果有人想用 XAI 或 Claude，我们也提供，但主流做法就是给所有者开通 OpenAI 的 200 美元套餐。这是去年 11 月的情况，我觉得当时我们已经走在前面了。

但随着 Claude Opus 4.5、4.6 等版本的推出，Claude Code 真正迎来了拐点。到今年 1 月底，我们的年化经常性支出已经达到 400 万美元，因为这完全是开始大量使用 Claude Code。而现在，这个数字大约是 1100 万美元。如果按周支出乘到 52 周来算，目前平均水平大概在 1100 万美元左右，最高的时候达到过1400万美元。这个数字会因为大家当前在做工作而大幅增长，但目前大概是一家 90 人公司每年 100 万美元左右的 AI 支出。这个数字确实相当惊人——我们在 AI 上的支出已经相当于员工招聘支出的三分之一左右，而且随着 Methos 等新模型陆续推出、性能不断提升，到年底可能会达到二分之一。

这是一笔巨大的支出。问题是，投资回报率如何？我认为回报是巨大的，因为我们能够因此构建产品、提升销售、提高公司每个人的效率。所以我看到了实实在在的回报，但我理解很多公司确实在质疑：如果一个优秀的开发者年薪 30 万美元甚至更高，那么在 AI 上的支出正在逐渐逼近 1 :1的比例。对于非开发人员来说，支出比例会低一些，但即使在我们公司，很多消耗最多的人恐怕是那些不会写代码的人——他们只是不断地跟模型说明需求，反复迭代，最终得到想要的结果。

所以我们看到最后员工的支出达到高峰，很多公司现在都在合理地质疑：“我们的季度人工智能预算在第一、第二季度就花光了，接下来怎么办？”问题是，到底是削减了人工智能支出，还是从其他地方削减了？我很多看到公司选择从其他方面削减，比如砍掉历史上一直在用的其他SaaS产品，理由是“我们刚刚可以加速增长”“人工智能支出可以先扛一扛，这就是人工智能”确实，随着使用量的激增，半年前需要花多少钱做的事，现在成本已经大幅下降了——当然现在用AI做的事情范围也比半年前要广了。不同公司采取的策略各不相同：有的甚至选择裁员来省钱而不是削减AI开支，有的则限制选择AI使用，但我认为即将在生产力提升和产品开发能力上被甩在后面。

模型选择的经济学：更便宜的模型 vs. 更新的模型

主持人：明白了。那么，缓解增量成本的一种方式，是选择更便宜、有时智能程度稍低的一些模型，而不是总是使用最前沿的模型。这方面的讨论虽然还处于早期阶段，但我很好奇：像你们这样的公司，是否会认为某些应用场景更适合用类似 DeepSeek V4 这样的模型，而对于需要更高智能水平的任务，需要使用成本更高的模型？这是否也是你们决策考量的一部分？

Dylan Patel：对某些场景来说，这确实是决策考量的一部分。这里需要把AI工作负载回顾两类。第一类是“AI集成集成进现有流程”——比如客户发来文档，我需要检查其中的某些内容，把它输入模型，模型检查完成就结束了。在这种场景下，我只需要达到某些质量模型，之后就停止追求模型升级，转而通过等待更新、更便宜的模型来降低成本。我们观察到AI模型的成本几乎每次都可以回归60倍——相同水平，一年后的成本就能降到六十分之一。DeepSeek此时让大家如此震惊，是因为它比GPT-4便宜了600倍，而这中间大约经历了两年时间，相当于60倍乘以60倍再乘以某个系数，最终达到了600倍。所以曲线大致轮廓终结了“每年降低60倍到90倍”这个区间，DeepSeek V3质量GPT-4 两年内降低了 600 倍。如果你的工作流程已经把 AI 嵌入其中，那策略就是先达到一定的质量水平，之后转向更便宜的方案。

第二类工作负载是“AI助手”型的，这方面其实有一个常见的误解。如果是我日常工作中让模型帮我查找信息、解决问题，成本优化的方式其实不会换用更便宜的模型，而因为往往是使用最新的模型。最新模型往往效率更高：比如Claude Opus 4.6完成一项任务可能需要10万个Token，还可能需要好几轮来回沟通，持续10分钟；而Claude Opus 4.8完成同样的任务可能只需要四分之一的代币（2.5万个），而且可能来一次就搞定了。这样一来，成本反而相反，因为生成的代币数量少了，我花费的时间也少了。

所以对开发者或从事工作的人来说，降低成本的方式并不是换用更便宜的模型，而是究竟需要反复调试、覆盖多代模型才能完成的任务，逐步变成一次迭代甚至一次直出（one-shot）才能完成的任务，用更少的 Token 完成同样的工作。从 Opus 4.6 升级到 Opus 4.7这时，我们的成本确实先下降了大约一周，然后又反弹上升，因为大家开始更地使用它了。间隙会反弹，是因为人们需要适应新的工作流程——到底做什么的工作现在做完了，然后“再多做点其他”，于是用量又上去了。同样地，Opus 4.7升级到4.8这时，成本也先恢复了大约一周半，又恢复了，因为大家意识到“现在我可以做更多的事情了”。所以你必须把生产力提升和成本一起降低。

对于“AI助手”这类非常场景，Token效率其实很关键，这也是Anthropic能够在这方面领先OpenAI的原因之一。实际上，OpenAI的模型在一些极限场景——比如顶尖的科学研究、数学、代码任务上——往往能完成Anthropic模型做不到的任务，但运行时间是三倍，Token消耗是四倍，因此成本要高，人机之间的反馈循环也不够快，从客户体验角度来说反而更差。因为“让回来模型是否做一件事，然后检查完​​成”是一回事；而“我有四个小时要完成一项任务，是模型一次调用才能持续四个工作，或者需要来回调用四小时”，这是另一回事——事实证明，在这种人机反馈循环的场景下，人性化的模型代币更高的效率，反而做得更快更好。这也是为什么我们目前仍然主要是 Anthropic 的重度用户。有些任务大家会用 OpenAI，通常是那些可以“挂机过夜”、消耗实时搜寻的任务会破解 OpenAI 的 Codex，但大多数任务大家还是用 Claude Code 所以关于模型和代币效率的问题，成本其实很难一概而论：有些任务是“先固定模型质量，等成本下降自然”，而另外一些任务“我就是用最聪明的模型，因为它反而更省”。

内存：从大宗商品到超级周期

主持人：我想把焦点转向硬件方面。我知道你们今年早些时候在通讯里发过一篇文章聊内存——我一直是你们通讯的忠实读者。内存市场历来都有周期性，大概是18到24个月一个上行周期，18到24一个月一个下行周期。而目前的情况是，几乎所有和数据中心相关的货物都遇到了状态——需求已经不是“拿不到货”的问题，而是“要等多久才能拿货”的问题。以你在硬件领域的经验来看，内存这种历来被视为大宗商品化产品的品类，未来会有什么变化？

Dylan Patel：我不是说内存周期性会消失，肯定周期还会存在。目前我们正面临一个超级上行周期，未来也一定会有下行周期，而且下行时会相当剧烈。但即便如此，从波谷到波谷来看，整体依然是增长的。

我认为现在关于内存其实其他一些真正值得关注的，是行业格局本身正在发生转变。历史上，牵引上行周期大概意味着市场增长50%，对于像内存这样的大宗商品市场，定价弹性加大，相关股票可能会翻两三倍。但这一次不一样：几年过去，整体开支已经翻了好几倍，而且继续翻倍。同时，各个终端市场的需求也不同——价格内存已经涨了差不多4倍，未来还可能再涨2到3倍。再加上产能的增长，所以这些股票将会急剧激增，之后自然回落。

我认为这个波真正令人兴奋的地方，不仅仅是“市场在暴涨、个弹性大宗商品”这么简单。我们在2024年就写过一篇文章，当时OpenAI发布了o1，第一个推理模型，它开启了新的诱发推理模型的浪潮——OpenAI、Anthropic、DeepSeek等公司都在让TD模型执行更长的智能体（Agent）任务。当时我们注意到，这是o1出现后，工作负载模式发生了显着的变化。

用ChatGPT聊天时，你发送一个提示词，可能是50个词也可能是500个词，模型给你一个回复，这个来回中的上下文长度只有几千个Token，也就是说2000个Token。这意味着在做推理时，每生成一个Token，都占用全部权限重读入芯片，把全部上下文读入芯片，处理一个Token，然后再重复这个过程——重新读取一个内部和权重。这个过程被称为KV缓存（KV Cache），它构建了所有Token之间的关联关系。

脉动的，无论上下文长度是 1000 还是 10 万，模型权重部分的内存读取需求是一样的——相反，权重端的内存密集度不会因为长度变化而改变。但 KV 存储端就不同了：上下文完全是 1000 个 Token 和 10 万个 Token，对内存的需求差异巨大，重构所需的计算量大致相当。服务器本身可以做一定的服务器优化，计算成本不会因此暴涨，但内存成本会激增。

所以我们在2024年12月那篇关于o1的文章里就指出，随着预演的缩放法逐步让定位强化学习驱动的缩放法，o1是一个重要的拐点，我们判断KV存储需求将因为推理模型的兴起而爆炸式增长，内存将最大。我们是在2024年12月提出成为这个判断的，2025年年也多次强调对内存的看好。但真正的关键要素是今年（2026年）1月，我们发表了很多一篇文章：当时市场上人们认为内存价格已经涨了50%，是不是已经见顶了？还需要不需要继续看好？我们当时明确表态：不，市场还没有搞清楚问题。

未来三年内存产能每年只能达到20%到30%，而需求却在翻倍。这意味着内存价格会持续走高。那些价格弹性较低、无法适应涨价的用户——比如智能手机、笔记本电脑厂商，会因为成本飙升而被市场市场，产能会因此让位增长给AI。数量，会不断上涨，直到那些非AI用户被垄断市场前景，因为产能已经跟不上需求。所以我们当时的核心判断是：内存不是短期的短缺，而是会持续数年的结构性短缺。

从今年一季度到二季度，内存市场确实是一路高歌猛进，虽然中间也有过因为某些偶发因素单日下跌7%、8%的情况，但整体走势一直是向上的。虽然这不构成投资建议，但我们认为这个趋势还会继续，因为价格还会持续上涨——我们已经看到一些中国的中低端智能手机厂商的出货量已经超过了40%，但高端市场目前还没有明显受到冲击。明年iPhone的价格必然上涨，MacBook的价格也必然要上涨。如果现在MacBook或iPhone价格只涨100美元，市场不会有意外反应，但内存价格会持续走高，直到智能手机价格不得不上涨数百美元，而不是100美元。

这个过程会一直持续到市场找到新的平衡点——AI获得了足够的产能供给，消费电子和移动设备市场被压缩到一定程度的状况。当然，消费者还是要买新手机、新电脑的，所以他们仍然会购买，但因为内存产能增长跟不上需求，整个市场需要重新找到一个新的平衡点。

从整个产业链来看，真正重要的是：不同的定价弹性不同。比如台积电的定价就不是那么有弹性——他们是一家非常注重长期合作关系的公司，愿意每年温和提价5%到10%左右。而内存构成一个大宗商品市场，价格应该完全由现货市场和合约市场的供需平衡。所以你会看到这两类公司在定价机制上异构的表现，未来决定内存的价格腰也可能斩——因为内存这类产品根本不会长期维持85%的毛利率。虽然目前内存毛利率还没有到85%、90%，但正在朝这个方向发展，之后自然也会回落到70%甚至更高的水平。所以内存价格会经历这样的周期性波动，而像台积电、ASML这样的公司，定价变化就没有那么明显。

不同阶段的波动幅度取决于两个因素：一是AI市场需求向该市场活跃的比例——供应链中不同的波动，每一美元AI支出可能只带来1美分的收入，也可能带来5美分的收入；二是该细分市场的竞争格局——是垄断或寡头垄断市场，还是竞争充分的大市场？定价是相对稳定、以长期协议主导，还是完全由供需的决定决定大宗商品市场？这些因素大家共同了内存、以及现在在的MLCC（多层陶瓷陶瓷头）、PCB 铜箔等各种解析是否会成为下一个“后续热点”。你会不断看到网上冒出各种“这是下一个声音”的说法，但真正重要的是：这个需求的出现力度到底有多大？这个市场需求是翻倍、增长50%，还是翻两番？以及基于市场结构，价格到底能涨多少？才是这些真正的供应链走向的关键因素。

CPU仅是“补账”行情，长期主导仍是AI芯片

主持人：如果按照你刚才描述的六大分析框架，市场似乎每年都会“惊觉”某个新的潜在暗示相当于。今年早些时候是 OpenClaw 的爆火，让大家开始关注 AI 智能体（Agent）的世界各种可能性。我很好奇，按照你刚才描述的六大框架，你怎么看 CPU 市场？过去三年里，AI 领域几乎没人提“CPU”这个词，但今年 CPU 却成了全世界都在讨论的话题。

Dylan Patel：是的，关于CPU这块，我们其实在去年11月的机构研究报告中就开始大量讨论了，原因是OpenAI和Anthropic当时开始和亚马逊、谷歌、微软等公司提出协议，购买这些公司云平台上所有的CPU资源并租用。从去年年底到今年，CPU需求一直在持续拐点增长。

先说说原因。AI早期是训练还是推理，推理主要是短上下文的场景，主要依赖的是计算力和网络能力。但随着预训练模式向强化学习的转变，以及聊天式推理向智能体（代理）推理的转变，CPU需求出现了一个很大的拐点。

预训练本质上就是把整个互联网的数据集“喂”给模型进行训练；而强化学习为什么是模型自己生成合成数据或推理得分，然后得到一个“环境”中去验证。这个环境可能是运行代码单元测试，可能是一个模拟网站的沙盒环境，也可能是模拟某个工程系统或其他平台的沙盒——比如购物等你在互联网上会用到的场景。这些环境验证过程需要大量的CPU资源。而在预训练阶段，Token处理本身并不需要太多CPU，真正的积分计算力是“环境验证”这个阶段——比如我生成了这些Token，接下来要判断它们在Python编译器、C语言编译器或者某个网站里是否有效，是否符合逻辑。

如果是一个电商类的智能体工作流程，模型需要不断测试各种操作，这些都需要大量CPU。反过来看实时推理的场景：以前做聊天式推理，比如我问一句、模型回答一句，交互就结束了，也许我还会追问几句话，但也到了这样的结局。但现在的智能体工作流是模型在不断进行“工具调用”（Tool Call）——比如去搜索信息、查询数据库、调用Python解释器编写一段代码来验证结果，或者编写代码并编译部署。这些智能体工作流程需要不断地与真实世界进行交互，因此对CPU的需求会越来越大。

以前是人和模型交互——我告诉模型一件事，模型给我一个回复，我读完之后自己复制粘贴去用。现在把模型和互联网世界在交互，这个中间就需要更多的计算，更多的AI参与，也就意味着需要更多的CPU来回处理这些交互结果。所以无论是强化学习还是智能体工作流，都需要大量的CPU资源。

问题来了：需要大量CPU，那个市场结构是怎样的呢？目前市场上的主要玩家有Intel、AMD，ARM现在也开始推出自己的CPU，因此现在ARM的股价表现非常亮眼，因为它是这个市场里颇具竞争力的新进入者。另外，亚马逊、微软、谷歌都在推出自研CPU，其中亚马逊目前是这方面的领跑者。英伟达也在自己的CPU中。

所以现在市场上有很多竞争者，但实际上直到两年前，整个市场基本都是英特尔和AMD的天下。现在亚马逊已经获得了相当大的市场份额，英伟达和ARM也开始获得更多支出。最终的结果就是：英特尔能够再提价，AMD也能提价，总共都提高了价格，需求也大幅增长。亚马逊不是“生产芯片卖出去”，而是“生产芯片再租出去”，所以从能CPU上获得极高的利润率——他们的Graviton CPU租用需求只是非常旺盛，订单量大幅增加。英伟达之前把CPU搭配GPU一起卖，现在开始单独销售CPU（比如Vera系列），他们给出的CPU业务排序为200亿美元。对英伟达来说，这其实还算不上什么大数字，只是几个百分点的增长——开玩笑。但对英特尔、AMD、ARM、亚马逊这些公司来说，这块透明（据说包括住房收入而不只是销售收入）的意义就非常大了。

主持人： Dylan，连接CPU这个话题，我听说智能体的CPU在某些方面和传统CPU有所不同——核心架构更装备智能体的工作负载，这是我记得黄仁勋在谈到Vera CPU时提到或暗示的。另外还有很多关于“GPU与CPU”配比”的讨论，这显然也反映了需求方向的变化。能否详细讲讲这几个方面的情况？我觉得这个概念在宏观层面大家都能理解，其中一些技术细节可能大家都忽略了，我也不确定这到底是纯粹的市场营销，还是确实有其事。

Dylan Patel：智能体工作流对 CPU 的需求其实差别很大。有些工作流是这样的：模型运行后，把所有生成的 Token 发送给某个 CPU 工作流处理，然后模型香料就要等待 CPU 处理完再返回结果，模型才能继续工作。这里的关键问题是：模型攻击所在的计算单元在等待 CPU 响应期间是否会“停摆”？有些情况下会，有些情况下不会。如果会停摆，那么运行模型的计算资源可以白白闲置等待 CPU相应的，这种情况下CPU的架构设计就需要有很大不同——基本的设计权衡就是“要更多的核心”还是“要更快的核心”。

CPU架构设计有一个规律：如果把一个CPU核心做大一倍（意味着芯片上核心数量减少一半），性能并不会因此翻倍，单核性能可能只会提升50%左右。当然实际的工程权衡远比这个复杂，但这是一个简化的理解方式。

以英伟达的Vera CPU为例，它的核心数不到100个，但每个核心的速度比AMD的核心更快。AMD目前旗舰CPU有256个核心，两者核心数量差距很大，但英伟达的单核性能虽然更快，也没有快到AMD单核的两倍。这就存在一个设计权衡：对于那些“AI计算必须等待的CPU”响应才能继续“的工作负载，你会希望核心少一些、但单核速度更快，提升总的多核性能较低，也能保证不会经常因为等待CPU而“卡壳”，因为这类任务需要极其完成这件事，而是需要“现在立刻完成这件事”。所以在这种“AI算力会因等待CPU而停摆”的场景下，我需要需要快速的单核性能，愿意牺牲多核性能。

另一类智能体工作流则不同。比如我们团队日常使用 Claude 的方式——我们一年花 1100 万美元在 Claude 上，这是怎么用的呢？我在调用 Claude，Claude 在处理一批 Token，但它不仅仅是服务我一个人，而是把成千上万名用户的请求而“资源”（批处理）放在一起，覆盖所有算力资源进行处理。如果我收到回复后需要等待自己（或某个 CPU）核心）去实现落地，这并没有关系，因为算力本身现在持续运转，只是不是为我一个人服务，而是在为其他用户服务。所以如果CPU速度慢一些，但数量足够多，这就是完全不同类型的任务。

还有一类区别是：是“AI活跃交互使用”，还是“AI生成内容之后被部署”？值得一提的是，如果看全球GitHub提交量的数据，相比去年已经是数倍级增长——不是简单的增长10%或50%，而是数倍增长。这意味着大量代码正在被生成并部署到世界各地，很多代码质量参差不齐，但很多确实已经上线了。这些代码部署上线后在CPU运行上，而且大多是相对标准的代码——可能只是一个网页爬虫，可能是某种分析引擎，也可能是某种业务流程自动化工具，这类应用不一定需要运行在用超高性能的CPU核心上，高性能更高的CPU核心就够了。

所以从整个连续谱来看，英伟达打造了性能最强的CPU核心，但如果目前“单颗芯片上的核心数量×单核性能”这个综合指标，英伟达其实并不占优势。而AMD和亚马逊则拥有更多的核心数量（数百个），但单核性能相对较低。ARM也属于这一类。所以则关键在于，具体负载能力对应这个连续谱的工作位置——有些工作负载确实需要Vera这样的产品，有些更适合Graviton或AMD的CPU。所以我认为这个问题并不像表面看起来那么简单。

对于你提到的“配比”问题，CPU需求持续增长这一点是毫无争议的事实。我们是去年年底的机构研究报告中，以及今年1月的通讯文章中提出这一判断的公司。自那以后，一些CPU相关个股确实一路飙升——ARM股价涨了好几倍，英特尔、英伟达也是，英特尔股价涨了好几倍，AMD也一路上涨，这些股票都表现强劲。

但现在，那些其实并不真正懂技术的卖方分析师，开始胡乱编一些说法，认为CPU与GPU（或者说CPU与AI算力）的配比正在向CPU一方严重倾斜，这个说法是错误的。我再强调一下：如果你看一套满配的Blackwell系统，每颗芯片大概是5万多美元。如果按1 :1的配置CPU，CPU大概是每颗5000美元左右。 3000亿到5000亿美元，那么对应的CPU销售额大概只有300亿到500亿美元左右。

这也是大家容易忽略的一点：没错，CPU这个细分市场确实在快速增长，但消耗资金支出仍然流向AI算力和内存。这个市场之前被低估了，现在定价更加趋于合理了。大家需要认识到，CPU需求不会无限期地持续超过AI算力的原来，这就是一次“再平衡”的过程。

具体来说，在2023、2024年，市场卖出了数百万颗AI芯片，但配套的CPU却很少。CPU需求突然之间出现拐点，配比需要从原来的水平调整到应有的水平，现在的“追赶补课”模式需要——采购大量CPU来补上过去几年积累下来的算力缺口，加上目前正在新增采购的算力大家所要求的需求。一旦把历史积压的这批AI芯片对应的CPU缺口补齐了，这部分需求就会消失，之后限制下增量需求。

举个例子，假设配比是1颗CPU 2颗GPU，每颗GPU 5万美元、每颗CPU 5000美元，那么每花10万美元在GPU上，只花5000美元在CPU上——这个比例其实算不上多好的市场动力，虽然过去已经好很多了。但如果考虑到“过去三年拆迁的上千万颗GPU里，很多回复根本没有对应的CPU”，那这部分5000美元的缺口必然会带来巨大的补库存需求。

这就是我们目前正在经历的情况：一方面是配比结构性上移，另一方面是历史积压的巨大缺口正在被逐步补齐，所以你会看到需求异常旺盛，但这种旺盛最终会被消化，进入一个相对稳定的状态。然后我们目前正处于一个CPU的“小周期”交易。

共封装光学CPO量产推迟至2029年，铜缆受益窗口期延长

主持人：这些信息非常有价值，有很大帮助。接下来我想聊聊网络这个话题，转向产业链的另一个阶段。我觉得很多这个话题最近也引起了投资者的关注，尤其是当他们深入研究光模块供应链以及其中的一些否定相关时。我们一些预测认为，共封装光学（Co-packaged Optics，CPO）虽然被密集讨论，但真正的大规模部署可能到2027、2028年今年左右你怎么看“能用铜就用铜、必须用光才用光”这种理念，以及从光学向铜连接过渡（或者说反过来）这个趋势？黄仁勋在Computex上也谈到了这方面的内容，也有很多讨论都在关注Marvell这样的公司。关于光学技术，以及未来两个数据中心网络架构的演进方向，你怎么看？

Dylan Patel：很明显，随着模型规模不断增大，如何跨节点运行模型、如何模型，都涉及光学技术中很多不同的领域。首先是电信光模块，像Ciena这样的公司股价一直在上涨，另外围绕着它们的一些连接供应链公司。再看数据中心内部通信（Datacom），芯片间通信，目前铜连接和光连接两个方案并存，这块都在快速增长，网络相关的支出已经比其他任何产品类都要快——网络在AI芯片相关总支出中的活动，正在从不到10%上升到10%以上，等到CPO真正落地后，该活动会进一步提升到20%到30%。

因此网络相关的支出将大幅提升，但另一方面，CPO是行业内一个非常巨大的技术跃进，虽然现在大家已经普遍认识到CPO的重要性，但我认为目前市场情绪有些过于乐观了。依我看，CPO不会在2027年实现，真正大规模量产要到2028年末，2029年今年最重要的共封装光学在“横向扩展”（Scale-up）场景中真正放量的时间点。这里面有很多制造方面的问题——如果现在能够以合理的成本进行量产部署，大家肯定都能用，但实际上这非常困难：制造产能跟不上，良率也达不到标准，配置芯片的设计也存在没有真正进行优化。这是一个非常复杂、涉及很多的量产爬坡过程。

所以大家会长期维持铜连接方案。比如英伟达的Rubin（下一代GPU）全部采用铜连接，Rubin Ultra在GPU层面也还是铜连接，直到再下一代Vera Rubin Ultra后面的Feynman才会用上光连接——而且我们连Rubin都还没开始出货，所以现在离共封装光学真正应用在GPU上，还有好几代产品的差距。交换机（Switch）层面的共封装光学会比GPU该层面更早落地，但更进一步，随着供应规模不断扩大，每颗GPU所需的光数量或有源电缆（Active Electrical Cable）数量也增加。

我们看到这个领域正在发生显着的结构性变化。比如上周一，我们向机构研究订阅客户发布了一份报告，讨论的是一个阶段性的判断——不是说终止市场趋势会改变，我们一贯支持CPO长期来看必然会发生，铜连接终将被取代，从中期来看，我们其实相当看好铜连接，也看好非CPO形式的光模块，而对CPO本身则相对偏向刚性，但因为我们看到了最基本的一些芯片较晚的情况——比如Feynman目前并没有全面采用CPO。

正因如此，像安费诺（Amphenanol，生产背板连接器和线缆的公司）这类铜连接器相关厂商，未来几年的表现可能会比此前预期的更好，因为我们之前认为CPO会更早放量，但现在时间线被推迟了。供应链里经常会出现这类变化，但整体来看，光学这个领域，如果你现在闭上眼睛，五年后开启，市场规模一定会很大——这部分预期已经在很多股票价格里有所体现，但也有一部分还没有被充分定价，我认为局部还存在一些错配。

这也是我们和你们团队一直在合作研究的内容：如何权衡不同技术路线的比重，比如“受益于CPO的光模块厂商”与“非CPO光模块厂商”之间如何配置，传统光模块与铜连接方案之间如何配置，铜连接方案其实还有很长的发展空间，铜连接产业里不断创新，进一步延缓了CPO的替代节奏。归根结底，采用光连接的集成成本远在电信号传输，只有当电信号传输距离决定、必须借助中继器或光模块时，才会转向光连接方案。这中间存在一个消彼长的权衡关系，CPO底层会发生，但目前来看，时间线正在被推后。

电力与数据中心能源

主持人： Dylan，我们大概时间也差不多了，聊了模型、GPU、内存、网络这么几个话题，如果不聊数据中心这个“房间里的大象”——电力问题，未免有些遗憾。我记得你在通讯文章里写过关于直流电与交流电的一些内容，也提到过一些内容的技术要点。

Dylan Patel：数据中心的建设规模确实非常庞大。今年全球预计部署20吉瓦（GW）的数据中心产能，明年这个数字会增长到30吉瓦，届时增长50%，再往后一年会达到50吉瓦。数据中心容量的增长非常迅速。

这中间存在很多局部的错配和矛盾解决。我能源是其中最大的否定因素认为之一，另外还有政治因素，第三是建设施工层面的关键因素——数据中心的建设、顶层和备案流程在政治层面确实存在不小的影响，也有人在尝试阻止后续项目推进，但归根到底，真正否定整体层面的核心因素还是能源。

能源问题可以拆解为几个阶段：发电（在哪里生产电力）、输电（如何把电力从发电端传输到数据中心）、以及电力转换（因为传输过来的电力形态，芯片本身是无法直接使用的，需要经过转换才能被芯片消耗）。转换完成到底流程的？

在这三个环节中，我认为都值得看好的方面。输电阶段是最难看的一个阶段，因为建设更多输电网络容量在监管和政治方面存在相当大的难度，加上电力公司的地方垄断运营模式——如果一家电力公司制定了一条输电线路，成本必须由所有用户共同分摊，而不能只让某个特定用户承担，这个中间存在各种奇怪的制度错性位，导致良好的电网内容相对困难。

但在发电和转换这两个前期，倒是有一些非常轰动的进展。发电方面，显然电网整体的发电量在增加，同时也出现了一个明显的转变趋势——越来越多的发电正在转向“就地为数据中心供电”。我们预计再过，几年内为数据中心新增用电需求的电力中，将有一半是在现场（现场）电力，而不是从电网外部过来（场外）。下面，“表后发电”（背后）米）模式正在快速崛起。

我们团队的“表后追踪发电模型”里能明显这个趋势。我提到过团队里有一位同事曾在哈萨克斯坦建过发电厂，她叫艾莉，目前领导着能源建模团队，我们一直在追踪整个电网——每一个发电资产、每一条输电资产，以及所有的负荷资产，还有表发电的相关情况。

我们发现表后发电正在经历巨大的增长，虽然在安东尼和监管层面面临着尖锐阻力——比如有人不愿意批准排放许可，或者不愿批准新建燃气管道，我们在甲骨文（Oracle）的某个数据中心项目上就看到过类似的情况。这里面有很多具体的博弈过程，但总体趋势是，表后发电正在快速增长，很多是通过双燃料联合循环燃气轮机实现的，供应商通用电气包括Vernova、三菱、西门子等，另外还有很多其他类型的能源来源，比如往复式发动机、工业燃气轮机、各种类型的柴油发电机，甚至有人把火车发动机、船用发动机、卡车发动机改造用于数据中心发电。

我们看到这个领域正在支持大量创新，不是说我们缺乏工业产能——美国每年能生产数百万台工业往复式发动机（靠靠燃烧燃料驱动旋转的发动机），把这些发动机从柴油动力改造为燃气动力其实相对容易，甚至继续用柴油也没有问题，然后接上一台电动机反向驱动发电。这种方案是可以大规模复制的，预计将会超过10吉瓦规模的数据中心项目，会采用类似的“柴油卡车发动机改燃气发动机”这种方案——这个在生产改造起来相对简单，接上电动机反向驱动发电后，就地部署到数据中心，一个数据中心背后可能有几台这样的发电机组，同时还需要大量来自雇佣汽车维修行业的技工，因为这些设备经常需要维护保养——大家会不断巡检维护这些柴油发电机，保留一定的发电机，这样某台设备出故障维修时不会影响整体供电能力，当然中间也需要配置电池来缓冲，避免数据中心负载的损坏这些发电机组。

所以看到我们整条“表后发电”的供应链正在形成，这非常令人兴奋。另外，大概再过两年左右，“太阳能增储”的成本可能会低于燃气发电。当然太阳能增储的供应链本身也一定具有挑战性，这取决于你对存在可靠性的要求——如果只需要储备足够支撑过一晚的发电，成本会比较低；但如果撑过三天（因为可能连续下雨三天），那对储能容量的要求就完全不同了，这涉及到你对供电可靠性等级（几个“9”）的要求。但得益于中国在制造业上的优势，太阳能加储能的成本正在以惊人的速度下降，未来某个时间点会变得氢氧化。

再往后看，还有太空数据中心——这种方案甚至都不需要电池，只需要一块太阳能板就够了。 所以整个发电方案的连续谱非常丰富：从“把柴油发动机改造成燃气发动机”这种相对“接地气”的方案，一直到“干脆把芯片送上太空”这种最极限方案都有，中间蕴藏着大量的商机和收音机的创新空间。

这也是为什么 SemiAnalysis 目前最大的研究板块——很多人可能以为是半导体——其实是数据中心和能源。我们内部把这个团队叫做“数据中心、工业与能源”（数据中心、工业和能源），简称为 DEI，其实我们内部的一个文字梗，团队内部的标签就叫“DEI Team”，由 Jeremy 领导，这个名字也是他想出来的。

数据中心、能源和工业这个板块，是我们目前规模最大的研究方向，因为我们在追踪每一个数据中心和每一个发电站的动态。当我们选出某个延期项目，或者某家公司本季度将有多少数据中心投入运营，这种颗粒度的信息是全球其他机构做不到的。这也是这个板块能成为我们最大业务方向的原因——每个人都对这个领域感兴趣：谷歌关心元能配置多少产能，元关心OpenAI能够配置多少产能，同时这些公司也都在关注整个供应链的产能情况和归属，投资者自然也非常关注这个方向，这是我们目前最大的一笔数据资产。

我要说明的是，这是一个高度分散的市场。相比之下，内存市场只有三家主要厂商，格局相对简单；AI半导体设备市场也只有几家玩家；半导体制造设备市场也只有几家主要厂商。但在数据中心与能源这个领域，供应链里有上千家公司，做着各种各样的细分产品，仅数据中心建设块就有几十家公司在做，此外还有几十家公司在做独立电力生产业务（IPP）业务，或者提供表后发电服务、电池备份服务等各类业务。这是一条非常复杂的供应链，充满了动态变化，我认为其中蕴藏着大量创新。

所以数据中心虽然会持续是否定因素，但从另一个角度看，它其实又不完全是否定影响，依赖你愿意“疯狂”到什么程度——就像我说的，你完全因为拿卡车可以启动提升，组建一个汽修技工，把这样一个“厂区”运转起来，虽然不是最理想的方案，很多人会说“这也太直接了，可靠性就高了？”，但这确实有人在下面，而且一个方案确实能跑起来来——虽然会很折腾，但能用。同样地，一直到“直接把芯片送上太空”这种极端方案，出现起来也很艰难，同样能实现。所以针对数据中心这个极限问题，无论是选择“往深处做了”，还是选择“送上太空”这种最方案，市场其实都有的解决方案，但供应链的其他回应就没有这样的灵活度，我认为这就是这个市场充满如此流畅的原因——你会看到相关公司股价大幅波动。

除了发电和输出电，还有转换阶段——如何把电力从生成或传输时的形态转换成芯片真正需要的形态，这背后也是一条整条供应链，涉及IGBT、碳化硅、各种类型的MOSFET、氮化镓（GaN）MOSFET等等，还涉及从12伏到54伏、再到800伏伏直流电的转换路径，以及这背后的转换供应链。固态变压器技术的创新演进会带来什么变化？ 不间断电源（UPS）（UPS，Uninterruptible Power）供应）方面还有什么变化？电池备份、超级电容等各种平滑电力波动的技术方案——如何把那样的“脏电”（剧烈性增大的原始电力）转换成相邻芯片所需要的那种“超净化”，但同时用电需求本身也不稳定的电力？如何匹配这中间存在的差异？整个转换过程中的供应链非常令人期待。

我们还专门就 800 伏直流电这个话题写了一篇博客。另外，最近我们也向订阅客户介绍了英伟达在这方面出现的一些延期情况——比如上周 Rubin Ultra 的 Kyber 平台不再支持 800 伏直流方案了。那么这对供应链意味着什么？意味着相关细节会往后推迟一些。

主持人：Dylan，非常感谢今天的分享，从模型、GPU、CPU、内存、网络，一路讲到数据中心和能源，涉及栈的每一层，而且每一层都在时刻变化。这绝对不是第一次，也一定不是最后一次邀请你来。