谷歌自研芯片TPU正加速走出内部围墙，向外部客户开放。

半导体研究机构SemiAnalysis发布首份针对TPUv7 Ironwood的第三方推理测试结果，显示在同等条件对比下，Ironwood在每美元性能指标上最高领先英伟达B200和B300达50%，标志着谷歌在AI推理芯片市场的竞争格局中正式发起冲击。

SemiAnalysis的测试数据显示，在每用户每秒100个token的交互速度下，Ironwood每百万token推理成本约为0.181美元，低于B200的0.222美元和B300的0.276美元，分别便宜约19%和34%。

在更高并发场景下，若采用谷歌内部总拥有成本（TCO）计算，Ironwood相对B200的每美元性能优势可扩大至76.7%，相对B300则达130.2%。与此同时，谷歌正全力推进名为TorchTPU的新一代原生PyTorch后端，预计于10月开源，以取代此前存在诸多局限的TorchAX方案，进一步降低外部开发者使用TPU的门槛。

这一进展对英伟达的市场地位构成直接挑战。Anthropic已承诺采购逾百万颗TPU，成为谷歌TPU最大外部用户，预计到2029年其TPU使用量将超过DeepMind自身。SemiAnalysis认为，随着分离式预填充/解码（PD Disaggregation）、投机解码等关键优化陆续落地，TPUv7的竞争力将进一步提升，并有望在全性能曲线上与英伟达GB200/GB300 NVL72形成正面竞争。

每美元性能：Ironwood在多数场景领先Blackwell

SemiAnalysis的测试以Qwen3.5 397B FP8模型为基准，在聚合服务（Aggregated Serving）模式下对TPUv7 Ironwood与英伟达B200、B300进行了逐项对比。

在低并发、高交互性场景下，Ironwood的成本优势最为突出。在每秒20个token/用户的交互速度下，Ironwood每芯片总吞吐量达9,364 token/秒，高于B200的8,903和B300的8,925，吞吐量领先约5%。结合更低的每小时芯片成本，Ironwood每美元可产出的token数量比B200高出50.4%，比B300高出96.0%。

在端到端延迟维度，Ironwood同样保持竞争力。在20秒中位响应时间下，Ironwood每百万token成本约为0.098美元，低于B200的0.106美元和B300的0.132美元，分别便宜约8%和25%。

不过，测试结果并非全面领先。在约30秒中位响应时间附近的局部区间，B200在每美元性能上仍可超越Ironwood。此外，当英伟达GPU采用FP4精度时，由于Ironwood尚不支持原生FP4计算，英伟达在该精度下仍保持优势——这一差距预计将在下一代TPUv8i中弥补，后者将具备原生FP4加速能力。

在"非同等对比"场景下，即GB300 NVL72采用分离式服务、TPUv7仍使用聚合服务时，GB300在中等端到端延迟区间具备约30%的每美元性能优势。SemiAnalysis认为，一旦TPUv7的分离式服务优化完成，这一差距将消除。

TorchTPU：构建原生PyTorch生态，取代TorchAX

谷歌TPU外部化的核心瓶颈长期在于软件栈。此前，外部开发者需通过TorchAX将PyTorch模型转译为JAX执行，这一路径在低级优化、分页注意力机制以及与vLLM工作模型的适配上存在诸多问题。

新一代TorchTPU方案通过PyTorch的PrivateUse1后端扩展点，将TPU直接暴露为原生PyTorch设备（device="tpu"），开发者可使用.to("tpu")调用，并保留熟悉的分布式接口（包括DDP、FSDP2、DTensor等）。编译路径上，TorchDynamo和AOTAutograd生成FX计算图，TorchTPU将其降低为StableHLO，再由XLA生成TPU可执行代码，底层Pallas内核仍负责性能关键操作。

这一架构变化的实际意义在于：vLLM和SGLang可以复用更多上游模型代码、调度器和API逻辑，而无需跨越PyTorch到JAX的框架边界重新构建。SemiAnalysis指出，Inferact、RadixArk和Red Hat均在与谷歌合作，推动TorchTPU成为vLLM和SGLang的一级支持后端。

目前，TorchTPU仍处于私有测试阶段，预计于10月PyTorch大会期间开源。谷歌计划在Qwen3.5 397B完成初步适配后，进一步支持Kimi K3、GLM5.3以及谷歌自有开源模型Gemma4。SemiAnalysis预计，一旦少数模型完成优化，新增模型支持的边际成本将大幅下降，TPU有望进入vLLM和SGLang的"Day 0"支持名单。

内核优化：数百工时换来的吞吐量提升

为支撑上述性能数据，谷歌工程团队对TPU推理内核进行了大量针对性优化，涵盖注意力机制、MoE路由、混合模型状态管理等多个层面。

在注意力并行方面，针对Qwen3.5的GQA层（32个查询头、仅2个KV头）的不均匀分布问题，TPU后端新增了8路注意力数据并行（DP8）与8路专家并行（EP8）的组合支持，避免了不必要的All-to-All通信开销。

在通信优化方面，谷歌将专家ID和路由权重合并为单次All-Gather操作，在DeepSeek-V3测试中每层节省约80微秒；跨58层累计可节省约4.64毫秒每次前向传播。此外，ReduceScatter集合操作被迁移至SparseCore执行，并结合双缓冲技术实现计算与通信的流水线重叠，在8k1k工作负载下，并发64至512的吞吐量提升幅度为4.1%至14.2%。

在MoE路由内核方面，通过将token的不规则重排移至SparseCore处理、对专家权重实施三重缓冲、以及针对小批量场景引入独立排列路径，8k1k服务吞吐量在并发64时提升7.3%，在并发128时提升5.1%。

在混合模型状态管理方面，将循环状态（Recurrent State）存储精度从FP32降至BF16，在保持VMEM内FP32算术精度的同时，将HBM占用减半，1k8k吞吐量在并发512时提升15%。通过优化KV缓存页面布局（序列维度置于128-lane轴），可用KV页面数量从5,141增至10,283，在并发128的8k1k测试中吞吐量提升16.5%，中位TTFT下降95%。

Ironwood硬件架构：协同设计驱动成本优势

SemiAnalysis认为，谷歌在推理成本上的优势根源在于芯片、互联网络与编译器的协同设计，而非单纯的单芯片算力堆叠。

TPUv7 Ironwood打破了TPU v4和v5p时代的"MegaCore"设计惯例，改为在单颗芯片上集成两个独立计算裸片，通过高带宽裸片间链路连接，JAX等框架将其暴露为两个独立逻辑设备。每颗芯片配备2个TensorCore和4个第三代SparseCore，HBM容量约为上一代Trillium的6倍，并首次引入原生FP8硬件支持。

矩阵乘法单元（MXU）方面，Ironwood采用256×256的脉动阵列，每周期可执行65,536次乘加运算，是此前128×128设计的4倍。但这也带来了对模型形状的严格要求：矩阵维度需填充至256的倍数，否则将造成MXU利用率损失。以Llama 3 8B为例，其注意力头维度为128，在Ironwood上两个注意力矩阵乘法的MXU利用率上限仅为50%。

在芯片互联方面，Ironwood延续了3D环形拓扑（3D Torus），基本构建单元为64颗芯片组成的4×4×4立方体，通过光学电路交换机（OCS）可扩展至9,216颗芯片的超级Pod，总算力达42.5 FP8 exaflops。ICI网络绕过主机CPU，支持芯片间直接交换激活值和梯度，在整个Pod范围内提供接近NVLink级别的带宽。

前瞻：TPUv8i与软件路线图

谷歌新发布的第八代TPU首次将训练与推理拆分为两款独立芯片：TPU 8t面向训练，TPU 8i面向推理。

TPUv8i（代号Boardfly）以高基数交换机构成的扁平化层次网络取代3D环形拓扑，在1,024至1,152颗芯片规模下，网络直径从约16跳降至约7跳，降幅超过50%，有助于降低MoE路由和多轮智能体工作负载中的尾延迟。TPUv8i还配备19.2 Tb/s的ICI带宽（较上一代翻倍）和384 MB片上SRAM（较上一代增加3倍），专为在片上缓存推理和智能体模型的KV缓存而设计。此外，TPUv8i将支持原生FP4计算，SemiAnalysis认为其有望与英伟达Rubin NVL72形成正面竞争。

在软件路线图方面，谷歌当前优先推进的外部化工作包括：投机解码（Speculative Decoding/MTP）优化、预填充-解码分离式服务（PD Disaggregation）、KV缓存DRAM卸载，以及对多轮智能体工作负载（AgentX）的支持。谷歌已开源TPU-Sync（原TPU-raiden）KV缓存传输库，并计划支持业界标准的Mooncake Store卸载方案。

SemiAnalysis总结认为，与AMD相比，谷歌拥有数十年软件工程积累和成熟的质量驱动文化，预计外部TPU软件栈的成熟速度将显著快于竞争对手。"罗马不是一天建成的，但TPU外部化正在以极快的速度推进。"