What is a DGX GB200 NVL72?

The DGX GB200 NVL72 is NVIDIA's rack-scale AI system: 72 Blackwell GPUs and 36 Grace CPUs in one liquid-cooled rack, linked by NVLink. The dataset lists 720 PFLOPS of FP8 compute and 120 kW of rack power. Known deployments include Microsoft Azure, Oracle Cloud, CoreWeave and xAI.

What does TCO per PFLOPS mean?

Total cost of ownership per PFLOPS per year puts different AI systems on one scale. BenchGecko adds the hardware cost amortized over 3 years to the power cost at $0.05/kWh, then divides by the system's FP8 compute in PFLOPS. Lower is better.

Why do some systems require liquid cooling?

Current AI accelerators draw up to 1,200 W each in the dataset, and the DGX GB300 NVL72 rack draws 140 kW. Air cooling cannot remove that much heat efficiently. Liquid cooling (direct-to-chip or immersion) allows denser racks and a lower PUE: 6 of the 10 tracked systems are liquid cooled.

How does a TPU pod compare to an NVIDIA DGX rack?

They are different architectures. The TPU v5p Pod links 8,960 TPU chips in one domain over Google's ICI fabric, while NVIDIA's NVL72 is a 72-GPU rack. TPU pods are only available on Google Cloud; DGX systems are sold by many OEMs for on-premise deployment.

What is the Cerebras CS-3 and why is it different?

The Cerebras CS-3 is built around a single wafer-scale chip, the WSE-3, which uses a whole silicon wafer. Instead of HBM stacks it has 44 GB of on-chip SRAM, which removes the memory bandwidth bottleneck of conventional GPU systems. The tradeoff is a higher per-system cost and a different programming model.

Why are hyperscalers building custom silicon?

Google (TPU), AWS (Trainium), Microsoft (Maia) and Meta (MTIA) build their own AI chips to reduce dependence on NVIDIA, tune for their own workloads and lower cost at scale. Custom silicon also diversifies supply. Systems data as of Apr 14, 2026.

算力 · 系统机架级 AI 基础设施 · Data as of 2026年4月14日 · curated dataset

每套系统 · Tracked

来自每家制造商的每套机架级 AI 系统。GPU 数量、FP8 PFLOPS、功耗、散热类型、每 PFLOPS TCO 和已知数据中心部署 · 来源于规格表、财报电话和已披露的基础设施建设。

TCO 追踪散热分析部署映射每 kW PFLOPS

TCO 指数

每 PFLOPS 每年最优 TCO

$973

DGX GB300 NVL72

越低越好。硬件按 3 年摊销 + 电力按 $0.05/kWh 计算。所有系统平均值:$9,046/PFLOPS/年。

TCO 排名 · $/PFLOPS/年

1.DGX GB300 NVL72
$973
2.DGX GB200 NVL72
$1,469
3.DGX B200
$1,768
4.MI325X Platform
$2,063
5.HGX H100
$3,306
6.TPU v6e Pod
$14,734

关键洞察

DGX GB300 NVL72 的 TCO 最低,为 $973/PFLOPS/年
液冷系统的平均 TCO 比风冷低 6%
上榜的 8 个系统中有 4 个基于 NVIDIA

完整算力中心

数据截至 April 14, 2026 · 保留每次变更

系统

9,433

总 GPU

制造商

914 TB

总 HBM

8100

最大 PFLOPS

液冷

已出货

4.81

平均 PFLOPS/kW

系统表格

10 个系统 · 按 FP8 PFLOPS 排序 · 所有厂商

系统	类别	GPU	FP8 PFLOPS	功耗 (kW)	散热	价格	TCO/PFLOPS/年
TPU v5p Pod Google	Pod / 集群	8,960	8,100	2,500	液冷	$12000K/mo	$17,926
DGX GB300 NVL72 NVIDIA	整机柜	72	1,440	140	液冷	$4.0M	$973
DGX GB200 NVL72 NVIDIA	整机柜	72	720	120	液冷	$3.0M	$1,469
TPU v6e Pod Google	Pod / 集群	256	230	60	液冷	$280K/mo	$14,734
Maia 100 Rack Microsoft	整机柜	32	96	40	液冷	暂无	暂无
DGX B200 NVIDIA	服务器节点	8	80	14.3	风冷	$0.4M	$1,768
MI325X Platform AMD	服务器节点	8	48	10	风冷	$0.3M	$2,063
Trn2 UltraServer AWS	服务器节点	16	48	12	风冷	$120K/mo	$30,131
HGX H100 NVIDIA	服务器节点	8	32	10.2	风冷	$0.3M	$3,306
CS-3 Cerebras	一体机	1	暂无	23	液冷	$3.5M	暂无

TCO 对比

$/PFLOPS/年 · 硬件 3 年摊销 + 电力 $0.05/kWh · 越低越好

72 块 GPU$973

72 块 GPU$1,469

8 块 GPU$1,768

8 块 GPU$2,063

8 块 GPU$3,306

256 块 GPU$14,734

8960 块 GPU$17,926

16 块 GPU$30,131

所有排名系统的平均 TCO

$9,046/PFLOPS/yr

散热分类

液冷 vs 风冷 · 功耗数据 · 效率对比

液冷6 个系统

平均功耗

481 kW

平均 PFLOPS/kW

5.15

TPU v5p Pod2500 kW

DGX GB300 NVL72140 kW

DGX GB200 NVL72120 kW

TPU v6e Pod60 kW

Maia 100 Rack40 kW

CS-323 kW

风冷4 个系统

平均功耗

12 kW

平均 PFLOPS/kW

4.38

DGX B20014.3 kW

MI325X Platform10 kW

Trn2 UltraServer12 kW

HGX H10010.2 kW

为何散热对 TCO 至关重要

液冷 PUE 为 1.05 到 1.15，风冷为 1.3 到 1.5。在数据中心规模下，这意味着电力成本降低 15% 到 30%。液冷系统还允许每机架更高的 GPU 密度，减少互连延迟和物理占地面积。每套主要新 AI 机架（DGX GB200、MI350X 集群）默认液冷出厂。

已知部署

19 个已披露部署 · 谁在建设什么

运营商	系统	数量	来源
Google DeepMind	TPU v5p Pod	Gemini training	Google research blog
Anthropic	TPU v5p Pod	Claude training (GCP)	Anthropic partnership announcement
Microsoft Azure	DGX GB200 NVL72	tens of thousands of GPUs	Microsoft Build 2025
OC Oracle Cloud	DGX GB200 NVL72	65,000 B200 GPUs	Oracle Q4 2025 earnings
CoreWeave	DGX GB200 NVL72	large-scale deployment	CoreWeave IPO S-1
xAI	DGX GB200 NVL72	Colossus cluster expansion	xAI Memphis datacenter
Google DeepMind	TPU v6e Pod	Gemini 2.5 training	Google I/O 2025
Google Cloud	TPU v6e Pod	Public cloud availability	Google Cloud blog
Microsoft Azure	Maia 100 Rack	Internal deployment	Microsoft Ignite 2024
Enterprise customers	DGX B200	broad availability	NVIDIA Q1 2026 earnings
Microsoft Azure	MI325X Platform	ND MI300X v5 instances	Azure blog
Meta	MI325X Platform	inference fleet diversification	Meta earnings call
Amazon AGI	Trn2 UltraServer	Nova model training	AWS re:Invent 2025
Anthropic	Trn2 UltraServer	Claude training (AWS)	Anthropic AWS partnership
Meta	HGX H100	600,000+ H100 GPUs	Meta Q4 2025 earnings
Microsoft Azure	HGX H100	hundreds of thousands	Microsoft FY2025 10-K
Google Cloud	HGX H100	A3 instances	Google Cloud blog
Cerebras Inference	CS-3	Inference cloud	Cerebras blog
Mayo Clinic	CS-3	Medical AI research	Cerebras press release

所有系统

10 个系统 · 6 家厂商

TPU v5p Pod已出货

Google's high-performance TPU pod for large-scale training. 8,960 TPU v5p chips in a single pod connected via ICI 3.0 fabric. Powers Gemini ...

Pod / 集群液冷Google TPU v5p

Next-gen liquid-cooled rack with Blackwell Ultra GPUs. 72x B300 GPUs with 288 GB HBM3e per GPU (vs 192 GB on B200). Designed for reasoning-h...

HBM:20.7 TB·NVLink 5.0+

标价 $4.0M · $973/PFLOPS/yr

DGX GB200 NVL72已出货

NVIDIA's flagship liquid-cooled rack. 72 Blackwell GPUs + 36 Grace CPUs connected via NVLink 5.0 in a single 72-GPU domain. Designed for tri...

HBM:13.8 TB·NVLink 5.0

标价 $3.0M · $1,469/PFLOPS/yr

Google's latest custom AI accelerator in pod configuration. 256 TPU v6e chips connected via custom ICI (Inter-Chip Interconnect). Optimized ...

Pod / 集群液冷Google TPU v6e

Microsoft's first custom AI silicon at rack scale. Maia 100 chips fabricated at TSMC on N5 with HBM3e. Designed for Azure AI inference and f...

GPU

FP8 PFLOPS

功耗

整机柜液冷Microsoft Maia 100

HBM:6.1 TB·Custom Ethernet fabric

已部署

Microsoft Azure

DGX B200已出货

8-GPU Blackwell node for enterprises that don't need the full NVL72 rack. Air-cooled with NVLink 4.0 interconnect. The workhorse for inferen...

HBM:1.5 TB·NVLink 4.0

标价 $0.4M · $1,768/PFLOPS/yr

已部署

Enterprise customers

MI325X Platform已出货

AMD's latest 8-GPU OAM platform with MI325X accelerators. 256 GB HBM3e per GPU for the largest memory footprint in its class. Infinity Fabri...

HBM:2 TB·Infinity Fabric

标价 $0.3M · $2,063/PFLOPS/yr

已部署

Microsoft Azure

常见问题

来自实时数据集 · 每日更新

什么是 DGX GB200 NVL72?

DGX GB200 NVL72 是 NVIDIA 的旗舰 AI 算力机柜。单个液冷机柜内含 72 颗 Blackwell GPU 和 36 颗 Grace CPU,通过 NVLink 5.0 互连。FP8 算力最高可达 720 PFLOPS,功耗需 120 kW 以上。微软、Oracle、CoreWeave 和 xAI 都用它训练最大规模的 AI 模型。

每 PFLOPS 的 TCO 是什么意思?

每 PFLOPS 每年的总拥有成本(TCO)把不同 AI 系统的成本统一为可比较的指标。它包括硬件成本(按 3 年摊销)加上电力成本(按数据中心平均 $0.05/kWh 计算),再除以系统的 FP8 算力(PFLOPS)。数值越低越好。数据中心运营商在 NVIDIA、AMD、Google TPU 或自研芯片之间选择时,会以此为优化指标。

为什么有些系统需要液冷?

现代 AI 芯片单颗功耗为 700-1200W。一个配备 72 颗 GPU、每颗 1000W 的 NVL72 机柜,仅 GPU 就产生 72 kW 热量,风冷无法高效散热。液冷(直接芯片冷却或浸没式)的传热效率高 10-100 倍,可实现更高的单机柜 GPU 密度、更低的 PUE(1.1,而风冷为 1.3-1.5),并因更好的热管理而提升芯片性能。

TPU pod 与 NVIDIA DGX 机柜相比如何?

Google TPU pod 与 NVIDIA DGX 机柜的架构截然不同。一个 TPU v5p pod 可通过 ICI 互连在单一互联域内容纳 8,960 颗芯片。NVIDIA 的 NVL72 则是 72 GPU 的机柜级系统。TPU pod 为 Google 自家模型架构提供大规模并行能力,但只能在 Google Cloud 上使用。DGX 系统可通过多家 OEM 进行本地部署。

Cerebras CS-3 是什么,有何不同?

Cerebras CS-3 采用单颗 WSE-3 芯片,这是迄今最大的芯片,占据整片 300mm 晶圆。它不使用 HBM 堆栈,而是配备 44 GB 片上 SRAM,实现零延迟内存访问,消除了限制传统 GPU 系统的内存带宽瓶颈。代价是单系统成本更高,且编程模型不同。

为什么超大规模云厂商要自研芯片?

Google(TPU)、AWS(Trainium)、微软(Maia)和 Meta(MTIA)都在自研 AI 芯片,以减少对 NVIDIA 的依赖、针对自身工作负载优化,并在大规模下降低成本。在超大规模云厂商的采购量(数十万颗芯片)下,即使比 NVIDIA 效率高 10-20%,也意味着数十亿美元的节省。自研芯片还能实现供应链多元化。