Jedes System · Tracked

Das DGX GB200 NVL72 ist das KI-Compute-Rack der Spitzenklasse von NVIDIA. Es enthält 72 Blackwell-GPUs und 36 Grace-CPUs in einem einzigen flüssigkeitsgekühlten Rack, verbunden über NVLink 5.0. Es liefert bis zu 720 PFLOPS FP8-Rechenleistung und benötigt über 120 kW Leistung. Es ist das System, auf dem die größten KI-Modelle bei Microsoft, Oracle, CoreWeave und xAI trainiert werden.

Die Gesamtbetriebskosten (TCO) pro PFLOPS und Jahr machen die Kosten verschiedener KI-Systeme vergleichbar. Sie umfassen die Hardwarekosten (über 3 Jahre abgeschrieben) plus Stromkosten (bei durchschnittlich 0,05 $/kWh im Rechenzentrum), geteilt durch die FP8-Rechenleistung des Systems in PFLOPS. Niedriger ist besser. Diese Kennzahl optimieren Rechenzentrumsbetreiber bei der Wahl zwischen NVIDIA, AMD, Google TPU oder eigenem Silizium.

Moderne KI-Chips verbrauchen jeweils 700 bis 1200 W. Ein NVL72-Rack mit 72 GPUs zu je 1000 W erzeugt allein durch die GPUs 72 kW Wärme. Luftkühlung kann so viel Wärme nicht effizient abführen. Flüssigkühlung (Direct-to-Chip oder Immersion) überträgt Wärme 10- bis 100-mal effektiver. Das ermöglicht eine höhere GPU-Dichte pro Rack, einen niedrigeren PUE (1,1 gegenüber 1,3 bis 1,5 bei Luft) und eine höhere Chipleistung dank besserem Wärmemanagement.

Google-TPU-Pods und NVIDIA-DGX-Racks sind grundlegend verschiedene Architekturen. Ein TPU-v5p-Pod kann 8.960 Chips in einer einzigen vernetzten Domäne über das ICI-Fabric umfassen. Das NVL72 von NVIDIA ist ein System im Rack-Maßstab mit 72 GPUs. TPU-Pods bieten enorme Parallelität für Googles eigene Modellarchitekturen, sind aber nur in der Google Cloud verfügbar. DGX-Systeme sind von mehreren OEMs für den Betrieb vor Ort erhältlich.

Der Cerebras CS-3 nutzt einen einzigen WSE-3-Chip, den größten je gebauten Chip, der einen kompletten 300-mm-Siliziumwafer einnimmt. Statt HBM-Stacks hat er 44 GB On-Chip-SRAM für Speicherzugriffe ohne Latenz. Das beseitigt den Engpass bei der Speicherbandbreite, der herkömmliche GPU-Systeme begrenzt. Der Kompromiss sind höhere Kosten pro System und ein anderes Programmiermodell.

Google (TPU), AWS (Trainium), Microsoft (Maia) und Meta (MTIA) entwickeln eigene KI-Chips, um die Abhängigkeit von NVIDIA zu verringern, für ihre spezifischen Workloads zu optimieren und die Kosten im großen Maßstab zu senken. Bei Hyperscaler-Stückzahlen (Hunderttausende Chips) bedeuten schon 10 bis 20 % Effizienzgewinn gegenüber NVIDIA Einsparungen in Milliardenhöhe. Eigenes Silizium sorgt zudem für eine breitere Lieferkette.