Tutti i sistemi · Tracked

Il DGX GB200 NVL72 è il rack di calcolo AI di punta di NVIDIA. Contiene 72 GPU Blackwell e 36 CPU Grace in un singolo rack raffreddato a liquido, collegati tramite NVLink 5.0. Offre fino a 720 PFLOPS di calcolo FP8 e richiede oltre 120 kW di potenza. È il sistema che addestra i più grandi modelli AI di Microsoft, Oracle, CoreWeave e xAI.

Il costo totale di proprietà per PFLOPS all'anno riporta il costo dei diversi sistemi AI a una metrica confrontabile. Include il costo dell'hardware (ammortizzato su 3 anni) più i costi energetici (a una tariffa media da datacenter di $0,05/kWh), divisi per la capacità di calcolo FP8 del sistema in PFLOPS. Più basso è meglio. È la metrica che gli operatori di datacenter ottimizzano quando scelgono tra NVIDIA, AMD, Google TPU o silicio personalizzato.

I chip AI moderni consumano 700-1200 W ciascuno. Un rack NVL72 con 72 GPU da 1000 W genera 72 kW di calore solo dalle GPU. Il raffreddamento ad aria non riesce a smaltire in modo efficiente tanto calore. Il raffreddamento a liquido (direct-to-chip o a immersione) è da 10 a 100 volte più efficace nel trasferimento di calore, e consente una maggiore densità di GPU per rack, un PUE più basso (1,1 contro 1,3-1,5 dell'aria) e prestazioni più alte dei chip grazie a una migliore gestione termica.

I pod Google TPU e i rack NVIDIA DGX hanno architetture fondamentalmente diverse. Un pod TPU v5p può contenere 8.960 chip in un unico dominio interconnesso tramite fabric ICI. L'NVL72 di NVIDIA è un sistema su scala di rack da 72 GPU. I pod TPU offrono un parallelismo enorme per le architetture di modelli di Google, ma sono disponibili solo su Google Cloud. I sistemi DGX sono disponibili presso vari OEM per l'installazione on-premise.

Il Cerebras CS-3 usa un singolo chip WSE-3, il più grande mai realizzato, che occupa un intero wafer di silicio da 300 mm. Invece di usare stack HBM, dispone di 44 GB di SRAM on-chip per un accesso alla memoria a latenza zero. Questo elimina il collo di bottiglia della banda di memoria che limita i sistemi GPU convenzionali. Il compromesso è un costo più alto per sistema e un modello di programmazione diverso.

Google (TPU), AWS (Trainium), Microsoft (Maia) e Meta (MTIA) stanno tutti realizzando chip AI personalizzati per ridurre la dipendenza da NVIDIA, ottimizzare per i propri carichi di lavoro e abbassare i costi su larga scala. Ai volumi degli hyperscaler (centinaia di migliaia di chip), anche un guadagno di efficienza del 10-20% rispetto a NVIDIA si traduce in miliardi di risparmi. Il silicio personalizzato offre inoltre una diversificazione della catena di fornitura.