Chaque système · Tracked

Le DGX GB200 NVL72 est le rack de calcul IA phare de NVIDIA. Il réunit 72 GPU Blackwell et 36 CPU Grace dans un seul rack refroidi par liquide, reliés par NVLink 5.0. Il délivre jusqu'à 720 PFLOPS en FP8 et exige plus de 120 kW de puissance. C'est le système qui entraîne les plus grands modèles d'IA chez Microsoft, Oracle, CoreWeave et xAI.

Le coût total de possession par PFLOPS et par an ramène le coût de différents systèmes d'IA à une métrique comparable. Il inclut le coût du matériel (amorti sur 3 ans) plus le coût énergétique (au tarif moyen de 0,05 $/kWh pour un datacenter), divisés par la puissance de calcul FP8 du système en PFLOPS. Plus c'est bas, mieux c'est. C'est la métrique que les exploitants de datacenters optimisent pour choisir entre NVIDIA, AMD, Google TPU ou du silicium sur mesure.

Les puces IA modernes consomment 700 à 1200 W chacune. Un rack NVL72 avec 72 GPU de 1000 W produit 72 kW de chaleur rien que pour les GPU. Le refroidissement par air ne peut pas évacuer autant de chaleur efficacement. Le refroidissement liquide (direct sur la puce ou par immersion) transfère la chaleur 10 à 100 fois mieux, ce qui permet une plus forte densité de GPU par rack, un PUE plus bas (1,1 contre 1,3 à 1,5 pour l'air) et de meilleures performances grâce à une meilleure gestion thermique.

Les pods Google TPU et les racks NVIDIA DGX reposent sur des architectures fondamentalement différentes. Un pod TPU v5p peut contenir 8 960 puces dans un seul domaine interconnecté via le fabric ICI. Le NVL72 de NVIDIA est un système de 72 GPU à l'échelle du rack. Les pods TPU offrent un parallélisme massif pour les architectures de modèles de Google, mais ne sont disponibles que sur Google Cloud. Les systèmes DGX sont proposés par plusieurs OEM pour un déploiement sur site.

Le Cerebras CS-3 utilise une seule puce WSE-3, la plus grande jamais fabriquée, qui occupe une tranche de silicium entière de 300 mm. Au lieu de piles HBM, elle dispose de 44 Go de SRAM sur puce pour un accès mémoire sans latence. Cela supprime le goulet d'étranglement de bande passante mémoire des systèmes GPU classiques. En contrepartie, le coût par système est plus élevé et le modèle de programmation diffère.

Google (TPU), AWS (Trainium), Microsoft (Maia) et Meta (MTIA) conçoivent tous des puces IA sur mesure pour réduire leur dépendance à NVIDIA, optimiser leurs charges de travail spécifiques et baisser les coûts à grande échelle. Au volume des hyperscalers (des centaines de milliers de puces), un gain d'efficacité de 10 à 20 % face à NVIDIA représente des milliards d'économies. Le silicium sur mesure permet aussi de diversifier la chaîne d'approvisionnement.