Cada sistema · Tracked

El DGX GB200 NVL72 es el rack de cómputo de IA insignia de NVIDIA. Contiene 72 GPU Blackwell y 36 CPU Grace en un solo rack refrigerado por líquido, conectados mediante NVLink 5.0. Ofrece hasta 720 PFLOPS de cómputo FP8 y requiere más de 120 kW de potencia. Es el sistema que entrena los modelos de IA más grandes en Microsoft, Oracle, CoreWeave y xAI.

El costo total de propiedad por PFLOPS al año normaliza el costo de distintos sistemas de IA en una métrica comparable. Incluye el costo del hardware (amortizado en 3 años) más el costo de energía (a una tarifa media de centro de datos de $0.05/kWh), dividido por la capacidad de cómputo FP8 del sistema en PFLOPS. Cuanto menor, mejor. Es la métrica que optimizan los operadores de centros de datos al elegir entre NVIDIA, AMD, Google TPU o silicio personalizado.

Los chips de IA modernos consumen entre 700 y 1200 W cada uno. Un rack NVL72 con 72 GPU de 1000 W genera 72 kW de calor solo por las GPU. La refrigeración por aire no puede disipar tanto calor de forma eficiente. La refrigeración líquida (directa al chip o por inmersión) es entre 10 y 100 veces más eficaz en la transferencia de calor, lo que permite mayor densidad de GPU por rack, un PUE menor (1.1 frente a 1.3-1.5 con aire) y mayor rendimiento del chip gracias a una mejor gestión térmica.

Los pods TPU de Google y los racks NVIDIA DGX son arquitecturas fundamentalmente distintas. Un pod TPU v5p puede contener 8,960 chips en un único dominio interconectado mediante la red ICI. El NVL72 de NVIDIA es un sistema a escala de rack con 72 GPU. Los pods TPU ofrecen un paralelismo enorme para las arquitecturas de modelos de Google, pero solo están disponibles en Google Cloud. Los sistemas DGX están disponibles con varios OEM para despliegue local.

El Cerebras CS-3 usa un único chip WSE-3, el más grande jamás fabricado, que ocupa una oblea de silicio completa de 300 mm. En lugar de pilas HBM, cuenta con 44 GB de SRAM en el chip para un acceso a memoria sin latencia. Esto elimina el cuello de botella de ancho de banda de memoria que limita a los sistemas con GPU convencionales. La contrapartida es un mayor costo por sistema y un modelo de programación distinto.

Google (TPU), AWS (Trainium), Microsoft (Maia) y Meta (MTIA) desarrollan chips de IA propios para reducir su dependencia de NVIDIA, optimizar para sus cargas de trabajo específicas y bajar costos a escala. Con volúmenes de hiperescaladores (cientos de miles de chips), incluso una mejora de eficiencia del 10-20% frente a NVIDIA se traduce en miles de millones de ahorro. El silicio personalizado también diversifica la cadena de suministro.