Cada Sistema · Tracked

O DGX GB200 NVL72 é o rack de computação de IA principal da NVIDIA. Ele reúne 72 GPUs Blackwell e 36 CPUs Grace em um único rack refrigerado a líquido, conectados via NVLink 5.0. Entrega até 720 PFLOPS de computação FP8 e exige mais de 120 kW de energia. É o sistema que treina os maiores modelos de IA na Microsoft, Oracle, CoreWeave e xAI.

O Custo Total de Propriedade por PFLOPS por ano normaliza o custo de diferentes sistemas de IA em uma métrica comparável. Inclui o custo de hardware (amortizado em 3 anos) mais o custo de energia (a uma tarifa média de datacenter de US$ 0,05/kWh), dividido pela capacidade de computação FP8 do sistema em PFLOPS. Quanto menor, melhor. Essa é a métrica que operadores de datacenter otimizam ao escolher entre NVIDIA, AMD, Google TPU ou silício customizado.

Chips de IA modernos consomem de 700 a 1200 W cada. Um rack NVL72 com 72 GPUs de 1000 W gera 72 kW de calor só nas GPUs. A refrigeração a ar não consegue remover tanto calor de forma eficiente. A refrigeração líquida (direct-to-chip ou por imersão) é de 10 a 100 vezes mais eficaz na transferência de calor, permitindo maior densidade de GPUs por rack, PUE menor (1,1 contra 1,3 a 1,5 do ar) e melhor desempenho dos chips graças ao melhor gerenciamento térmico.

Pods TPU do Google e racks NVIDIA DGX têm arquiteturas fundamentalmente diferentes. Um pod TPU v5p pode conter 8.960 chips em um único domínio interconectado via ICI. O NVL72 da NVIDIA é um sistema em escala de rack com 72 GPUs. Os pods TPU oferecem paralelismo massivo para as arquiteturas de modelo do próprio Google, mas só estão disponíveis no Google Cloud. Os sistemas DGX estão disponíveis em vários OEMs para implantação on-premise.

O Cerebras CS-3 usa um único chip WSE-3, o maior já fabricado, ocupando um wafer de silício inteiro de 300 mm. Em vez de pilhas de HBM, ele tem 44 GB de SRAM no chip, com acesso à memória sem latência. Isso elimina o gargalo de largura de banda de memória que limita os sistemas de GPU convencionais. Em contrapartida, o custo por sistema é maior e o modelo de programação é diferente.

Google (TPU), AWS (Trainium), Microsoft (Maia) e Meta (MTIA) estão desenvolvendo chips de IA próprios para reduzir a dependência da NVIDIA, otimizar para suas cargas de trabalho específicas e cortar custos em escala. No volume de um hyperscaler (centenas de milhares de chips), até um ganho de eficiência de 10 a 20% sobre a NVIDIA representa bilhões em economia. O silício customizado também diversifica a cadeia de suprimentos.