모든 시스템 · Tracked
모든 제조사의 모든 랙 규모 AI 시스템. GPU 수, FP8 PFLOPS, 소비 전력, 냉각 방식, PFLOPS당 TCO, 알려진 데이터센터 배치 · 스펙 시트, 어닝 콜, 공개된 인프라 구축에서 수집합니다.
- $973
- $1,469
- $1,768
- $2,063
- $3,306
- $14,734
- DGX GB300 NVL72이(가) $973/PFLOPS/년으로 가장 낮은 TCO를 제공합니다
- 수랭 시스템은 공랭 시스템보다 평균 TCO가 6% 낮습니다
- 순위에 오른 8개 시스템 중 4개가 NVIDIA 기반입니다
시스템 테이블
시스템 10개 · FP8 PFLOPS순 정렬 · 모든 제조사
| 시스템 | GPU | FP8 PFLOPS |
|---|---|---|
TPU v5p Pod Google | 8,960 | 8,100 |
DGX GB300 NVL72 NVIDIA | 72 | 1,440 |
DGX GB200 NVL72 NVIDIA | 72 | 720 |
TPU v6e Pod Google | 256 | 230 |
Maia 100 Rack Microsoft | 32 | 96 |
DGX B200 NVIDIA | 8 | 80 |
MI325X Platform AMD | 8 | 48 |
Trn2 UltraServer AWS | 16 | 48 |
HGX H100 NVIDIA | 8 | 32 |
CS-3 Cerebras | 1 | 해당 없음 |
TCO 비교
$/PFLOPS/년 · 하드웨어 3년 상각 + 전력 $0.05/kWh · 낮을수록 우수
냉각 분석
수냉 vs 공냉 · 전력 통계 · 효율 비교
수냉은 PUE 1.05~1.15를 달성하여 공냉의 1.3~1.5 대비 우수합니다. 데이터센터 규모에서 이는 15~30% 낮은 전력 비용으로 이어집니다. 수냉 시스템은 또한 랙당 더 높은 GPU 밀도를 허용하여 인터커넥트 지연과 물리적 공간을 줄입니다. 모든 주요 신규 AI 랙(DGX GB200, MI350X 클러스터)은 기본적으로 수냉으로 출하됩니다.
알려진 배치
공개된 배포 19건 · 누가 무엇을 구축하는가
| 운영자 | 시스템 |
|---|---|
OC Oracle Cloud | |
모든 시스템
시스템 10개 · 제조사 6곳
Google's high-performance TPU pod for large-scale training. 8,960 TPU v5p chips in a single pod connected via ICI 3.0 fabric. Powers Gemini ...
Next-gen liquid-cooled rack with Blackwell Ultra GPUs. 72x B300 GPUs with 288 GB HBM3e per GPU (vs 192 GB on B200). Designed for reasoning-h...
NVIDIA's flagship liquid-cooled rack. 72 Blackwell GPUs + 36 Grace CPUs connected via NVLink 5.0 in a single 72-GPU domain. Designed for tri...
Google's latest custom AI accelerator in pod configuration. 256 TPU v6e chips connected via custom ICI (Inter-Chip Interconnect). Optimized ...
Microsoft's first custom AI silicon at rack scale. Maia 100 chips fabricated at TSMC on N5 with HBM3e. Designed for Azure AI inference and f...
8-GPU Blackwell node for enterprises that don't need the full NVL72 rack. Air-cooled with NVLink 4.0 interconnect. The workhorse for inferen...
AMD's latest 8-GPU OAM platform with MI325X accelerators. 256 GB HBM3e per GPU for the largest memory footprint in its class. Infinity Fabri...
AWS custom silicon training server. 16x Trainium2 chips in a single UltraServer node connected via NeuronLink. Designed to compete with NVID...
The system that launched the AI infrastructure boom. 8x H100 SXM GPUs connected via NVLink 4.0. Still the most widely deployed AI training s...
Wafer-scale AI compute appliance. A single CS-3 contains one WSE-3 chip (the largest chip ever made, using an entire 300mm wafer). 44 GB of ...
자주 묻는 질문
실시간 데이터셋에서 추출 · 매일 업데이트
DGX GB200 NVL72란 무엇인가요?
DGX GB200 NVL72는 NVIDIA의 플래그십 AI 컴퓨팅 랙입니다. 하나의 수랭식 랙에 Blackwell GPU 72개와 Grace CPU 36개가 들어 있으며 NVLink 5.0으로 연결됩니다. 최대 720 PFLOPS의 FP8 연산 성능을 제공하고 120kW 이상의 전력이 필요합니다. Microsoft, Oracle, CoreWeave, xAI에서 가장 큰 AI 모델을 학습시키는 시스템입니다.
PFLOPS당 TCO는 무슨 의미인가요?
PFLOPS당 연간 총소유비용(TCO)은 서로 다른 AI 시스템의 비용을 비교 가능한 지표로 환산한 값입니다. 하드웨어 비용(3년 상각)과 전력 비용(데이터센터 평균 요금 $0.05/kWh 기준)을 합산해 시스템의 FP8 연산 성능(PFLOPS)으로 나눕니다. 낮을수록 좋습니다. 데이터센터 운영자가 NVIDIA, AMD, Google TPU, 커스텀 실리콘 중에서 선택할 때 최적화하는 지표입니다.
일부 시스템에 수랭이 필요한 이유는 무엇인가요?
최신 AI 칩은 개당 700-1200W를 소비합니다. GPU 72개가 각 1000W를 쓰는 NVL72 랙은 GPU만으로 72kW의 열을 발생시킵니다. 공랭으로는 이만한 열을 효율적으로 제거할 수 없습니다. 수랭(다이렉트 투 칩 또는 침수식)은 열 전달 효율이 10-100배 높아 랙당 GPU 밀도를 높이고, PUE를 낮추며(공랭 1.3-1.5 대비 1.1), 더 나은 열 관리로 칩 성능도 높일 수 있습니다.
TPU 팟은 NVIDIA DGX 랙과 어떻게 다른가요?
Google TPU 팟과 NVIDIA DGX 랙은 근본적으로 다른 아키텍처입니다. TPU v5p 팟은 ICI 패브릭을 통해 하나의 연결된 도메인에 8,960개의 칩을 담을 수 있습니다. NVIDIA의 NVL72는 GPU 72개로 구성된 랙 규모 시스템입니다. TPU 팟은 Google 자체 모델 아키텍처에 대해 대규모 병렬 처리를 제공하지만 Google Cloud에서만 이용할 수 있습니다. DGX 시스템은 여러 OEM을 통해 온프레미스로 구축할 수 있습니다.
Cerebras CS-3는 무엇이며 어떤 점이 다른가요?
Cerebras CS-3는 지금까지 만들어진 가장 큰 칩인 단일 WSE-3 칩을 사용하며, 300mm 실리콘 웨이퍼 전체를 차지합니다. HBM 스택 대신 44GB의 온칩 SRAM을 탑재해 지연 없는 메모리 접근이 가능합니다. 이로써 기존 GPU 시스템을 제한하는 메모리 대역폭 병목이 사라집니다. 대신 시스템당 비용이 더 높고 프로그래밍 모델이 다릅니다.
하이퍼스케일러가 커스텀 실리콘을 만드는 이유는 무엇인가요?
Google(TPU), AWS(Trainium), Microsoft(Maia), Meta(MTIA)는 NVIDIA 의존도를 줄이고, 자사 워크로드에 최적화하며, 대규모 환경에서 비용을 낮추기 위해 커스텀 AI 칩을 개발하고 있습니다. 수십만 개의 칩을 쓰는 하이퍼스케일러 규모에서는 NVIDIA 대비 10-20%의 효율 향상만으로도 수십억 달러를 절감할 수 있습니다. 커스텀 실리콘은 공급망 다변화에도 도움이 됩니다.
관련 항목
Compute 그래프를 계속 탐색하십시오