NVL72 한 랙에 GPU 72개를 우겨넣는 법 — Vera Rubin 랙 스케일 아키텍처

NVIDIA가 Blackwell 후속으로 내놓은 Vera Rubin NVL72는 칩 하나의 스펙표가 아니라 랙 하나를 통째로 재설계한 결과물이다. TSMC 3nm 공정의 Rubin GPU(336B 트랜지스터, HBM4, NVLink 6)를 72개, Vera CPU를 36개 묶어 하나의 랙으로 만들었고, 여기에 부품 약 130만 개, 45°C 액체냉각, 케이블-프리 배선까지 붙었다. 랙 단위로 봤을 때 이 시스템이 어떻게 조립되고, 얼마나 냉각·전력을 소모하며, Blackwell 대비 얼마나 차이가 나는지를 정리한다.

랙 안에 무엇이 들어가는가

NVL72 랙 하나는 72개 Rubin GPU, 36개 Vera CPU, ConnectX-9 SuperNIC, BlueField-4 DPU, 그리고 NVLink 6 Switch·Spectrum-6 이더넷 스위치까지 6종의 칩으로 구성된다. 부품 총수는 약 130만 개에 달한다. 이만한 밀도를 감당하려고 45°C 직접 칩 액체냉각과 액체 냉각 버스바를 채택했고, GPU당 400J 에너지 저장장치(이전 세대 대비 6배)로 전력 피크를 흡수한다. 조립은 3세대 MGX의 케이블-프리 모듈러 트레이 설계로 이뤄지는데, 이 덕분에 Blackwell 대비 조립·서비스 속도가 18배 빨라졌다.

칩 하나하나의 스펙도 랙 성능을 이해하려면 짚고 넘어가야 한다. Rubin GPU(VR200)는 TSMC N3(3nm) 공정에 336B 트랜지스터, 224개 SM, 5세대 텐서 코어를 얹었고 NVFP4 추론 50PFLOPS·학습 35PFLOPS를 낸다. Blackwell(B200)의 208B 트랜지스터·128 SM·10PFLOPS와 비교하면 각각 1.6배, 1.75배, 5배(추론 기준) 차이다.

항목	Rubin (VR200)	Blackwell (B200)	배수
트랜지스터	336B(3,360억)	208B	1.6배
제조 공정	TSMC N3(3nm)	TSMC 4NP	풀 노드 쉬링크
다이 구성	듀얼 Reticle-sized 다이	듀얼 다이	동일
SM 수	224	128	1.75배
텐서 코어	5세대	4세대	세대 업
NVFP4 추론	50 PFLOPS	10 PFLOPS	5배
NVFP4 학습	35 PFLOPS	10 PFLOPS	3.5배
FP64 벡터	33 TFLOPS	-	-
FP64 매트릭스	200 TFLOPS	-	-

메모리는 HBM4로 GPU당 최대 288GB, 대역폭 22TB/s(Blackwell의 HBM3E 8TB/s 대비 2.8배)다. NVLink 6는 GPU당 3.6TB/s 양방향 대역폭(이전 세대 대비 2배)을 내고, SHARP 인네트워크 컴퓨트가 all-reduce 통신 트래픽을 최대 50%, 텐서 병렬 실행 시간을 최대 20% 줄인다.

CPU도 랙 안에서 함께 일한다

Vera CPU는 NVIDIA가 자체 설계한 88개 Olympus 코어(ARM v9.2 호환)로 구성되며, 176 스레드(Spatial Multi-Threading), 227B 트랜지스터 규모다. 시스템 메모리는 최대 1.5TB LPDDR5X, 대역폭 1.2TB/s이고, 캐시는 코어당 2MB L2에 통합 162MB L3를 갖춘다. GPU와는 NVLink-C2C로 1.8TB/s 양방향 코히어런트 메모리를 연결하는데, Grace CPU 세대 대비 메모리 대역폭 2.4배·메모리 용량 3배 증가한 수치다.

⤢✕

CPU와 GPU가 코히어런트 메모리로 묶여 있다는 것은, 랙 단위로 스케일링할 때 이 Superchip 하나가 최소 단위 벽돌이 된다는 뜻이다.

랙을 랙답게 만드는 네트워킹

랙 성능은 결국 72개 GPU와 36개 CPU를 얼마나 빠르게 연결하느냐에 달려 있다.

항목	수치
NVFP4 추론	3.6 EFLOPS
NVFP4 학습	2.5 EFLOPS
HBM4 메모리	20.7TB
메모리 대역폭	1.6 PB/s
스케일업 대역폭	260 TB/s

ConnectX-9 SuperNIC은 포트당 800Gb/s, Rubin GPU 한 개당 1.6Tb/s 네트워크 대역폭을 낸다. BlueField-4 DPU는 64코어 Grace CPU(Arm Neoverse V2)를 얹고 800Gb/s 연결, 128GB 메모리, 20M IOPs NVMe를 처리한다. Spectrum-6 이더넷 스위치는 512×200Gb/s 포트에 Co-Packaged Optics를 적용해 총 102.4Tb/s 대역폭을 내며, Spectrum-X 기술은 가변 all-to-all 작업 완료 시간을 표준 이더넷 대비 3배 개선한다.

Blackwell 랙과 나란히 놓으면

⤢✕

항목	Rubin vs Blackwell
추론 성능	5배
학습 성능	3.5배
메모리 대역폭	2.8배
NVLink 대역폭	2배
트랜지스터 수	1.6배
추론 토큰 비용	1/10(10배 절감)
MoE 모델 학습 GPU 수	1/4(4배 절감)
팩토리 처리량/와트	~10배 향상

칩 단위 성능 차이(1.6배~5배)보다 랙 단위 비용 지표(토큰 비용 1/10, GPU 수 1/4)가 더 크게 벌어진다는 점이 눈에 띈다. 랙 전체를 코디자인했을 때 얻는 이득이 개별 칩 스펙보다 크다는 뜻이다.

추론만 따로 떼어낸 랙, NVL144 CPX

GTC 2026에서는 대규모 컨텍스트 추론 전용 GPU인 Rubin CPX도 함께 공개됐다. NVFP4 기준 30PFLOPS 컴퓨트에 HBM이 아닌 128GB GDDR7 메모리를 얹었고, 비디오 디코더·인코더를 통합해 수백만 토큰 단위 장문 컨텍스트를 처리한다. Vera Rubin NVL144 CPX 랙은 노드당 Rubin SXM(288GB) 4개와 Rubin CPX 8개, 총 12개 GPU로 구성되며, 랙 전체로는 8EFLOPS·100TB 패스트 메모리를 내 GB300 NVL72 대비 7.5배 AI 성능을 낸다. 투자 대비 수익으로는 1억 달러 투자당 50억 달러 토큰 수익이 가능하다는 계산이고, 가용 시기는 2026년 말이다.

로드맵과 배포 일정

세대	시기	GPU	주요 특징
Hopper	2022	H100/H200	HBM3/3E, 초기 대규모 LLM 학습
Blackwell	2024	B200/B300	듀얼 다이, HBM3E, NVL72
Blackwell Ultra	2025 H2	B300	1.5x Blackwell FP4, 288GB HBM3E
Rubin	2026 H2	VR200	3nm, HBM4, NVLink 6, 50 PFLOPS
Rubin Ultra	2027 H2	VR300	4개 GPU 칩렛, 100 PFLOPS, 1TB HBM4E, NVL576
Feynman	2028	-	3D 스태킹, 커스텀 HBM, NVLink 8, BlueField-5

NVIDIA는 매년 새 아키텍처를 내놓는 1년 주기 로드맵을 이어가고 있으며, Rubin Ultra(2027)에서는 NVL576으로 스케일업 규모가 8배 확대된다. Vera Rubin Superchip은 2025년 3월 GTC에서 처음 공개됐고, 2026년 1월 CES에서 NVL72 랙 상세 스펙과 풀 프로덕션 진입이 발표됐으며, 2026년 3월 GTC에서 Rubin CPX와 NVL144 CPX가 추가로 공개됐다. 양산은 2026년 1분기 풀 프로덕션 시작(초기 가이던스보다 앞당겨진 일정)으로 이어졌고, 파트너 제품 가용은 2026년 하반기로 예정돼 있다. 생태계는 클라우드(AWS, Google Cloud, Microsoft Azure, Oracle Cloud), CSP(CoreWeave, Lambda, Nebius, Nscale), 하드웨어(Cisco, Dell, HPE, Lenovo, Supermicro)로 구성되며, 생산 예상 물량은 2026년 20만~30만 유닛으로 TSMC 패키징과 HBM4 공급이 제약 변수다.

데이터센터 쪽에서 바뀌어야 하는 것들

랙 단위 도약은 곧 데이터센터 운영 방식의 변화를 요구한다. 토큰당 비용이 1/10로 줄면서 대규모 추론 서비스의 경제성이 크게 개선되고, Agentic AI·AI Reasoning 워크로드에 특히 유리해진다. MoE 모델 학습에 필요한 GPU 수가 1/4로 줄어드는 것은 곧 데이터센터 구축 비용 절감으로 직결된다. 전력 쪽에서는 기가와트급 AI 팩토리를 지탱하기 위한 Intelligent Power Smoothing이 핵심이고, ICMS(Inference Context Memory Storage)는 토큰/초 최대 5배, 전력 효율 5배 향상을 낸다. 3세대 MGX의 모듈러 설계는 기존 인프라에서도 세대 간 업그레이드를 쉽게 만들고, 케이블-프리 트레이 설계는 조립 시간을 18배 단축한다.

72개 GPU와 36개 CPU를 하나의 랙으로 묶어낸 NVL72는 3nm 공정, HBM4, NVLink 6를 랙 스케일로 통합한 결과물이며, Blackwell 대비 추론 5배·토큰 비용 10배 절감이라는 도약을 만들어낸다. 2026년 하반기 본격 배포를 앞두고 클라우드·엔터프라이즈 AI 인프라의 냉각·전력·조립 방식이 함께 바뀌는 중이고, 2027년 NVL576 규모의 Rubin Ultra와 2028년 Feynman으로 이어지는 로드맵은 랙 스케일 경쟁이 당분간 멈추지 않을 것임을 보여준다.