NVIDIA Vera Rubin, 에이전틱 AI 팩토리를 위한 통합 인프라

에이전틱 추론을 겨냥한 풀스택 구성

NVIDIA가 GTC 2026에서 발표한 Vera Rubin 플랫폼은 Blackwell 다음 세대의 통합 AI 인프라다. CES 2026에서 윤곽이 공개된 뒤 GTC에서 세부 사양이 제시됐으며, GPU 단품이 아니라 CPU와 네트워크, DPU까지 포함한 AI 팩토리 단위의 설계를 내세운다.

플랫폼의 초점은 수십만 토큰 단위 장문 컨텍스트를 처리하는 에이전틱 AI 워크로드다. GPU 연산 성능만 높이는 대신, KV 캐시를 담는 메모리와 GPU·CPU 간 데이터 이동, 랙 안팎의 통신 경로를 함께 구성한다.

Rubin GPU가 겨냥하는 메모리 병목

Rubin GPU에는 3세대 Transformer Engine이 들어가며, NVFP4 정밀도에서 50 petaFLOPS의 추론 성능을 제공한다. 이는 Blackwell 대비 5배의 추론 성능 향상이다.

메모리 구성은 HBM4 8스택, 288GB 용량, 22TB/s 대역폭이다. 에이전틱 AI는 긴 컨텍스트의 KV 캐시를 GPU 메모리에 유지해야 하므로, 이 용량과 대역폭은 장문 추론에서 발생하는 병목과 직접 연결된다.

비용 측면에서는 Blackwell보다 추론 토큰 비용이 10분의 1로 감소하며, MoE(Mixture of Experts) 모델 훈련에 필요한 GPU 수는 4분의 1로 줄어든다. GPT-4급 또는 그 이상 모델을 운용하는 환경에서는 이 수치가 인프라 비용 구조에 영향을 준다.

Vera CPU가 맡는 오케스트레이션 계층

Vera CPU는 Grace의 후속 프로세서다. 88개의 NVIDIA 자체 설계 Olympus 코어를 탑재하고, ARM 아키텍처 호환성을 유지하면서 NVIDIA의 마이크로아키텍처 최적화를 적용한다. x86 대비 2배의 에너지 효율과 3배의 메모리 대역폭을 실현했다.

LPDDR5X 기반 메모리 서브시스템은 1.2TB/s 대역폭을 제공한다. 이 CPU는 단순한 호스트 역할보다 수천 개 병렬 에이전트 요청의 스케줄링, 작업 사이의 컨텍스트 전환 관리, GPU 워크로드 전후 처리에 초점을 둔다.

NVIDIA Scalable Coherency Fabric은 Vera CPU와 Rubin GPU 사이에 캐시 일관성을 유지하는 통합 메모리 공간을 구성한다. CPU와 GPU가 협업할 때 데이터 복사 오버헤드를 줄일 수 있는 구조다.

랙 내부를 하나의 가속기로 묶는 NVLink 6

NVLink 6는 GPU 사이 통신 대역폭을 3.6TB/s까지 높인다. Vera Rubin NVL72는 72개 Rubin GPU와 36개 Vera CPU로 구성되며, NVSwitch 기반 스케일업 패브릭을 통해 랙 전체에서 260TB/s 집계 대역폭을 확보한다. 이는 전 세계 인터넷 트래픽 총량을 초과하는 수준으로, 72개 GPU가 단일 랙에서 하나의 거대한 가속기처럼 동작하도록 뒷받침한다.

장문 컨텍스트 추론에서는 KV 캐시를 여러 GPU에 나눠 저장하면서 어텐션 연산을 수행해야 한다. 토큰 스트리밍과 KV 캐시 공유가 필요한 워크로드라면 GPU 사이의 초고속 통신이 전제돼야 하며, NVLink 6의 3.6TB/s가 그 설계 기반이 된다.

랙 밖 연결과 보안을 분리하는 ConnectX-9·BlueField-4

NVL72에는 ConnectX-9 SuperNIC과 BlueField-4 DPU도 포함된다. ConnectX-9는 Spectrum-6 Ethernet과 co-packaged optics를 결합해 여러 랙으로 이뤄진 클러스터의 스케일아웃 통신을 담당한다. Co-packaged optics는 전기 신호를 광신호로 바꾸는 과정에서의 에너지 손실과 지연을 최소화해, 대형 AI 클러스터의 서버 간 통신 지연을 줄이는 데 기여한다.

BlueField-4 DPU는 네트워크 보안 정책 집행, 스토리지 입출력 가속, 운영 오버헤드 오프로딩을 GPU와 CPU에서 분리한다. 다수 테넌트가 공용 인프라를 쓰는 AI 팩토리에서는 격리와 보안 기능이 필수 구성 요소가 된다.

NVL72 안에서 나뉘는 처리 경로

⤢✕

GPU는 Transformer 추론과 훈련을, Vera CPU는 에이전트 요청의 오케스트레이션과 전처리를, BlueField-4 DPU는 네트워크·스토리지 운영 및 보안 격리를 맡는다. NVLink 6와 NVSwitch는 랙 내부를 연결하고, ConnectX-9는 랙 단위를 클러스터로 확장한다.

지표	Blackwell 대비
추론 토큰 비용	10분의 1 감소
추론 성능	5배 향상
MoE 훈련 GPU 수	4분의 1로 감소
GPU 메모리 대역폭	HBM4 22TB/s (HBM3e 대비 대폭 향상)
GPU 간 통신	NVLink 6 3.6TB/s
랙 집계 대역폭	260TB/s (NVL72 기준)

Vera Rubin은 2026년 하반기 출하 예정이며, 총 7개 칩, 5개 랙스케일 시스템, 1개 슈퍼컴퓨터 구성으로 제공된다. 기업은 AI 팩토리에 필요한 전 계층 구성 요소를 단일 플랫폼에서 선택할 수 있다.

인프라 설계에서 달라지는 판단 기준

Vera Rubin으로 전환할 때는 CPU를 GPU의 보조 장치로만 볼 수 없다. Vera CPU가 에이전틱 워크로드의 오케스트레이션을 맡으므로, GPU 용량과 함께 CPU의 에너지 효율과 메모리 대역폭도 시스템 처리량의 병목이 된다.

스케일업과 스케일아웃 패브릭도 별도로 판단해야 한다. NVL72 내부의 NVLink 6는 장문 컨텍스트와 대규모 배치 추론을 위한 통신을 맡고, ConnectX-9 기반 스케일아웃은 여러 NVL72 랙의 병렬 추론을 지원한다. 워크로드에서 어느 패브릭이 병목인지에 따라 NVL72 내부 집중과 다중 랙 분산 중 적합한 구성이 달라진다.

BlueField-4의 보안 오프로딩은 멀티테넌트 환경에서 컴플라이언스와 격리 요구사항을 GPU·CPU 성능 손실 없이 다룰 수 있게 한다. 퍼블릭 클라우드나 대기업 공용 AI 팩토리에서는 특히 고려할 지점이다.

GPU, CPU, 스케일업·스케일아웃 네트워킹, DPU를 하나의 설계 철학으로 통합한 점이 Vera Rubin의 핵심이다. Blackwell 대비 추론 비용 10분의 1 감소와 5배 성능 향상은 대규모 추론 인프라의 경제성에 영향을 준다. 2026년 하반기 출하 이후 에이전틱 AI 워크로드를 운영하는 기업의 인프라 설계 기준은 Vera Rubin 플랫폼을 중심으로 재편될 전망이다.