Google Ironwood TPU 7세대: HBM3E 메모리 아키텍처와 분산 학습 설계

Google이 2025년 Google Cloud Next에서 7세대 TPU 'Ironwood'를 공개했다. 이전 세대인 Trillium(v6e) 대비 칩당 컴퓨팅 성능 4배 이상, HBM 용량 6배 향상이라는 수치는 AI 추론 시대의 가속기 경쟁을 새로운 국면으로 끌어올렸다. 9,216칩 규모 슈퍼팟에서 42.5 엑사플롭스를 달성하는 Ironwood는 단일 AI 가속기 군집으로는 세계 최대 슈퍼컴퓨터를 능가하는 수준이다.

훈련이 아니라 추론을 겨냥해 다시 설계하다

Ironwood는 Google의 첫 번째 '추론 시대를 위한 TPU'로 설계됐다. 단일 칩 기준으로 FP8 기준 4,614 TFLOPs의 피크 컴퓨팅 성능을 제공하며, NVIDIA B200(4.5 petaFLOPS)에 버금가는 수준이다.

핵심 사양은 다음과 같다.

항목	Ironwood (v7)	Trillium (v6e)
피크 컴퓨팅 (FP8)	4,614 TFLOPs	~918 TFLOPs
HBM 용량	192 GB (HBM3E)	32 GB
HBM 대역폭	7.4 TB/s	~1.6 TB/s
ICI 대역폭	9.6 Tb/s	4.8 Tb/s
최대 슈퍼팟 규모	9,216 chips	8,192 chips

칩 내부에는 8스택의 HBM3E가 탑재되어 192 GiB의 용량과 7.4 TB/s 대역폭을 동시에 달성한다. 이는 LLaMA 3 70B와 같은 대형 모델을 단일 칩에서 완전 수용할 수 있는 수준이다.

메모리를 세 겹으로 쌓아 올린 구조

Ironwood의 메모리 아키텍처는 세 가지 계층으로 구성된다.

⤢✕

HBM3E(High Bandwidth Memory Generation 3E)는 기존 GDDR6 대비 4-5배의 대역폭을 제공한다. Ironwood에서 이를 8스택으로 구성한 이유는 세 가지다. 각 스택이 독립적인 버스를 통해 MXU(Matrix Multiply Unit)에 데이터를 공급하는 병렬 접근 경로, 192 GB 용량으로 70B~400B 파라미터 모델을 오프로딩 없이 수용하는 용량-대역폭 균형, DRAM 대비 10배 낮은 접근 지연으로 시퀀셜 토큰 생성을 가속하는 저지연 접근이다.

9,216칩 슈퍼팟에서 1.77 PB의 공유 HBM을 일관성 있게 관리하기 위해 Google은 계층적 캐시 일관성 프로토콜을 적용한다. 칩 내 수준에서는 온칩 SRAM과 HBM 간 직접 DMA 전송이 이루어지고, 칩 간 수준에서는 ICI를 통한 원격 HBM 접근 시 MESI 변형 프로토콜이 적용되며, 슈퍼팟 수준에서는 전체 1.77 PB를 논리적 단일 메모리 공간으로 추상화한다.

9.6Tb/s 인터커넥트가 지탱하는 병렬화 전략

Ironwood의 ICI(Inter-Chip Interconnect)는 9.6 Tb/s 대역폭을 제공하며, 이는 InfiniBand HDR(200 Gb/s)의 약 48배에 달한다. 이 고대역폭 인터커넥트는 파이프라인·텐서·데이터 병렬화 전략을 동시에 지원한다.

대형 모델의 레이어를 여러 칩에 분할하는 파이프라인 병렬화에서 ICI의 저지연 특성은 버블(pipeline bubble) 비율을 최소화한다.

⤢✕

어텐션 헤드와 FFN 레이어를 N개 칩에 분산하는 텐서 병렬화는 Ironwood의 All-Reduce 연산 최적화와 결합된다. 각 칩이 독립적인 헤드를 처리하고 ICI를 통해 결과를 집계하는 방식으로 메모리 병목을 제거한다. 배치 단위 분산 학습에서는 각 칩 그룹이 독립적인 미니배치를 처리하고 그래디언트 All-Reduce를 수행하는 데이터 병렬화가 쓰인다. 9,216칩 슈퍼팟에서 Ring All-Reduce 알고리즘의 통신 비용은 O(N) 단계의 ICI 전송으로 처리된다.

Ironwood는 그래디언트 축적을 위한 전용 누산기 레지스터를 칩에 내장해, BF16 순전파 중에도 FP32 정밀도 그래디언트를 유지한다. 이는 대형 언어 모델 훈련에서 안정성을 확보하는 핵심 요소다.

훈련 극대화에서 추론 최적화로 이동한 세대들

Google TPU의 세대별 아키텍처 변화를 살펴보면 추론 효율 최적화로의 전략적 전환이 명확하다.

⤢✕

v5p는 v4 대비 컴퓨팅 성능 1.7배, HBM 용량 3배 향상을 달성했다. 이 세대는 GPT-4급 모델 사전훈련을 위한 클러스터 효율에 집중했다. v6e는 FP8 연산을 도입하며 에너지 효율을 대폭 개선했다. 하지만 HBM 용량이 줄어 대형 모델 수용에 제약이 있었다. Ironwood는 FP8 컴퓨팅 5배 향상과 HBM 6배 증가를 동시에 달성한 첫 세대다. 특히 192 GB HBM은 단순한 성능 향상이 아닌, LLM 추론에서 KV 캐시를 대규모로 수용하기 위한 아키텍처적 결정이다.

기존 워크플로우와의 호환성

Ironwood는 기존 JAX/XLA 기반 워크플로우와 완전 호환된다. 주목할 점은 PyTorch XLA를 통한 PyTorch 지원도 Trillium 이후 크게 개선됐다는 것이다. JAX/Flax는 최우선 지원 대상으로 멀티호스트 학습 API가 완비돼 있다. PyTorch XLA는 torch.compile을 지원해 대부분의 훈련 스크립트가 무수정으로 실행된다. TensorFlow는 레거시 지원을 유지하고, Hugging Face Transformers는 공식 TPU 지원이 통합돼 있다.

NVIDIA와의 차별점은 CUDA 에코시스템 의존 없이 TPU에 최적화된 스택을 유지한다는 점이다. 단, CUDA 기반 라이브러리의 TPU 이식에는 여전히 공수가 필요하다.

Google Ironwood TPU는 단순한 성능 업그레이드가 아닌, AI 가속기 설계 철학의 전환점이다. 훈련 중심에서 추론 중심으로, 컴퓨팅 밀도 경쟁에서 메모리 대역폭과 용량 경쟁으로의 패러다임 이동을 가장 잘 보여주는 사례다. 9,216칩 슈퍼팟 단위의 42.5 엑사플롭스 클러스터는 미래 모델 규모 경쟁에서 Google이 외부 공급업체 의존 없이 자체 인프라를 유지할 수 있는 기반을 마련했다.