구글 TPU 8t·8i가 분리한 AI 학습과 추론 인프라

학습과 추론은 같은 칩에 같은 요구를 하지 않는다

Google은 Cloud Next 2026에서 8세대 TPU를 발표하며 학습 전용 TPU 8t와 추론 전용 TPU 8i를 함께 내놓았다. TPU 7x(Ironwood)가 하나의 칩으로 두 워크로드를 처리하려 했다면, 이번 세대는 학습과 추론의 병목 차이를 실리콘 설계에 반영한 구성이다.

학습은 대규모 행렬 연산과 그래디언트 역전파를 반복하는 연산 집약적 작업이다. FLOPs와 칩간 통신 대역폭이 처리량을 제한한다. 반면 생성형 AI 추론에서는 KV Cache를 실시간으로 읽고 쓰므로 온칩 SRAM과 HBM 대역폭, 지연시간이 핵심 변수가 된다.

⤢✕

TPU 8t는 대규모 학습의 통신과 처리량에 맞춘다

TPU 8t(Training)는 프론티어 모델 개발 주기를 수개월에서 수 주로 줄이는 것을 목표로 한다.

HBM: 216 GB (고대역폭 메모리)
HBM 대역폭: 6.5 TB/s
온칩 SRAM: 128 MB
FP4 연산 성능: 최대 12.6 petaFLOPS
칩간 대역폭: 19.2 Tbps

TPU 8t 슈퍼포드는 단일 포드에 9,600개 칩을 수용하고 121 exaFLOPS의 연산 성능을 제공한다. Ironwood 동급 규모와 비교하면 처리 능력은 약 3배다.

대규모 분산 학습에서는 칩간 통신이 설계의 중심이 된다. 19.2 Tbps 칩간 대역폭과 Boardfly 아키텍처는 수천 개 칩을 연결하는 학습 환경을 뒷받침한다.

TPU 8i는 KV Cache가 만드는 추론 병목을 겨냥한다

TPU 8i(Inference)는 에이전틱 AI의 저지연·고처리량 추론 요구에 맞춰 메모리 계층을 재설계했다.

HBM: 288 GB
HBM 대역폭: 8.6 TB/s
온칩 SRAM: 384 MB (Ironwood 대비 3배)
FP4 연산 성능: 10.1 petaFLOPS

단일 TPU 8i 포드는 1,152개 칩으로 구성된다. Ironwood 포드의 256개 칩과 비교하면 약 4.5배 확장된 규모다.

384 MB SRAM은 LLM 추론에서 병목이 되는 KV Cache를 온칩에 보유하는 데 초점을 둔다. HBM 접근이 불필요해지면 메모리 대기 시간이 제거되어 토큰 생성 지연시간이 감소한다. Google은 이를 “메모리 장벽을 깨는” 설계라고 표현했다.

⤢✕

산술 집약도가 칩 설계의 방향을 가른다

학습과 추론의 하드웨어 요구사항은 산술 집약도(Arithmetic Intensity), 즉 FLOPs/byte 비율로 구분할 수 있다. 이는 메모리 접근당 수행하는 연산 횟수를 뜻한다.

학습은 배치 크기가 크고 파라미터를 여러 번 재사용하므로 산술 집약도가 높다. 이 경우 연산 처리량(FLOPs)이 병목이 된다. 자기회귀 디코딩 방식의 추론은 토큰을 하나씩 생성하면서 전체 가중치와 KV Cache를 읽어야 하므로 산술 집약도가 낮고, 메모리 대역폭이 병목이 된다.

Roofline Model로 보면 학습은 compute roof, 추론은 memory bandwidth roof에 각각 걸린다. TPU 8t는 연산 지붕을 높이고, TPU 8i는 메모리 대역폭 지붕을 높이는 방향의 설계다.

⤢✕

Ironwood와 비교한 TPU 8세대의 변화

항목	Ironwood (TPU 7x)	TPU 8t	TPU 8i
온칩 SRAM	128 MB	128 MB	384 MB (3×)
HBM 용량	192 GB	216 GB	288 GB
HBM 대역폭	~7.37 TB/s	6.5 TB/s	8.6 TB/s
FP4 성능	—	12.6 petaFLOPS	10.1 petaFLOPS
칩간 대역폭	—	19.2 Tbps	—
포드/슈퍼포드 규모	256 chips	9,600 chips (superpod)	1,152 chips

학습 속도는 Ironwood 대비 2.8× 향상됐고, LLM 추론 달러당 성능은 80% 향상됐다. 성능당 전력 소비는 2× 개선됐다.

Boardfly와 Axion이 바꾸는 시스템 계층

TPU 8세대에는 칩 자체 외에도 두 가지 시스템 아키텍처 변화가 포함된다.

Boardfly는 Google이 이름 붙인 새로운 칩간 연결 구조다. 칩간 대역폭을 이전 세대 대비 2배로 높이고 네트워크 지름은 50% 줄였다. 네트워크 지름이 줄었다는 것은 칩 A에서 칩 B로 메시지가 이동할 때 거쳐야 하는 홉 수가 절반이 된다는 뜻이다. 9,600칩 슈퍼포드처럼 통신 지연이 학습 효율을 좌우하는 환경에서 이 변화는 중요하다.

호스트 서버도 x86 프로세서에서 자체 개발한 ARM 기반 Axion CPU로 전환했다. 이는 AI 가속기뿐 아니라 호스트 CPU까지 포함한 자체 실리콘 스택으로 이동하고, 타사 의존성과 전력 효율을 함께 다루려는 방향을 보여준다.

TPU와 NVIDIA GPU를 고를 때 보는 조건

TPU 8세대는 NVIDIA GPU와의 경쟁 구도에서 Google의 포지션을 분명히 한다. 칩 사양만으로 선택하기보다 개발 환경과 배포 제약, 워크로드 구성을 함께 판단해야 한다.

TPU는 Google Cloud Vertex AI와 통합된 학습·추론 파이프라인, 동일 모델을 대규모로 장기 서빙하는 프로덕션 추론, JAX/XLA 기반 모델 개발팀에 적합하다. KV Cache 용량이 중요한 멀티 에이전트 시스템도 TPU 8i의 설계 방향과 맞닿아 있다.

NVIDIA GPU는 PyTorch 기반 연구와 실험적 모델 개발, 멀티클라우드 또는 온프레미스 배포, CUDA 생태계에 의존하는 기존 라이브러리, 소규모 학습이나 파인튜닝 실험에서 선택지가 된다.

⤢✕

TPU 8세대의 이중 아키텍처는 학습부터 추론까지의 AI 개발 수명주기를 자체 하드웨어 안에서 완결하려는 Google의 방향을 보여준다. 인프라 선택에서는 성능 수치뿐 아니라 소프트웨어 생태계 호환성, 장기 가격 안정성, 워크로드에 따른 최적화 가능성을 포함한 TCO 분석이 기준이 된다.