구글 TPU 8세대 듀얼칩 전략과 Gemini Enterprise Agent Platform이 보여주는 수직 통합

2026년 4월 22일 라스베이거스에서 열린 Google Cloud Next 2026에서 구글은 단일 플래그십 TPU 노선을 접었다. 대신 학습용(TPU 8t)과 추론용(TPU 8i)으로 아키텍처를 분기했다. Nvidia의 범용 GPU 독점 구도에 정면으로 도전하는 결정이자, 워크로드별 최적화 실리콘 시대가 열렸다는 선언이다. 같은 자리에서 구글은 Vertex AI를 'Gemini Enterprise Agent Platform'으로 리브랜딩하며 에이전트 시대에 맞는 통합 엔터프라이즈 플랫폼 구축도 함께 알렸다.

TPU 8t: 9,600칩 슈퍼포드가 떠받치는 학습 인프라

TPU 8t는 대규모 사전학습과 임베딩 집약적 워크로드를 겨냥한 칩이다. 9,600개 칩을 단일 클러스터로 묶어 121 ExaFLOPS의 연산 성능을 내고, 고속 칩 간 인터커넥트(ICI)로 연결된 2PB HBM 공유 메모리 풀을 갖췄다. 3D 토러스 네트워크 토폴로지는 이전 세대보다 대규모로 확장돼 칩 간 통신 효율을 끌어올렸고, 데이터센터 네트워크 대역폭을 학습 기준 4배로 늘리는 전용 패브릭 Virgo Network가 그 위를 받친다. 가격 대비 성능은 전 세대 대비 2.8배 향상됐다.

JAX와 Pathways 프레임워크를 쓰면 단일 학습 클러스터에서 100만 개 이상의 TPU를 연결할 수 있고, 단일 데이터센터 안에서 134,000개 TPU를 하나의 패브릭으로 묶는 것도 가능하다. 구글은 TPU 8t가 프론티어 모델 개발 주기를 수개월에서 수 주로 줄일 수 있다고 밝혔다.

TPU 8i: 메모리 벽을 정면 돌파하는 추론 특화 설계

TPU 8i는 에이전트 시대의 저지연 추론 수요를 겨냥한다. 구글이 "메모리 벽(Memory Wall)"이라 부르는 문제 — 프로세서가 데이터를 기다리며 유휴 상태에 놓이는 병목 — 을 정면으로 돌파하는 설계가 특징이다. 온칩 SRAM을 전 세대 대비 3배인 384MB로 늘려 모델의 활성 작업 집합 전체를 온칩에 상주시켰고, HBM은 288GB에 대역폭 8.6TB/s를 제공한다. FP4 연산 성능은 10.1 페타플롭스다.

추론 특화 신규 네트워크 아키텍처인 Boardfly 토폴로지는 최대 네트워크 직경을 50% 이상 줄여 저지연 일관성을 확보했고, 집합 가속 엔진(CAE)은 자동회귀 디코딩과 연쇄 사고 처리에 필요한 리덕션·동기화 단계를 거의 제로 지연으로 가속한다. 가격 대비 성능은 Ironwood TPU 대비 최대 80% 향상됐다 — 같은 비용으로 두 배의 고객 서비스가 가능해진다는 뜻이다.

⤢✕

Nvidia와의 경쟁 구도에서 본 구글의 차별점

구글의 듀얼칩 전략은 Nvidia H100/H200/B200 시리즈가 지배해온 범용 GPU 구도에 직접 도전장을 내민 것이다.

항목	Google TPU 8t	Google TPU 8i	Nvidia B200
특화 용도	대규모 학습	저지연 추론	학습 + 추론
클러스터 규모	9,600칩 슈퍼포드	Boardfly 클러스터	NVLink/InfiniBand
메모리	2PB 공유 HBM	288GB HBM	192GB HBM3e
온칩 캐시	—	384MB SRAM	192MB L2
가격-성능	2.8배 (前 세대 대비)	80% 향상	범용 기준
생태계	JAX, Pathways, TensorFlow	Vertex AI 통합	CUDA, cuDNN

구글의 전략적 차별점은 자사 소프트웨어 스택(JAX, Pathways)과 클라우드 플랫폼의 수직 통합에 있다. Virgo Network 같은 전용 패브릭은 범용 InfiniBand로는 구현하기 어려운 TPU 전용 최적화를 가능케 한다.

분산 학습 인프라의 계층 설계

TPU 8t를 중심으로 한 대규모 분산 훈련 인프라는 물리 계층부터 글로벌 클러스터 계층까지 네 겹으로 쌓인다.

⤢✕

이 계층 구조의 핵심은 각 층의 통신 병목을 전용 하드웨어와 소프트웨어로 동시에 해결한다는 점이다. ICI는 포드 내 칩 간 초고속 통신을, Virgo Network는 포드 간 데이터센터 수준의 통신을, Pathways는 데이터센터를 넘나드는 글로벌 클러스터 오케스트레이션을 각각 담당한다.

Vertex AI에서 Gemini Enterprise Agent Platform으로

구글은 이번 행사에서 Vertex AI를 Gemini Enterprise Agent Platform으로 리브랜딩하고 Agentspace를 통합했다. 단순한 이름 변경이 아니라 플랫폼 철학 자체의 전환이다. 빌드 레이어에는 로우코드 에이전트 빌더 Agent Studio, 4개 언어(Python·Java·Go·TypeScript)를 지원하는 Agent Development Kit v1.0, 구글 Gemini 3.1 Pro/Flash·Gemma 4·Anthropic Claude Opus/Sonnet/Haiku 등 200개 이상의 모델을 아우르는 Model Garden이 있다.

오케스트레이션 레이어는 Linux Foundation 산하 Agentic AI Foundation이 관리하는 Agent-to-Agent(A2A) 프로토콜 v1.2를 중심으로 돌아간다. ServiceNow·Salesforce·Atlassian·SAP 등 서드파티 에이전트와 커스텀 통합 코드 없이 직접 통신할 수 있고, Apigee를 API-to-Agent 브리지로 쓰는 관리형 MCP 서버도 갖췄다.

거버넌스 레이어는 모든 에이전트에 고유 암호화 ID를 부여하고 모든 액션의 감사 추적을 남기는 Agent Identity, 자체·파트너 에이전트를 등록·추적하는 Agent Registry, 엔터프라이즈급 가드레일 안에서 에이전트가 동작하도록 강제하는 Agent Gateway로 구성된다. 마지막으로 관측·최적화 레이어는 배포 전 스트레스 테스트를 하는 Agent Simulation, 목표 달성 여부를 평가하는 Agent Evaluation, 실행 추적과 추론 과정을 실시간으로 보여주는 Agent Observability와 Unified Trace Viewer로 마무리된다.

⤢✕

에이전트 거버넌스가 풀어야 할 문제

Gemini Enterprise Agent Platform이 마주한 핵심 과제는 에이전트 스프롤(Agent Sprawl)이다. 기업 내 에이전트가 급증하면서 각기 다른 플랫폼에서 만들어진 에이전트들이 통제 불능 상태로 확산되는 현상을 구글은 단일 플랫폼으로 흡수하려 한다. Agent Identity의 암호화 ID 체계는 제로 트러스트 보안 원칙을 에이전트에 적용한 것이다. 모든 에이전트 액션이 정의된 인가 정책에 매핑돼 책임 추적이 가능해지며, 이는 단순 로깅을 넘어 규제 준수와 감사 요건을 충족하기 위한 엔터프라이즈급 설계다.

A2A 프로토콜이 Linux Foundation으로 이관된 것도 의미가 크다. 구글 단독 표준이 아니라 업계 공통 표준으로 자리잡으면, 플랫폼 종속성 없이 이종 에이전트 간 협업이 가능해진다. LangGraph·CrewAI·LlamaIndex Agents·Semantic Kernel·AutoGen 등 주요 에이전트 프레임워크가 이미 네이티브 A2A 지원을 채택했다.

하드웨어부터 플랫폼까지, 수직 통합이라는 메시지

Google Cloud Next 2026의 핵심 메시지는 결국 수직 통합이다. TPU 8t/8i → Virgo Network → JAX/Pathways → Gemini Enterprise Agent Platform으로 이어지는 하드웨어-네트워크-소프트웨어-플랫폼 스택이 완성됐고, 각 레이어가 상호 최적화돼 있어 범용 하드웨어와 범용 소프트웨어의 조합으로는 달성하기 어려운 성능과 효율을 낸다.

에이전트 플랫폼 쪽에서는 Anthropic과의 공존 전략도 눈에 띈다. Model Garden에서 Claude 모델을 직접 지원함으로써, 구글 클라우드는 특정 모델에 종속되지 않고 에이전트 오케스트레이션 레이어와 인프라 레이어에서 가치를 창출하는 쪽을 택했다. 학습과 추론의 물리적 분리, 100만 TPU 규모의 분산 훈련 인프라, 거버넌스와 관측 가능성을 내장한 에이전트 플랫폼은 에이전트 시대를 맞는 구글의 총체적 전략을 보여준다. A2A 프로토콜이 실제 산업 표준으로 자리잡을 수 있을지가 앞으로의 관전 포인트다.