TPU·Trainium·Maia·MTIA — 하이퍼스케일러가 자체 AI 칩을 만드는 이유

TrendForce가 2026년 5월 발표한 보고서에 따르면, 클라우드 서비스 기업(CSP)이 자체 설계한 맞춤형 ASIC의 출하량 성장률이 44.6%로 상용 GPU의 16.1%를 처음으로 추월했다. Google TPU, Amazon Trainium, Microsoft Maia, Meta MTIA로 대표되는 하이퍼스케일러 맞춤형 칩 생태계가 AI 가속기 시장의 구조를 바꾸고 있다.

44.6% vs 16.1%가 뜻하는 것

GPU 대비 거의 3배에 달하는 이 성장 속도 차이는, AI 컴퓨팅 인프라에서 맞춤형 실리콘이 범용 그래픽 처리 장치를 의미 있는 수준으로 앞지르는 첫 사례다.

⤢✕

이 전환의 핵심 동력은 AI 컴퓨팅 수요의 무게 중심이 **학습(Training)에서 추론(Inference)**으로 이동하는 구조적 변화에 있다. 2026년 기준 전체 AI 컴퓨팅 사이클 중 약 3분의 2가 추론 워크로드에서 발생하며, 이 영역에서 맞춤형 ASIC은 상용 GPU 대비 40~~60%의 비용 우위를 보인다. 하이퍼스케일러 4사의 AI 관련 설비 투자(Capex)는 2026년 합산 6,600~~6,900억 달러에 달하며, 그중 75%가 AI 특화 인프라에 투입된다.

4사 4색의 설계 아키텍처

Google의 7세대 TPU인 Ironwood는 도메인 특화 아키텍처(DSA)의 정점을 보여준다. 행렬 곱셈 유닛(MXU)을 핵심 연산 엔진으로 삼되, 트랜스포머 기반 LLM에 최적화된 어텐션 연산 가속기를 별도로 탑재한다. HBM3e로 고대역폭을 확보하고, 칩 간 연결에는 자체 개발 ICI(Inter-Chip Interconnect)를 써서 TPU Pod 단위 대규모 클러스터를 구성한다. TSMC 3nm 공정에 Broadcom이 설계 파트너로 참여한다.

AWS의 Trainium 3는 학습과 추론 모두를 지원하는 이중 워크로드 아키텍처다. NeuronCore v3 컴퓨팅 엔진은 FP8부터 BF16까지 유연한 수치 정밀도를 지원하며, 에너지 효율을 극대화하는 희소 행렬(Sparse Matrix) 가속 기능을 내장한다. Neuron Link 고속 인터커넥트로 최대 16개 칩을 단일 서버 노드로 묶는 Trainium 3 UltraServer 형태로 제공된다.

Microsoft의 Maia 200(내부 코드명 Braga)은 Azure에서 GPT-4o 계열 모델 서빙에 최적화됐다. NVLink에 대응하는 XLINK 인터커넥트로 칩 간 고속 통신을 구현하고, HBM3 메모리와 대용량 온칩 SRAM 캐시를 결합해 LLM 추론에서 발생하는 KV 캐시 메모리 병목을 해소한다. 설계 단계부터 GPT 시리즈 모델 아키텍처에 맞춰 어텐션 헤드 배치와 피드포워드 레이어 병렬화를 최적화했다.

Meta의 MTIA v3(Meta Training and Inference Accelerator)는 추천 시스템과 생성형 AI 워크로드를 동시에 처리하는 이종(Heterogeneous) 아키텍처가 특징이다. 희소 임베딩(Sparse Embedding) 연산과 밀집 행렬 연산을 전용 컴퓨팅 클러스터로 분리하고, NMP(Near-Memory Processing)로 메모리 접근 지연을 최소화한다. Llama 모델 시리즈를 내부적으로 서빙하는 핵심 인프라이기도 하다.

⤢✕

워크로드별로 승자가 갈린다

추론 워크로드에서 맞춤형 ASIC의 우위는 설계 철학의 차이에서 비롯된다. NVIDIA GPU는 어떤 AI 워크로드도 처리할 수 있는 범용성을 목표로 설계된다. 반면 맞춤형 ASIC은 특정 모델 아키텍처, 특정 추론 패턴에 맞게 트랜지스터 수준에서 최적화된다. 이 차이가 성능당 전력 소비(Performance Per Watt)에서 3~~5배의 격차를 만든다. 구체적으로는 맞춤형 ASIC 기반 추론 클러스터가 GPU 기반 대비 토큰당 비용을 40~~60% 절감할 수 있다. Google은 TPU 기반 추론 인프라로 Search AI·Gemini API 서빙 비용을 대폭 절감했고, Meta는 MTIA로 뉴스피드 추천 알고리즘의 서빙 비용을 최적화한다. 추론은 워크로드가 예측 가능하고 처리량이 충분히 높아 ASIC 설계 투자를 회수할 수 있는 구조적 조건이 갖춰져 있다.

학습 워크로드에서는 NVIDIA GPU가 여전히 지배적이다. 이유는 두 가지다. 첫째, CUDA 소프트웨어 생태계의 성숙도다. 20년 이상 축적된 CUDA 에코시스템에는 600만 명 이상의 개발자가 기여했고, PyTorch·JAX·TensorFlow 등 모든 주요 ML 프레임워크가 CUDA를 우선 지원한다. 둘째, NVLink를 통한 멀티칩 스케일링 능력이다. H200과 B200 기반 DGX SuperPOD는 수천 개 GPU를 낮은 지연 시간으로 연결해 조 단위 파라미터 모델의 분산 학습을 가능케 한다.

파인튜닝은 그 중간 영역이다. 규모가 작고 빈도가 높지 않은 경우 기존 GPU 클러스터를 활용하는 편이 경제적이지만, 지속적 파인튜닝처럼 대규모로 반복되는 작업에는 맞춤형 ASIC이 유리하다. Google은 자체 파운데이션 모델의 도메인 특화 파인튜닝을 TPU 클러스터에서 수행하고, Amazon의 Bedrock 커스터마이징 서비스 역시 Trainium을 활용한다.

⤢✕

'NVIDIA 세금'을 피하려는 이유

하이퍼스케일러들이 맞춤형 ASIC에 수십억 달러를 투자하는 이유는 세 가지로 요약된다.

첫째는 비용 최적화다. 업계에서 'NVIDIA 세금(NVIDIA Tax)'으로 불리는 고가의 GPU 구매 비용에서 벗어나는 것이다. NVIDIA H200 GPU는 대당 3~4만 달러를 호가하며 대규모 AI 클러스터에는 수천 개가 필요하다. 칩 설계에 수억 달러를 투자하더라도 장기적으로 총소유비용(TCO)을 대폭 절감할 수 있다는 판단이다.

둘째는 하드웨어 로드맵 통제다. NVIDIA의 제품 출시 일정과 가격 정책에 종속되지 않고 자체 AI 전략에 맞는 칩 사양과 출시 시기를 결정할 수 있다. Google은 TPU 로드맵을 Gemini 모델 시리즈 개발 일정에 맞춰 조율하고, Amazon은 Bedrock·SageMaker 서비스의 추론 최적화에 Trainium을 직접 투입한다.

셋째는 공급망 집중 리스크 해소다. NVIDIA에 대한 단일 벤더 의존은 지정학적 리스크, 공급 부족, 가격 협상력 약화 같은 취약점을 낳는다. TSMC 3nm 공정은 현재 수요가 공급의 약 3배를 초과하지만, 하이퍼스케일러들은 자체 ASIC으로 NVIDIA의 공급 일정과 독립적으로 인프라를 확장할 수 있다.

4개 하이퍼스케일러 ASIC 모두 TSMC 3nm 공정에서 제조된다. NVIDIA의 최신 GPU와 같은 공정 노드를 쓰지만 설계 방향성은 근본적으로 다르다. 파운드리 파트너십에서는 Broadcom이 핵심 역할을 담당한다. Google TPU, Meta MTIA, Microsoft Maia 설계에 Broadcom이 참여했고, OpenAI와 Anthropic의 Titan 가속기 프로그램에도 이름을 올린 것으로 확인됐다.

CUDA 해자를 넘는 법

NVIDIA의 CUDA 플랫폼은 단순한 소프트웨어 스택이 아니다. 2006년 출시 이후 20년간 축적된 개발자 생태계, 알고리즘 라이브러리(cuDNN, cuBLAS), 최적화 도구, PyTorch·JAX 등 주요 ML 프레임워크의 CUDA 우선 지원이 결합된 복합적 경쟁 우위다. 600만 명 이상의 개발자가 CUDA 생태계에 기여했고 새로운 ML 알고리즘은 대부분 CUDA에서 먼저 구현된다. 이 해자는 추론보다 학습 단계에서 특히 강력하다 — 새 모델 아키텍처를 실험하고 빠르게 이터레이션하는 연구 단계에서는 CUDA의 유연성이 결정적이다. ASIC은 특정 아키텍처에 최적화된 만큼, 모델 구조가 바뀌면 효율이 떨어지거나 재설계가 필요할 수 있다.

2026년 시점에서 CUDA 의존도를 낮추는 가장 주목할 기술은 OpenAI의 Triton 컴파일러다. Triton은 하드웨어에 독립적인 커널 작성을 가능케 해, 동일한 코드를 CUDA GPU·AMD ROCm·이론적으로 다양한 ASIC 백엔드에서 실행할 수 있게 한다. 하이퍼스케일러들은 Triton을 CUDA 생태계에서 자사 ASIC으로 마이그레이션하는 핵심 도구로 활용한다. 추론 레이어에서는 vLLM, TensorRT-LLM 같은 프레임워크가 하드웨어 추상화 레이어 역할을 하며, Google의 XLA 컴파일러는 JAX·TensorFlow 모델을 TPU에서 효율적으로 실행하는 핵심이고, Amazon의 Neuron SDK는 PyTorch·JAX 모델을 Trainium·Inferentia에서 구동한다.

그럼에도 ASIC 소프트웨어 생태계는 CUDA에 비해 아직 성숙도 차이가 있다. 각 하이퍼스케일러의 ASIC은 자사 내부 워크로드에는 최적화되어 있지만, 외부 개발자가 범용적으로 활용하기에는 도구·문서·커뮤니티 지원이 부족한 경우가 많다. 이는 하이퍼스케일러 ASIC이 클라우드 서비스 형태로만 외부에 제공되고 ASIC 자체는 공개 판매되지 않는 폐쇄적 구조와도 연결된다. 오픈소스 생태계에서는 Broadcom이 CSP들에게 단일 벤더 의존을 피할 수 있는 오픈 표준을 제시하고 있고, 중국에서는 화웨이와 알리바바가 NVIDIA 생태계에 독립적인 자국 AI 칩 소프트웨어 스택을 구축하는 데 역량을 집중하고 있다.

다극 하드웨어 생태계로

2026년 AI 가속기 시장의 가장 큰 변화는 단일 벤더(NVIDIA) 지배 구조에서 다극 하드웨어 생태계로의 전환이다. 칩 선택은 NVIDIA 브랜드 충성도가 아니라 특정 모델 아키텍처와 토큰당 비용으로 결정되는 방향으로 바뀌고 있다. 이 다극 구조는 학습에서 NVIDIA, 추론에서 맞춤형 ASIC이라는 워크로드별 특화 구도를 핵심으로 한다.

NVIDIA도 가만히 있지는 않는다. TrendForce의 'ASIC Set to Outpace GPU?' 보고서에서도 언급되듯, NVIDIA는 스케일업(Scale-Up) 아키텍처에서의 우위를 지속 강화한다. Blackwell 아키텍처와 차세대 Rubin 플랫폼은 AI 학습과 복잡한 추론 작업에서 성능 우위를 유지하며, NVLink 기반 GPU 간 고속 연결과 CUDA 생태계의 광범위한 소프트웨어 지원은 하이퍼스케일러들이 학습 인프라에서 NVIDIA를 완전히 배제하기 어렵게 만든다. 실제로 하이퍼스케일러들도 맞춤형 ASIC으로 완전 전환하는 게 아니라, 학습에는 NVIDIA GPU를, 추론에는 자체 ASIC을 투입하는 하이브리드 전략을 구사한다. Meta는 2026년에도 대규모 NVIDIA GPU 주문을 유지하면서 동시에 MTIA v3 배포를 확대하는 양면 전략을 펼친다.

AI 칩 내재화의 경제성은 규모에 비례한다. 하이퍼스케일러 수준의 대규모 배포에서는 맞춤형 ASIC 설계 비용(수억 달러)을 감수하더라도 장기 TCO 절감 효과가 압도적이다. 반면 중소 규모 클라우드 기업이나 AI 스타트업에게 ASIC 내재화는 현실적이지 않다. 이들은 NVIDIA GPU나 하이퍼스케일러의 클라우드 ASIC 서비스(AWS Trainium 기반 인스턴스, Google TPU VM 등)를 활용하는 구조가 지속될 것이다.

⤢✕

44.6% vs 16.1%라는 수치는 통계 이상의 의미를 갖는다. AI 인프라의 무게 중심이 학습 중심 GPU 패러다임에서 추론 최적화 ASIC 패러다임으로 이동하는 구조적 전환의 증거다. Ironwood, Trainium 3, Maia 200, MTIA v3는 각각 자사 워크로드에 최적화된 독자 아키텍처로 'NVIDIA 세금'을 줄이는 동시에 공급망 자율성을 높이고 있다. 그러나 NVIDIA는 학습 워크로드와 CUDA 생태계에서의 지위를 바탕으로 다극 시장에서도 핵심 플레이어로 남을 것이며, AI 가속기 시장은 학습·추론·파인튜닝 워크로드별 최적 하드웨어가 병존하는 복합 생태계로 진화하고 있다.