Amazon Trainium과 자체 AI 칩이 바꾸는 엔터프라이즈 인프라 선택

자체 실리콘이 AI 인프라의 선택지를 넓히는 이유

2026년 4월 Uber는 AWS와의 계약을 확대하면서, 라이드쉐어링 핵심 서비스를 Amazon Trainium과 Graviton 칩으로 운영하기로 했다. 하이퍼스케일러가 설계한 AI 가속기(ASIC)가 범용 GPU의 보조 수단이 아니라 실제 워크로드의 기반이 될 수 있음을 보여주는 사례다.

클라우드 사업자가 자체 칩을 설계하는 배경에는 Nvidia 의존 문제도 있지만, 더 근본적으로는 AI 연산을 데이터센터 전체와 함께 최적화하려는 요구가 있다. H100·H200의 공급 병목과 비용은 대규모 학습 및 추론 비용을 압박한다. 다양한 연산을 수용하는 GPU와 달리, Transformer나 MoE처럼 반복되는 패턴에는 특화 ASIC이 더 높은 효율을 낼 수 있다.

칩, 소프트웨어, 네트워킹, 데이터센터를 한 사업자가 함께 설계하면 지연과 전력 효율을 동시에 조정할 여지도 생긴다. 자체 칩은 고객 확보를 위한 가격 경쟁력과 협상력에도 영향을 준다.

2026년 기준 커스텀 ASIC 출하량은 전년 대비 44.6% 성장이 예상되며, 일반 GPU 출하량 성장률은 16.1%다. 커스텀 실리콘은 AI 가속기 시장의 15~25%를 점유할 전망이고, 수요는 주로 하이퍼스케일러의 내부 추론 워크로드에 집중된다.

NeuronCore가 분산 학습을 다루는 방식

Trainium의 연산 단위인 NeuronCore는 하나의 범용 엔진에 모든 계산을 맡기지 않는다. AI 작업의 성격에 따라 이종 엔진을 배치한다.

스칼라 엔진(Scalar Engine)은 1:1 입출력 연산과 활성화 함수, 스칼라 연산을 처리한다.
벡터 엔진(Vector Engine)은 SIMD 방식의 원소별(element-wise) 연산을 맡는다.
텐서 엔진(Tensor Engine)은 시스톨릭 어레이(Systolic Array) 기반으로 행렬 곱셈, 합성곱, 전치 연산을 수행하며 Transformer 계열 모델에 맞춰져 있다.
GPSIMD 코어는 범용 SIMD 연산을 담당해 소프트웨어 유연성을 확보한다.
Collective Communication 코어는 All-Reduce 같은 분산 학습 집합 통신을 가속한다.

Collective Communication 코어는 Trainium에서 처음 도입된 설계다. 통신 오버헤드를 컴퓨팅 코어와 병렬로 처리해 대규모 클러스터의 효율을 높이는 데 초점이 있다.

⤢✕

Trainium2(Trn2)의 16칩 인스턴스는 20.8 petaFLOPS(FP8)의 연산 성능을 제공한다. AWS는 H100 기반 P5e 인스턴스 대비 30~~40% 향상된 가격 대비 성능을 공식 발표했다. Trainium4는 2026년 말~~2027년 초 출시 예정이며, Nvidia NVLink Fusion을 지원해 Nvidia GPU와 혼합한 클러스터 구성도 가능해질 전망이다.

Uber가 분리한 학습과 추론의 역할

Uber는 AWS와의 멀티년 계약 확대를 통해 라이드쉐어링 핵심 AI 워크로드를 Trainium, Inferentia, Graviton으로 전환하기로 했다. 수백만 명의 라이더와 드라이버를 연결하는 실시간 매칭은 초저지연과 고빈도 추론을 요구하며, 이런 패턴에서는 특수 목적 ASIC이 범용 GPU보다 유리할 수 있다.

역할 분리도 명확하다. Trainium은 모델 학습을, Inferentia2는 프로덕션 추론을 담당한다. H100은 시간당 약 $3, Trainium은 약 $1~$0.5이라는 비용 구조 역시 대용량 실시간 추론의 총소유비용(TCO)에 영향을 준다.

Graviton CPU, EKS 오케스트레이션, Neuron SDK까지 이어지는 AWS 내부 통합은 운영 오버헤드를 줄이는 방향으로 작동한다. Anthropic의 Claude 학습, OpenAI, Apple의 Trainium 채택은 범용 GPU 대안 생태계가 형성되고 있음을 보여준다.

클라우드별 전용 가속기의 위치

항목	AWS Trainium2	Google TPU v5e	Azure Maia 100
외부 판매 여부	✅ EC2 인스턴스	✅ Cloud TPU	❌ 내부 전용
주요 용도	학습·추론	학습·추론	Azure OpenAI·Copilot
칩 간 연결	NeuronLink	ICI(Interchip Interconnect)	NVLink(일부)
8칩 시간당 비용	~$8	~$11	N/A
소프트웨어 프레임워크	Neuron SDK, PyTorch, JAX	XLA, JAX, PyTorch	ONNX Runtime
SW 생태계 성숙도	중상	상	내부 한정
공개 성능 벤치마크	공개	공개	미공개

Google TPU v5e는 50,944개 칩으로 128B 파라미터 모델을 12분 이내에 학습하는 스케일링을 제시했다. Azure Maia 100은 105B 트랜지스터를 TSMC 5nm에 집적했지만 외부 제공 계획이 없어, Trainium이나 TPU와는 전략적 위치가 다르다.

GPU의 유연성과 ASIC의 효율 사이

GPU와 ASIC은 단순히 성능 수치로 대체 관계를 판단하기 어렵다. GPU는 폭넓은 프레임워크와 CUDA 생태계를 기반으로 개발과 실험에 유리하다. Trainium 같은 ASIC은 특정 패턴의 학습과 추론 비용을 낮추는 대신 Neuron SDK 포팅과 클라우드 종속성을 고려해야 한다.

⤢✕

Transformer 추론과 학습처럼 정해진 워크로드에서는 ASIC이 우위를 보일 수 있으며, 학습 비용은 토큰당 50~70% 낮다. 반면 CUDA 생태계의 라이브러리와 도구에 비해 Neuron SDK가 지원하는 모델 범위는 제한적이다.

기존 CUDA 코드베이스를 Neuron SDK로 옮기는 데는 엔지니어링 투자가 필요하다. 특정 클라우드의 커스텀 칩 의존은 멀티클라우드 전략을 제약할 수 있고, 커뮤니티 지원 역시 Nvidia CUDA에 비해 Neuron SDK가 아직 성장 중이라는 점을 함께 봐야 한다.

워크로드와 클라우드 전략을 함께 평가하기

칩 선택은 단가 비교로 끝나지 않는다. 학습이 중심인지, 추론이 중심인지와 Transformer, MoE, CNN 가운데 어떤 모델 아키텍처를 쓰는지가 우선 판단 기준이다.

비용 평가는 칩 가격뿐 아니라 마이그레이션 비용, SDK 학습 곡선, 운영 복잡도, 에너지 비용을 포함한 TCO로 해야 한다. Nvidia GPU에서 개발과 실험을 진행하고 프로덕션 추론에 ASIC을 쓰는 이중 트랙은 위험을 분산하는 방식이 될 수 있다.

단일 클라우드 집중 전략이라면 해당 사업자의 자체 칩이 비용 효율적일 수 있다. 멀티클라우드가 핵심이라면 Nvidia GPU의 이식성이 더 유리하다. Trainium4의 NVLink Fusion 지원으로 Nvidia GPU와 혼합 클러스터를 구성할 수 있게 되면, ASIC 채택의 진입 장벽도 낮아지고 선택지는 더 현실적이 될 전망이다.