AWS Trainium3와 UltraCluster: 대규모 LLM 학습 인프라의 GPU 대안

2025년 12월 AWS re:Invent에서 Trainium3 기반 EC2 Trn3 UltraServer가 정식 출시됐다. Trainium2와 비교해 칩 단위 처리량은 3배, 시스템 단위 성능은 4.4배를 내세운다. Anthropic과 Amazon Bedrock은 이미 프로덕션 워크로드를 Trainium3로 전환했으며, GPU 대비 최대 50% 비용 절감이 언급됐다.

칩 내부에서 통신을 따로 처리하는 Trainium3

Trainium3는 TSMC 3nm 공정으로 제조된 AWS 최초의 3나노 AI 가속기다. 단일 칩은 FP8 기준 2.52 PFLOPs 연산 성능, 144 GB HBM3e 메모리, 4.9 TB/s 메모리 대역폭을 제공한다.

Trainium2 대비 컴퓨트 성능은 2배, 메모리 용량은 1.5배, 메모리 대역폭은 1.7배 향상됐다. 칩에는 두 개의 NeuronCore-v3가 들어가며, 각 코어는 독립 HBM 파티션과 매트릭스·벡터 ALU, RISC 기반 제어 엔진으로 구성된다.

Trn3 UltraServer는 Trainium3 칩 144개를 하나의 시스템으로 묶어 총 362 FP8 PFLOPs를 제공한다. Trn2 UltraServer 대비 시스템 성능은 4.4배, 메모리 대역폭은 3.9배, 에너지 효율은 4배 이상으로 제시된다.

⤢✕

이 구조에서 눈에 띄는 부분은 Collective Compute Engine이다. AllReduce와 AllGather 같은 집합 통신을 전용 엔진에서 처리해 NeuronCore의 행렬 연산과 병렬화한다. 대규모 분산 학습에서 통신이 연산을 멈추게 하는 병목을 줄이고, 클러스터 확장 시 효율 저하를 최소화하려는 설계다.

PyTorch 코드와 NeuronX Distributed의 병렬화

AWS Neuron SDK는 PyTorch XLA를 기반으로 기존 PyTorch 코드를 최소한의 수정으로 Trainium에서 실행할 수 있게 한다. 분산 학습 라이브러리인 NeuronX Distributed는 여러 병렬화 기법을 지원한다.

가중치를 나눠 배치하는 텐서 병렬

텐서 병렬(Tensor Parallelism, TP)은 모델 가중치 행렬을 열 또는 행 방향으로 분할해 여러 NeuronCore에 배치한다. Megatron-LM 방식의 컬럼 파티셔닝과 로우 파티셔닝을 조합해 Attention과 FFN 레이어의 행렬 연산을 칩 전반으로 분산한다. 70B 규모 모델에서는 TP degree 32 이상이 일반적으로 최적점을 형성한다.

레이어를 이어 처리하는 파이프라인 병렬

파이프라인 병렬(Pipeline Parallelism, PP)은 트랜스포머 레이어 블록을 스테이지로 나누고, 서로 다른 NeuronCore 그룹에 배치한다. 각 스테이지는 마이크로배치를 순차 처리하며 전체 배치는 파이프라인 방식으로 중첩된다.

메모리 요구량이 레이어 수에 비례하는 수천억 파라미터 모델에서는 PP와 TP를 결합한 3D Parallelism으로 단일 가속기의 메모리 한계를 넘길 수 있다.

긴 컨텍스트를 위한 시퀀스 병렬

시퀀스 병렬(Sequence Parallelism, SP)은 Attention의 시퀀스 길이 차원을 분할한다. 128K 토큰 이상의 긴 컨텍스트 모델을 학습하면 Attention의 KV 메모리가 시퀀스 길이의 제곱에 비례한다. SP는 이 메모리 부담을 낮추면서 처리량 향상을 노리는 방식이다.

7B 파라미터 모델과 시퀀스 길이 4,096을 기준으로 trn1.32xlarge 클러스터에서 최고 처리량을 기록한 구성은 다음과 같다.

병렬화	Degree
Tensor Parallelism	8
Pipeline Parallelism	1
Sequence Parallelism	8
Data Parallelism	512

이 구성은 인스턴스당 모델 복사본 4개를 두고, 총 2,048개의 Trainium 가속기를 활용한다.

EFA와 UltraCluster가 만드는 확장 경로

분산 학습의 실효 처리량은 개별 칩의 연산 성능만으로 결정되지 않는다. 노드 사이의 통신 대역폭이 부족하면 집합 통신이 전체 학습 속도를 제한한다. AWS는 Elastic Fabric Adapter(EFA)와 UltraCluster를 이 문제에 대응하는 계층으로 둔다.

⤢✕

Trn3 UltraServer는 인스턴스당 EFA 3.0 포트 8개를 제공한다. 포트당 800 Gbps의 논블로킹 대역폭을 합산하면 노드당 6.4 Tbps 네트워크 처리량을 사용할 수 있다. UltraCluster 3.0은 이 네트워크를 바탕으로 수십만 개의 Trainium3 칩을 하나의 논리 클러스터로 운영한다.

Anthropic을 위해 AWS가 구축한 Project Rainier는 이 접근의 사례다. 약 50만 개의 Trainium2 칩을 하나의 시설에 집약해 Claude 모델 사전 학습에 전용으로 활용하고 있다. Trainium3 기반 UltraCluster는 UltraCluster 사상 최대인 6 엑사플롭스 온디맨드 컴퓨트를 제공하며, 300,000개 이상의 칩까지 확장할 수 있다.

대규모 클러스터에서는 장비 장애를 전제로 학습을 구성해야 한다. Neuron SDK는 모델 가중치·옵티마이저 상태·학습 스텝을 S3 또는 EFS에 주기적으로 저장해 마지막 체크포인트에서 재개할 수 있게 한다. 중간 활성화 값을 유지하지 않고 역전파 시 재계산하는 그래디언트 체크포인팅(Activation Recomputation)은 메모리 사용량을 O(√n)으로 낮춰 더 큰 배치 크기나 시퀀스 길이를 허용한다. 일부 노드가 느리거나 장애 직전이면 해당 노드의 그래디언트 업데이트를 비동기 처리하는 Stale Gradient 허용 훈련으로 전체 학습 진행이 멈추는 상황도 피할 수 있다.

GPU와의 비교는 워크로드에서 시작한다

Trainium3는 클라우드 AI 학습 인프라에서 GPU 외의 선택지를 넓힌다. 다만 비용, 소프트웨어 생태계, 배포 환경이 모두 다른 만큼 단일 지표로 판단하기는 어렵다.

⤢✕

trn1.32xlarge는 Trainium 가속기 16개를 탑재하며 us-east-1 기준 약 $21.50/hr다. NVIDIA A100 8개를 탑재한 p4d.24xlarge의 온디맨드 가격은 $21.96/hr로 유사하다. Trainium의 비용 차이는 시간당 가격보다 학습 효율에서 발생한다. 동일한 모델 학습 완료에 필요한 총 GPU-시간이 줄어들기 때문에 수주~수개월 규모의 대형 사전 학습에서는 총소유비용(TCO) 격차가 커질 수 있다.

AWS는 Trainium3 기반 Trn3 UltraServer가 GPU와 유사한 성능에서 최대 50% 낮은 비용을 달성한다고 발표했다. Anthropic이 Claude 학습을 Trainium 기반 Project Rainier로 전환한 배경으로도 이 비용 구조가 언급된다.

NVIDIA의 강점은 CUDA 생태계다. cuDNN, cuBLAS, NCCL 같은 최적화 라이브러리와 연구 커뮤니티의 코드 자산, PyTorch·TensorFlow·JAX의 CUDA 퍼스트 최적화는 20년에 걸쳐 축적됐다.

Neuron SDK는 PyTorch XLA 호환성으로 이 간극을 줄이려 한다. 기존 PyTorch 코드를 최소 수정으로 Trainium에서 실행할 수 있고, HuggingFace Transformers와 Optimum Neuron 통합을 통해 인기 오픈소스 모델을 활용할 수 있다. 반면 CUDA 기반 커스텀 커널을 직접 작성하는 연구 워크플로우에서는 NVIDIA GPU가 여전히 필요하다.

상황	추천 인프라
수백억 파라미터 LLM 사전 학습, 수주 이상	Trainium3 UltraServer
대규모 파인튜닝(SFT, RLHF), 비용 민감	Trainium3 또는 Trainium2
연구 프로토타이핑, 커스텀 CUDA 커널 필요	NVIDIA GPU
단기 소규모 실험(수시간~수일)	NVIDIA GPU (유연성 우선)
멀티클라우드·온프레미스 혼용 필요	NVIDIA GPU

AI 학습 인프라가 달라지는 지점

Trainium3는 목적 특화 가속기(ASIC)를 중심으로 한 인프라 선택을 더 뚜렷하게 만든다. AWS Trainium, Google TPU, Meta의 MTIA는 범용 GPU 아키텍처 대신 트랜스포머 학습에 맞는 연산 패턴을 하드웨어 수준에서 최적화한다. 학습과 추론, 모델 크기, 배치 전략을 기준으로 가속기를 달리 선택하는 이기종 인프라 전략이 표준화될 전망이다.

컴퓨트 밀도가 높아질수록 통신 대역폭은 더 직접적인 병목이 된다. EFA 3.0의 800 Gbps 포트, NeuronLink의 칩 내 고속 인터커넥트, Collective Compute Engine의 통신·연산 오버랩은 AllReduce 병목을 다루는 다층 구조다. AI 가속기 경쟁의 기준도 순수 FLOPS보다 유효 처리량(effective throughput) 쪽으로 이동할 가능성이 높다.

학습 인프라는 클라우드 네이티브 환경과도 더 깊게 결합한다. Trainium3는 S3 체크포인팅, EKS 오케스트레이션, SageMaker 학습 파이프라인, Bedrock 서빙과 통합된다. 대형 AI 랩이 아니어도 온디맨드로 수백만 달러 규모의 학습 클러스터를 구성하고, 작업이 끝나면 바로 해제할 수 있는 환경이 마련됐다.