Anthropic과 SpaceX Colossus가 보여주는 AI 추론 인프라 전략

Colossus 임차가 드러낸 추론 인프라의 우선순위

2026년 5월 Anthropic은 SpaceX의 Colossus 1 데이터센터 전체 컴퓨팅 용량을 임차하기로 했다. 220,000개 이상의 Nvidia GPU와 300 메가와트 규모의 AI 컴퓨팅 파워를 Claude 모델 추론에 투입하는 계약이다.

이 사례는 단순한 클라우드 계약으로 보기 어렵다. 추론 수요가 급증할 때 필요한 용량을 얼마나 빨리 확보할지, 대규모 클러스터를 어떤 네트워크와 장애 경계로 운영할지, 자체 구축과 외부 임차를 어떻게 조합할지가 한꺼번에 걸려 있다.

멤피스의 Colossus 1과 Claude 처리 용량

xAI(SpaceX 산하 AI 부문)의 Colossus 1은 테네시주 멤피스에 있는 AI 전용 데이터센터다. 첫 100,000 GPU 클러스터는 122일 만에 구축됐고, 이후 92일 만에 200,000 GPU로 확장됐다. 최종 구성은 H100 150,000개, H200 50,000개, GB200 30,000개다. 단일 코히런트 AI 클러스터로는 세계 최대 규모다.

Anthropic은 Claude Pro와 Claude Max 구독자 처리 용량을 확대하기 위해 이 시설 전체를 임차했다. 계약 뒤 한 달 이내에 Claude Code의 5시간 사용 제한은 두 배로 늘어나고, Pro/Max 계정의 피크 시간대 스로틀링은 완전히 사라지며, Claude Opus 모델의 API 한도도 대폭 상향된다고 발표됐다.

대형 클러스터에서는 네트워크 패브릭이 처리량을 좌우한다

GPU가 수십만 개로 늘어나면 개별 가속기의 성능만으로는 충분하지 않다. GPU 간 통신의 대역폭과 지연 시간이 전체 처리량을 결정하는 변수로 바뀐다.

전통적인 대형 AI 훈련 클러스터는 낮은 지연 시간, 높은 대역폭, 성숙한 생태계를 이유로 Nvidia InfiniBand를 주로 사용해 왔다. Colossus는 이와 달리 Nvidia Spectrum-X 이더넷 플랫폼을 선택했다. Spectrum-X는 RoCE v2(RDMA over Converged Ethernet)에 고급 혼잡 제어 메커니즘을 더해 이더넷 인프라에서 InfiniBand에 필적하는 성능을 구현한다.

Colossus는 51.2 Tbps 용량의 Spectrum SN5600 스위치와 BlueField-3 SuperNIC 조합으로 95% 이상의 데이터 처리량을 달성했다. 2025년 중반 울트라 이더넷 컨소시엄 스펙이 성숙하면서 하이퍼스케일러들이 대규모 RoCE 배포를 공개 검증하기 시작했고, 이더넷은 AI 백엔드 네트워크의 주류로 부상했다.

⤢✕

장애 범위를 통제하는 클러스터 분할

200K GPU를 하나의 플랫 네트워크로 묶으면 브로드캐스트 도메인과 장애 도메인이 함께 커진다. 운영 환경에서는 작업, 통신 경로, 전력과 냉각 단위를 기준으로 경계를 나눠야 한다.

각 추론 작업(Job)은 필요한 GPU 수량에 맞춘 격리 파티션에 배치한다. 한 Job의 장애가 전체 클러스터로 번지는 것을 막기 위해서다. GPU-to-GPU 경로는 Rail 단위로 구성해 같은 Job의 GPU가 동일 Rail 스위치를 거쳐 최단 경로로 통신하도록 한다.

네트워크는 Leaf가 서버를 연결하고 Spine이 Leaf 간 연결을 담당하는 2-tier 구조를 사용한다. 스위치 수를 줄이면서 East-West 트래픽을 균등하게 분산할 수 있다. 전원 공급, 냉각, 스위치 단위로 Fault Domain을 정의하면 계획 유지보수나 하드웨어 장애가 미치는 범위도 제한할 수 있다.

추론 수요의 변동을 받아들이는 방식

Anthropic의 연환산 수익(run-rate revenue)은 2025년 말 약 90억 달러에서 2026년 초 300억 달러를 돌파했다. 'Code with Claude' 확장과 Claude Pro/Max 구독자 증가가 추론 컴퓨팅 수요 상승과 맞물린 결과다.

훈련은 수일~수주 동안 대량의 GPU를 독점하는 배치 워크로드다. 반면 추론은 수천만 건의 소규모 요청을 수십 밀리초 안에 처리해야 하는 지연 시간 민감 워크로드다. 이 차이 때문에 추론 인프라는 평균 부하만으로 설계할 수 없다.

예측 가능한 평균 수요는 전용 GPU 풀로 처리하고, 이 풀은 콜드 스타트 지연을 없애기 위해 항상 예열(warm) 상태를 유지한다. 예약 인스턴스 모델을 이용해 단가를 낮추는 영역이기도 하다.

피크 시간대에는 추가 GPU 풀이 필요하다. 트래픽 예측 모델은 30분~1시간 전에 사전 프로비저닝을 시작하고, Kubernetes Dynamic Resource Allocation(DRA)으로 GPU를 추론 파드에 동적으로 할당한다. 예측을 벗어난 급증은 외부 GPU 마켓플레이스나 예비 클라우드 용량으로 처리할 수 있다. 이 긴급 버스트 구간은 비용이 높지만 사용 빈도가 낮아 전체 TCO에 미치는 영향은 제한적이다.

자체 구축과 임차 사이의 비용·시간 선택

AI 사업자가 컴퓨팅 인프라를 확보할 때의 핵심 트레이드오프는 자본 비용(CapEx)과 운영 유연성이다.

2026년 기준 H100 GPU를 소유해 운용하면 클라우드 IaaS 대비 최대 8배, 프론티어 모델 API 서비스 대비 최대 18배 낮은 단가로 추론 연산을 처리할 수 있다. 클라우드 사업자의 H100 임차 비용은 월 1만 8천~7만 달러 수준이고, 동급 GPU를 소유·운용하는 비용은 월 약 4,285달러 수준이다. 24시간/7일 또는 60% 이상 가동률을 유지하는 워크로드라면 36개월 기준 온프레미스가 거의 항상 더 저렴하다.

다만 독자 데이터센터는 GPU 구매만으로 끝나지 않는다. 설계와 구축에는 수년, 수조 원의 투자가 필요하며, 전력 인프라, 냉각 시스템, 네트워킹 장비, 부지, 운용 인력을 함께 확보해야 한다.

Anthropic은 Google Cloud TPU, Amazon Trainium, Nvidia GPU를 동시에 활용하는 분산 컴퓨팅 전략을 택했다.

⤢✕

이 구성은 특정 벤더의 공급망 문제나 가격 인상에 대한 협상력을 남긴다. TPU는 대규모 배치 처리에, GPU는 저지연 추론에 유리한 특성에 맞춰 워크로드를 배치할 수도 있다. 특정 칩 아키텍처에 병목이 생겼을 때 다른 플랫폼으로 전환할 수 있다는 점도 중요하다.

SpaceX Colossus를 임차하는 방식은 이미 검증된 대형 클러스터 전체를 장기 임차하는 선택지다. 한 달 이내의 빠른 용량 확보, 구축 리스크 제거, xAI가 Grok 추론에 사용해 검증한 아키텍처, 미래 궤도 데이터센터 협력을 위한 관계 구축이 이 계약의 실질적 가치다.

경쟁사인 xAI(Grok 개발사)와 Anthropic이 동일한 물리적 인프라를 시간대별로 분리해 공유한다는 사실도 눈여겨볼 대목이다. GPU 공급이 수요를 따라가지 못하는 환경에서는 경쟁 관계보다 컴퓨팅 확보가 우선순위가 된다.

수십만 GPU를 운영할 때 생기는 문제

200K+ GPU 클러스터를 추론에 사용하면 구축 이후의 운영 난도가 더 높아진다. 수십만 개의 GPU를 동시에 돌리면 일평균 수십 개의 하드웨어 장애가 발생한다. 장애 GPU를 감지하고 교체하는 동안 해당 Job을 다른 노드로 마이그레이션하는 자동화 파이프라인이 필요하다.

300MW 전력 시설의 폐열 처리도 별도의 설계 과제다. 액체 냉각(Direct Liquid Cooling)은 공기 냉각 대비 열 밀도를 3~5배 높일 수 있어 대형 AI 데이터센터의 표준으로 자리잡고 있다.

스케줄러는 수천 건의 추론 요청을 수십만 GPU에 배치하면서 지연 시간, 처리량, GPU 활용률을 동시에 다뤄야 한다. Continuous Batching과 PagedAttention 같은 LLM 추론 최적화 기법은 이 문제를 해결하는 소프트웨어 레이어 역할을 한다.

지상 인프라 밖으로 확장되는 컴퓨팅 용량

Anthropic은 SpaceX와 수 기가와트 규모의 궤도 AI 컴퓨팅 용량 개발에도 관심을 표명했다. 지구 저궤도 데이터센터는 이론적으로 우주 방사냉각을 이용해 냉각 문제를 다루고, 특정 지역 전력망의 제약에서 벗어날 수 있다.

현재로서는 개념 단계에 가깝다. 다만 지상 인프라만으로 수 기가와트 이상의 AI 컴퓨팅 수요를 감당하기 어렵다는 인식은 업계 전반에 확산되고 있다. Colossus 사례는 AI 인프라 아키텍처가 순수한 엔지니어링 문제가 아니라, 수요 성격과 타임라인을 바탕으로 컴퓨팅을 확보하는 전략적 의사결정 영역이 됐음을 보여준다.