Intel·Google 협력으로 보는 Xeon 6 AI 추론과 IPU 인프라

GPU 병목이 CPU 추론을 다시 끌어올린 배경

Intel과 Google은 2026년 4월 9일 AI 클라우드 인프라 구축을 위한 다년간 협력을 발표했다. Google Cloud는 최신 Intel Xeon 6 프로세서를 워크로드 최적화 인스턴스에 배포하고, 양사는 ASIC 기반 커스텀 IPU(Infrastructure Processing Unit)를 함께 개발한다. GPU 공급망 병목과 전력 비용 압박이 겹친 상황에서 CPU를 AI 추론의 실질적 대안으로 두려는 움직임이다.

이 협력에는 세 가지 압력이 겹쳐 있다. NVIDIA GPU 수요가 공급을 웃도는 상태가 이어지면서 하이퍼스케일러는 추론을 분산할 플랫폼을 찾고 있다. CPU 기반 추론은 조달 리드타임이 짧고 기존 데이터센터 인프라를 바로 활용할 수 있다.

AI 추론은 2026년 전체 AI 컴퓨팅의 3분의 2를 차지할 것으로 전망된다. 학습은 상대적으로 적은 수의 대형 클러스터에서 이뤄지지만, 추론은 많은 엔드포인트에서 계속 실행된다. 이처럼 분산된 수요를 GPU만으로 감당하는 일은 비용과 공급 측면 모두에서 부담이 크다.

Intel에도 이는 데이터센터 사업의 방향과 연결된다. GPU 중심 패러다임이 강해질수록 CPU 시장의 입지는 좁아진다. Xeon 6를 AI 추론 플랫폼으로 자리매김하고 대형 클라우드 계약을 확보하는 일은 Intel의 데이터센터 사업 재정립에 중요하다.

Google Cloud에 배포되는 Xeon 6의 구성

Xeon 6는 AI 워크로드를 명시적 설계 목표로 둔 서버 프로세서다. Google Cloud는 이를 범용 컴퓨팅 최적화용 C4 인스턴스와 네트워크 집약 워크로드용 N4 인스턴스에 배포한다.

하나의 소켓에는 성능 코어(P-core)와 효율 코어(E-core)가 함께 들어간다. P-core는 지연시간에 민감한 단일 스레드 AI 추론에, E-core는 처리량 중심의 배치 추론과 데이터 전처리에 배치된다.

P-core 변형에는 온패키지 HBM(고대역폭 메모리) 옵션도 있다. 대형 모델 추론처럼 메모리 대역폭 병목이 속도를 좌우하는 경우, HBM 탑재 모델은 일반 DDR 메모리 구성보다 유리하다.

행렬 연산을 CPU 안으로 가져오는 AMX

Intel AMX(Advanced Matrix Extensions)는 AI 추론 가속을 위한 명령셋이다. 4세대 Xeon Scalable(2023년)부터 도입됐고 Xeon 6에서 완성도를 높였다.

AMX는 대형 행렬을 직접 담는 타일 레지스터와, 이 타일 사이의 행렬 곱셈을 단일 명령으로 수행하는 TMUL(Tile Matrix Multiply Unit)로 구성된다. 타일 레지스터는 8개이며 각각 1 KB 용량이다. 처리량은 사이클당 INT8 연산 2,048회, BF16 연산 1,024회다.

트랜스포머의 어텐션 메커니즘과 피드포워드 레이어는 대규모 행렬 곱셈으로 귀결된다. AMX는 이 연산을 하드웨어 수준에서 가속해, 기존 SIMD(AVX-512) 방식보다 대형 행렬 처리에 적합하다.

원본 기준 실측 성능은 다음과 같다.

AMX 활성화 시 CPU 기반 AI 추론 최대 76% 가속
AMX 활성화 전후 처리량 2× 향상
AMX 기반 Xeon에서 토큰 생성 속도 최대 57 tokens/sec(7B 모델 기준)

IPU가 맡는 데이터센터의 주변 작업

협력의 다른 축은 커스텀 IPU(Infrastructure Processing Unit) 공동 개발이다. IPU는 ASIC 기반 프로그래머블 가속기로, 기존에 CPU가 수행하던 인프라 기능을 오프로드한다.

대상은 네트워킹의 SR-IOV, RDMA, NIC 가상화, 패킷 처리다. 스토리지에서는 NVMe-oF, 데이터 압축·암호화, 스토리지 가상화를 처리하며, 보안 영역에서는 TLS/IPsec 가속, 마이크로세그멘테이션, 감사 로깅을 맡는다.

이 작업이 IPU로 이동하면 Xeon CPU 코어는 AI 추론을 포함한 실제 애플리케이션 처리에 집중할 수 있다. AWS Nitro, Microsoft Azure FPGA 오프로드, Google의 자체 SmartNIC 설계와 유사한 방향이지만, Intel과 Google은 CPU 로드맵과 밀결합된 커스텀 ASIC을 공동 개발한다는 점이 다르다.

기대하는 운영상 변화는 CPU 코어 활용률 향상, 인프라 태스크와 애플리케이션 태스크 분리로 인한 예측 가능한 성능, 전용 하드웨어가 범용 CPU보다 단위 기능당 전력을 적게 쓰는 데 따른 전력 효율 개선이다.

GPU를 대체하기보다 추론 풀을 나누는 기준

CPU 기반 AI 추론은 GPU와 다른 강약점 프로파일을 가진다. GPU 대비 공급망이 안정적이고 리드타임이 짧으며, H100/H200 GPU 클러스터보다 자본 지출(CapEx)이 현저히 낮다. 기존 x86 서버, 운영 도구, 모니터링 스택에 바로 통합할 수 있고 ONNX Runtime, OpenVINO, llama.cpp 같은 CPU 최적화 추론 프레임워크도 성숙했다.

반대로 동일 전력·비용 기준의 토큰 생성 처리량은 GPU에 미치지 못한다. 70B 이상 모델은 메모리 용량과 대역폭 한계로 서빙이 어렵고, GPU가 수천 개 요청을 동시에 배치하는 것과 달리 CPU의 배치 효율도 제한적이다.

따라서 CPU와 GPU를 같은 용도로 비교하기보다, 어떤 워크로드를 어느 풀에 둘지 판단하는 편이 현실적이다.

소형~중형 모델 가운데 7B 파라미터 이하 모델은 CPU 메모리에 완전히 올릴 수 있으며, AMX 가속으로 실용적인 추론 속도를 달성한다. Llama 3.1 8B, Mistral 7B, Gemma 7B가 이 범주에 언급된다.

분류(Classification), 임베딩(Embedding), 추천 시스템처럼 실시간성이 필요하지 않은 배치 처리와 전통적 ML도 CPU에 맞는다. E-core 클러스터의 고밀도 병렬 처리가 유리하다. 수요에 따라 AI 기능을 스케일 업·다운해야 하는 서비스는 GPU 클러스터의 고정 비용보다 CPU 인스턴스의 탄력적 확장이 TCO 관점에서 유리할 수 있다. GPU 가용성이 낮은 지역 클라우드 리전이나 엣지 환경에서는 Xeon 기반 서버가 추론 기능의 배포 범위를 넓힌다.

공동 설계가 바꾸는 하드웨어 선택 방식

전통적으로 하이퍼스케일러는 반도체 업체의 제품 라인업에서 필요한 제품을 선택해 구매했다. 이 협력은 하이퍼스케일러가 반도체 업체의 다세대 로드맵 설계에 참여하고, 특정 워크로드에 맞춘 실리콘을 공동 개발하는 모델에 가깝다.

이는 Google이 Tensor Processing Unit(TPU)을 자체 개발하며 시작한 흐름의 연장선이다. TPU가 Google 내부 전용인 것과 달리, Intel-Google IPU 협력은 Intel의 제조 역량과 Google의 시스템 설계 요구사항을 결합해 외부 시장에서도 경쟁력을 갖는 제품을 만들 가능성을 둔다.

인프라 설계에서는 AI 추론을 단일 가속기 유형으로 구성하기보다 워크로드별 이종 가속기 조합(heterogeneous compute mix)으로 봐야 한다. 소형 모델 추론과 임베딩은 CPU 풀로 분리하고, GPU 자원은 대형 모델 서빙에 집중할 수 있다. IPU 기반 인프라 오프로드도 CPU 코어 활용률을 높이는 데이터센터 설계 요소로 함께 검토할 수 있다.

AI 인프라의 선택 기준은 개별 제품 구매에서 최적 하드웨어 조합 설계로 옮겨가고 있다. Xeon 6의 AMX와 커스텀 IPU는 그 전환에서 CPU가 맡을 수 있는 역할을 보여준다.