AI 반도체 아키텍처 지형도: GPU·TPU·NPU·ASIC은 무엇이 다른가

범용 CPU로는 처리할 수 없는 지점까지 딥러닝 모델의 파라미터 수와 데이터 규모가 커지면서, GPU·TPU·NPU·ASIC·FPGA 같은 이종 가속기가 AI 인프라의 중심으로 옮겨왔다. 그런데 이 가속기들을 "더 빠른 칩" 정도로만 이해하면 실제 설계·운영에서 부딪히는 병목을 놓치기 쉽다. AI 반도체는 대규모 행렬·텐서 연산을 위해 병렬 처리 구조, 고대역폭 메모리(HBM), 전용 데이터플로를 하나로 묶은 가속기 반도체 총칭이고, 그 범위는 칩(연산 코어, SRAM/캐시, HBM PHY)에서 패키지(칩렛/2.5D), 보드(PCIe/NVLink), 클러스터(InfiniBand/RDMA)까지, 그리고 CUDA·ROCm·XLA 같은 소프트웨어 스택까지 수직으로 이어진다.

연산이 실제로 일어나는 곳

가속기 코어는 SIMD/SIMT, 시스톨릭 어레이, 텐서 코어 구조를 채택해 GEMM·컨볼루션 같은 고밀도 연산에서 데이터 재사용을 극대화하도록 설계된다. 여기서 관건은 데이터플로 선택이다. Weight-Stationary·Output-Stationary·Row-Stationary 중 워크로드 특성에 맞는 방식을 고르고, 타일링과 파이프라이닝을 적용해 로컬 메모리 활용을 최대화해야 실제 처리량이 이론치에 가까워진다.

메모리가 성능 상한을 정한다

연산 유닛이 아무리 빨라도 데이터를 공급받지 못하면 놀게 된다. 온패키지 HBM과 대용량 SRAM/캐시로 이 메모리 병목을 완화하는데, 대역폭·용량·지연 세 축의 균형을 맞추는 일이 설계의 핵심이다. 실무에서는 프리패치·체크포인팅·오프로딩(CPU·스토리지)을 조합한 계층형 메모리 운용이 일반적이고, CXL 기반 메모리 확장도 검토 대상에 오르고 있다(최신 정보 확인 필요).

정밀도를 낮추는 만큼 얻는 것과 잃는 것

FP32에서 BF16/FP16/FP8·INT8로 내려가는 혼합정밀(Mixed Precision) 연산은 연산량과 메모리 트래픽을 동시에 줄인다. 다만 정밀도를 낮출수록 수렴 안정성이 흔들릴 수 있어 Loss Scaling과 정규화로 보완한다. 여기에 구조적·비구조적 희소성(Sparsity)을 프루닝·게이팅으로 활용하면 유효 연산량 자체가 줄어 에너지 효율이 한 단계 더 개선된다. 혼합정밀·희소성에 커널 퓨전까지 함께 적용하면 학습 처리량이 1.53.0배, 추론 지연은 3070% 절감되는 경우가 있고, 동일 전력 예산 대비 성능/와트도 1.5배 이상을 기대할 수 있다.

칩 하나를 넘어서는 통신 구조

단일 칩의 성능이 아무리 좋아도 여러 장치를 묶어 학습·추론을 돌리는 순간 통신이 새로운 병목이 된다. 노드 내부는 NVLink·PCIe로, 노드 간에는 InfiniBand·RoCE로 연결하며 All-Reduce·All-Gather 같은 집합 통신을 토폴로지를 인지한 스케줄링으로 최적화해야 한다. 파이프라인·텐서·데이터 병렬을 혼합해 수평·수직으로 확장하고, 대규모 분산 학습에서는 오류 복구와 체크포인팅이 안정성을 좌우한다.

소프트웨어 스택이 하드웨어 성능을 가둔다

CUDA·ROCm, XLA·MLIR, Triton 커널 같은 컴파일·런타임 계층이 없다면 하드웨어의 이론 성능은 도달 불가능한 숫자로 남는다. 커널 퓨전과 메모리 코얼레싱으로 커널 호출·메모리 왕복을 줄이고, 그래프 최적화와 런타임 스케줄러로 동적 형상·스트리밍 배치를 처리한다. 프로파일링·트레이싱 기반 관측 가능성 없이는 이 모든 최적화가 어디서 막히는지 확인할 방법이 없다.

현장 적용

대규모 언어 모델의 학습·추론에서는 데이터·텐서·파이프라인 병렬을 혼합 구성하고, 시퀀스 병렬화와 KV-Cache 최적화로 추론 지연을 줄인다. 메모리 한계는 체크포인팅·ZeRO·오프로딩으로 넘어서고, 토폴로지 인지형 통신 스케줄링이 스케일 효율을 좌우한다.

추천·랭킹 시스템은 거대 임베딩 테이블을 분산 샤딩하고 빈도 기반 캐싱을 적용한다. INT8/FP8 양자화로 대역폭·메모리 사용량을 줄이고, 피처 조인·전처리 파이프라인을 GPU로 일원화하되 온라인·오프라인 경로 간 일관성 지표를 관리해야 한다.

비전·엣지 NPU는 CNN/ViT 추론에 특화된 SoC로 전력 5~20W급에서 동작한다. 온칩 SRAM을 최대한 활용해 외부 메모리 접근을 줄이고, 배치=1의 저지연 처리와 프레임 드롭 방지를 위한 스케줄링 튜닝, 모델 경량화가 함께 간다.

데이터센터 구축·운영에서는 랙 스케일 냉각·전력 설계와 HBM 용량 선택이 TCO를 결정한다. CXL·DPU로 I/O를 오프로드하고 스토리지 파이프라인을 가속하며, 관측 가능성과 자동 리메디에이션, 펌웨어·드라이버 버전 고정과 점진 롤아웃이 운영 안정성의 기본이다.

설계·운영에서는 세 가지 트레이드오프가 계속 부딪힌다. 성능과 정밀도 사이에서는 FP8/INT8 전환 시 품질 저하 리스크가 있어 사전 Calibration과 A/B 검증이 필요하다. 확장성과 일관성 사이에서는 거대 클러스터에서 통신 병목과 재현성 저하가 발생하기 쉬워 결정적 알고리즘·시드 고정·통신 토폴로지 최적화를 병행해야 한다. 효율과 안정성 사이에서는 고밀도 탑재 시 열·전력 한계로 스로틀링 위험이 커져 랙당 전력 헤드룸과 액체냉각 검토가 필요하다(최신 정보 확인 필요).

가속기 유형별 특성 비교

유형	성능(행렬 연산)	확장성(노드/클러스터)	일관성(재현성/툴체인)	안정성(에러/열)	운영 편의
GPU	매우 높음	매우 높음	높음	높음	매우 높음
TPU	매우 높음	매우 높음	중간	높음	중간
NPU(엣지)	중간	낮음	중간	중간	높음
FPGA	중간	중간	낮음	중간	낮음
ASIC(특정용)	매우 높음	중간	낮음	중간	낮음

실제 수치는 세대·공정·패키징(HBM3e/HBM4, NVLink/PCIe 세대)에 따라 달라지므로 최신 벤치마크·스펙 시트를 함께 확인해야 한다.

추론 파이프라인의 실제 흐름

아래는 입력 수신부터 출력·자원 관리까지, 오류 복구 경로를 포함한 AI 반도체 추론 파이프라인이다.

⤢✕

락 획득 실패 시 재시도, 메모리 할당 실패 시 오프로딩 경로, 온도·전력 모니터링에 따른 스로틀링 판단까지 — 실제 운영에서는 이 경로들이 정상 흐름만큼이나 자주 밟힌다.

토폴로지 인지형 스케줄링과 효율적인 집합 통신을 갖추면 노드 확장 시 선형 스케일링에 근접하고, 체크포인팅과 자동 복구는 장시간 학습의 성공률을 끌어올린다. HBM 용량과 링크 구성을 최적화하고 냉각 효율을 개선하면 랙당 성능이 극대화되며, 운영 자동화와 관측 가능성 강화는 MTTR 단축과 가용성 향상으로 이어진다.

AI 반도체는 모델 규모 확대와 서비스 지연 요구를 동시에 만족시켜야 하는 인프라의 핵심 구성 요소다. 연산 아키텍처 하나만 잘 골라서는 부족하고, 메모리 대역폭·통신 구조·소프트웨어 스택을 전주기로 함께 최적화해야 한다. 혼합정밀과 희소성, 토폴로지 인지형 스케줄링을 표준화해 성능·비용·안정성의 균형을 잡는 것이 실무의 목표다.