AI 워크로드에서 NCCL과 OS 커널 최적화

프레임워크에서 하드웨어까지 이어지는 실행 경로

수천 개의 GPU가 함께 학습하는 환경에서는 모델 코드만으로 성능을 설명하기 어렵다. 프레임워크의 연산 그래프, NCCL 같은 통신 라이브러리, 런타임과 드라이버, OS 커널의 자원 관리가 이어져야 GPU 클러스터의 확장성을 확보할 수 있다.

⤢✕

애플리케이션은 모델과 학습 로직을 정의하고, 프레임워크는 자동 미분과 연산 그래프 최적화를 맡는다. 통신 계층은 멀티 GPU 간 데이터 교환을 다루며, 런타임은 커널 실행과 메모리 관리를 수행한다. 드라이버는 하드웨어를 추상화하고, OS 커널은 CPU-GPU 협업과 자원 할당을 조율한다. 물리적인 연산과 통신은 GPU, NVLink, IB 계층에서 이뤄진다.

AI 워크로드는 대용량 메모리 전송, 짧은 커널 실행, 빈번한 동기화를 동시에 요구한다. GPU 메모리 페이징과 Unified Memory, AllReduce 같은 집합 통신, 동적 주파수와 열 관리, CPU-GPU 친화성을 고려한 NUMA 배치가 커널 관점의 주요 대응 지점이다. 짧은 커널 실행에는 마이크로초 단위 스케줄링 요구도 따른다.

NCCL이 연결하는 GPU 통신과 커널 지원

NCCL은 GPU 사이의 집합 통신을 위한 라이브러리다. NVLink, PCIe, InfiniBand의 연결 구조를 인식해 전송 경로를 다루며, 커널과 드라이버의 지원 기능을 통해 GPU 메모리와 네트워크 경로를 연결한다.

⤢✕

Ring AllReduce는 O(N) 복잡도로 대역폭 활용을 겨냥한다. 작은 메시지에서는 지연 시간을 줄이기 위한 Tree Algorithm을 사용할 수 있고, Double Binary Tree는 대규모 클러스터 확장성을 위한 방식이다. 여기에 NVLink, PCIe, InfiniBand 계층을 고려하는 토폴로지 인식과 GPU Direct RDMA를 통한 제로 복사가 결합된다.

GPU Direct RDMA는 GPU 메모리에서 네트워크 카드로 직접 데이터를 보낸다. CPU 메모리를 거치는 경로를 제거해 대역폭을 2배 이상 향상시키며, peer-to-peer BAR mapping을 활용한다.

Unified Memory Management는 CPU와 GPU 사이의 자동 페이지 마이그레이션, 오버서브스크립션, Hint 기반 프리페칭과 관련된다. CUDA MPS(Multi-Process Service)는 GPU 컨텍스트 공유로 오버헤드를 낮추고, 동시 실행 프로세스 간 SM 공유와 스케줄링 지연 최소화를 지원한다.

PyTorch와 TensorFlow에서 나타나는 최적화 지점

PyTorch에서는 TorchScript를 통한 JIT 컴파일과 그래프 최적화, CPU-GPU 병렬 처리를 위한 비동기 실행, 메모리 풀을 통한 할당 오버헤드 감소가 연결된다. Autograd Engine은 계산 그래프를 최적화하고, DDP(DistributedDataParallel)는 NCCL을 바탕으로 그래디언트를 동기화한다.

⤢✕

TensorFlow에서는 XLA(Accelerated Linear Algebra)의 Just-In-Time 컴파일, 정적 그래프를 사용하는 Graph Mode, 입력 파이프라인을 병렬화하는 tf.data가 관련된다. MirroredStrategy는 단일 노드 멀티 GPU에, MultiWorkerMirroredStrategy는 NCCL 기반 분산 학습에 사용된다.

분산 학습에서 부딪히는 통신과 메모리 문제

계산보다 통신 시간이 길어지는 대역폭 병목, stragglers로 인한 동기화 지연, 메모리 복사 오버헤드는 분산 학습의 대표적인 문제다. Gradient Compression에서는 양자화와 희소화를 사용하고, 통신과 계산을 파이프라이닝으로 겹치는 Overlap 최적화를 적용할 수 있다. 노드 내와 노드 간 경로를 분리하는 Hierarchical AllReduce, 작은 메시지를 병합하는 RDMA Write Aggregation도 같은 맥락에 있다.

메모리 쪽에서는 Activation Checkpointing이 메모리와 계산 사이의 트레이드오프를 제공한다. ZeRO(Zero Redundancy Optimizer)는 모델 병렬화와 연결되며, Offloading은 CPU 메모리와 NVMe SSD를 활용한다. Mixed Precision은 FP16/BF16으로 메모리를 절반으로 줄이고, Memory Pool 튜닝은 프리알로케이션 크기 조정을 다룬다.

실행 환경에서 확인할 튜닝 항목

커널과 하드웨어 환경은 학습 실행의 안정성과 배치에 영향을 준다. 다음 명령은 GPU 클럭, CPU 주파수, NUMA 바인딩, 벤치마크용 페이지 캐시를 조정하는 예시다.

# GPU 클럭 고정 (성능 안정성)
nvidia-smi -pm 1
nvidia-smi -lgc 1410,1410

# CPU 주파수 고정
cpupower frequency-set -g performance

# NUMA 바인딩
numactl --cpunodebind=0 --membind=0 python train.py

# 페이지 캐시 비우기 (벤치마크용)
echo 3 > /proc/sys/vm/drop_caches

NCCL 환경 변수에서는 네트워크 인터페이스와 HCA, 통신 프로토콜, 디버깅 범위, 소켓 관련 튜닝 값을 지정할 수 있다.

# 네트워크 인터페이스 지정
export NCCL_SOCKET_IFNAME=eth0
export NCCL_IB_HCA=mlx5_0

# 통신 프로토콜
export NCCL_P2P_LEVEL=NVL  # NVLink 우선
export NCCL_NET_GDR_LEVEL=5  # GPU Direct RDMA

# 디버깅
export NCCL_DEBUG=INFO
export NCCL_DEBUG_SUBSYS=INIT,GRAPH

# 성능 튜닝
export NCCL_NSOCKS_PERTHREAD=4
export NCCL_SOCKET_NTHREADS=4

PyTorch DDP에서는 NCCL 백엔드 초기화, 모델 래핑, Gradient Bucketing 관련 설정이 통신 경로에 직접 연결된다.

import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP

# NCCL 백엔드 초기화
dist.init_process_group(
    backend='nccl',
    init_method='env://',
    world_size=world_size,
    rank=rank
)

# 모델 래핑
model = DDP(
    model.cuda(),
    device_ids=[local_rank],
    output_device=local_rank,
    broadcast_buffers=False,  # BN 계층 동기화 비활성화
    find_unused_parameters=False  # 성능 향상
)

# Gradient Bucketing 튜닝
model._set_static_graph()  # 정적 그래프 최적화

프로파일링으로 병목을 분리하는 방법

NVIDIA Nsight Systems는 타임라인 분석에, NVIDIA Nsight Compute는 커널 수준 분석에 사용된다. PyTorch Profiler는 연산자별 시간을 측정하고, TensorBoard는 성능을 시각화한다. NCCL Tests는 통신 대역폭 벤치마크에 활용한다.

⤢✕

병목을 찾을 때는 데이터 로딩의 디스크 I/O와 전처리, H2D/D2H 복사의 PCIe 대역폭, GPU 활용률, 네트워크 대역폭, Barrier와 대기 시간에 따른 동기화를 함께 구분해 본다.

하드웨어와 소프트웨어가 함께 바꾸는 방향

NVLink Switch는 다중 GPU 간 직접 연결을, CXL(Compute Express Link)은 메모리 공유 표준화를 다룬다. SmartNIC 통합에 따른 통신 오프로드, 스위치 내부 연산을 사용하는 In-Network Computing, GPU 메모리 풀링을 위한 Disaggregated Memory도 이어지는 변화다.

소프트웨어에서는 AutoML 기반 자동 분산 전략, 동적 토폴로지 변경을 반영하는 적응형 통신, DP+TP+PP 자동 조합을 위한 하이브리드 병렬화가 제시된다. 체크포인트와 재시작 최적화를 포함한 Fault Tolerance 역시 대규모 학습 운영의 축이다.

NCCL 같은 전문화된 통신 라이브러리는 OS 커널의 지원을 바탕으로 GPU를 조율한다. 통신-연산 오버랩, GPU Direct 기술, 토폴로지 인식 알고리즘은 대규모 AI 모델 학습의 확장성과 맞닿아 있으며, 하드웨어와 소프트웨어의 공동 설계는 AI 가속기 시대의 운영체제 변화로 이어진다.