PyTorch 2.15 업그레이드 전 점검할 NCCL·체크포인트·FSDP2

학습 인프라의 설치 조건, NCCL 통신, 체크포인트 복구 경로와 FSDP2 gradient dtype을 점검해 PyTorch 2.15 업그레이드 범위를 결정한다.

2026-11-05

설치 가능한 노드부터 구분한다

PyTorch 2.15에서 저장한 분산 체크포인트는 2.14 이하에서 읽을 수 없다. 기본 NCCL 구현도 교체되며, 같은 FSDP2 설정을 유지해도 gradient 통신 dtype이 달라질 수 있다. 패키지 설치 성공만으로 업그레이드 검증을 끝낼 수 없는 이유다.

이 글의 기준은 **PyTorch v2.15.0 (2026-10-28)**이며, 변경 사실은 PyTorch 2.15.0 공식 릴리스노트에 근거한다. 운영에서는 먼저 설치 조건을 확인하고, 통신과 체크포인트 복구 경로, mixed precision 설정 순으로 검증 범위를 좁히는 편이 좋다.

기본 PyPI 휠은 CUDA 13.0에서 CUDA 13.2로 바뀐다. 2.15의 CUDA 휠은 cu132와 cu134이며, cu126과 cu130은 더 이상 빌드하지 않는다. CUDA 13 휠에는 NVIDIA 드라이버 580 이상과 Turing(sm_75) 이상의 GPU가 필요하다. 릴리스노트는 Maxwell·Pascal·Volta GPU와 CUDA 12.x 드라이버를 사용하는 호스트에 2.14 유지를 안내한다.

Python도 설치 경계다. 바이너리 최소 지원 버전은 3.11이며, torch와 Triton의 cp310 휠은 발행하지 않는다. Python 3.10에서는 pip가 2.15 휠을 찾지 못한다.

CUDA 휠을 사용하는 노드는 다음 분기로 설치 대상과 보류 대상을 구분할 수 있다.

⤢✕아니오예아니오예CUDA 휠 사용 노드Python 3.11 이상인가Python 업그레이드 또는PyTorch 2.14 유지드라이버 580 이상이며 Turing이상인가PyTorch 2.14 유지PyTorch 2.15 CUDA 휠 설치검증

설치 명령은 노드 조건을 확인한 다음 선택한다. 아래는 릴리스노트에 제시된 경로다.

# 기본 PyPI 휠은 CUDA 13.2
pip install torch

# CUDA 13.4 휠
pip install torch --index-url https://download.pytorch.org/whl/cu134

# CUDA 12.6 또는 CUDA 13.0을 유지해야 하는 경우
pip install torch==2.14.0 --index-url https://download.pytorch.org/whl/cu126  # or cu130

Python 환경을 옮겼다면 목표 버전을 명시해 설치를 확인한다.

python3.11 -m pip install torch==2.15.0

ROCm 노드는 별도로 분류해야 한다. 휠은 ROCm 7.14와 10.0으로 이동하며, ROCm 7.2 휠과 gfx900·gfx906 커널은 제외된다. 해당 GPU 사용자는 2.14의 rocm7.2를 유지하거나, PYTORCH_ROCM_ARCH에 대상 아키텍처를 지정해 소스에서 빌드하는 경로를 검토할 수 있다.

pip install torch --index-url https://download.pytorch.org/whl/rocm7.14  # or rocm10.0

NCCL은 백엔드 이름보다 장치와 통신 구조를 확인한다

backend="nccl"은 이제 재작성된 구현을 생성한다. init_process_group()의 기본 CUDA 백엔드도 이 변경을 따른다. 기존 코드가 계속 "nccl"을 넘기더라도 내부 구현은 달라진다.

가장 먼저 볼 곳은 프로세스 그룹 생성 코드다. 새 구현은 init_process_group()과 new_group()에서 communicator를 즉시 생성한다. 사용하지 않는 그룹도 GPU 메모리를 할당하므로, 그룹 생성 후 실제 사용 시점까지 여유가 있던 작업도 그룹 초기화 구간을 확인해야 한다.

장치 선택 방식도 바뀐다. 각 그룹은 하나의 CUDA 장치에 묶이며, 선택 순서는 다음과 같다.

  • 명시한 device_id
  • LOCAL_RANK % torch.cuda.device_count()
  • LOCAL_RANK가 없으면 global rank를 장치 수로 나눈 나머지

이 선택에는 torch.cuda.set_device()가 사용되지 않는다. 기존 코드가 set_device()만으로 그룹의 장치를 정한다고 기대했다면, 그룹 생성 시 device_id를 명시하는 쪽으로 수정해야 한다. 그룹에 묶인 장치와 다른 GPU의 텐서를 전달하면 장치 불일치 오류가 발생한다.

백엔드 선택은 초기화 시점과 P2P communicator 요구를 기준으로 나눈다.

백엔드 초기화와 통신 특성 적용 판단
nccl communicator를 즉시 생성하는 기본 구현 기본 선택으로 사용하고 장치 바인딩을 확인한다
nccl-lazy collective용 communicator는 즉시 생성하고, 각 send/recv peer pair의 communicator와 stream은 지연 생성한다 서로 다른 peer와의 동시 P2P 통신을 겹쳐 실행해야 할 때 검토한다
nccl-legacy 기존 구현을 제공한다 기존 동작으로 임시 복귀하거나 프로세스당 여러 GPU가 필요한 경우에 해당한다

릴리스노트의 초기화 예시는 다음과 같다. 아래 호출은 대안별 예시이므로 작업에 맞는 것을 선택한다.

dist.init_process_group("nccl", device_id=torch.device("cuda", local_rank))
dist.init_process_group("nccl-lazy", device_id=torch.device("cuda", local_rank))
dist.init_process_group("nccl-legacy")

통신 래퍼와 진단 코드도 확인 대상이다. dist.get_backend_impl(...)이 반환하는 객체는 새 백엔드 클래스이므로 isinstance(..., ProcessGroupNCCL)은 False가 된다. comm_split_count()처럼 기존 구현에만 있던 메서드도 없다.

비동기 all_gather의 work.get_future() 반환값을 직접 해석하는 코드도 점검한다. 새 구현의 값은 rank별 출력 목록이며, stacked tensor를 담은 단일 원소 목록이 아니다. 릴리스노트는 양쪽 구현에서 동작하도록 all_gather에 전달한 출력 목록을 읽는 방식을 안내한다.

문제가 생기면 모든 rank에서 프로세스 그룹 생성 전에 TORCH_DIST_USE_NCCL2=0을 설정하거나 nccl-legacy를 선택할 수 있다. 다만 두 경로는 이번 릴리스에만 제공되며 다음 릴리스에서 제거된다. 임시 복귀가 성공했다면 검증 종료가 아니라, nccl 또는 nccl-lazy로 옮길 변경 지점을 찾은 것으로 보아야 한다.

체크포인트 복구 환경을 함께 올린다

분산 체크포인트 변경은 런타임 교체와 별도로 관리해야 한다. 2.15는 pickled .metadata 파일의 TensorProperties에 선택적 strides 필드를 추가한다. 이 형식을 2.14 이하의 dcp.load로 읽으면 다음 오류가 발생한다.

dcp.load(state_dict, checkpoint_id="/ckpt/step_100")
# CheckpointException: ... too many values to unpack (expected 5)

2.15는 2.14와 2.15 체크포인트를 모두 읽을 수 있다. 반대 방향은 지원되지 않으며, 2.15에서 이전 형식으로 저장하는 플래그도 없다.

복구 계획에서 확인할 것은 저장 버전과 로드 버전의 조합이다.

⤢✕로드 가능로드 가능로드 불가2.14 분산 체크포인트2.15 복구 환경2.15 분산 체크포인트2.14 이하 복구 환경

따라서 업그레이드 검증에는 기존 체크포인트를 새 환경에서 읽는 작업과, 새 환경에서 저장한 체크포인트를 다시 읽는 작업이 모두 들어가야 한다. 학습 환경을 올리면서 복구 환경을 2.14에 남겨 두면, 이후 생성되는 체크포인트를 그 복구 환경에서 사용할 수 없다.

2.14로 돌아갈 가능성을 남겨야 한다면 2.14에서 읽을 수 있는 체크포인트도 보존해야 한다. 패키지를 되돌리는 절차와 어떤 체크포인트에서 재개할지를 함께 정해야 복구 계획이 성립한다.

Nested tensor 로드 실패는 별도로 구분한다

Nested tensor를 담은 파일의 로드 실패는 분산 체크포인트의 stride 메타데이터 문제와 다르다. 2.15에서는 jagged·strided nested tensor가 torch.load(..., weights_only=True)의 기본 allowlist에서 제외된다. weights_only=True는 기본값이므로, 인자를 생략하던 코드도 영향을 받을 수 있다.

Jagged nested tensor를 명시적으로 허용하는 릴리스노트 예시는 다음과 같다.

from torch.nested._internal.nested_tensor import _rebuild_njt, NestedTensor

with torch.serialization.safe_globals([_rebuild_njt, NestedTensor]):
    loaded = torch.load("njt.pt", weights_only=True)

자료는 신뢰할 수 있는 파일에 한해 weights_only=False도 대안으로 제시한다. 복구 테스트에서 Unsupported global 오류가 나면 이 allowlist 변경을 확인하고, too many values to unpack (expected 5)가 나면 분산 체크포인트의 저장·로드 버전 조합을 확인한다.

FSDP2의 reduce_dtype을 의도대로 고정한다

FSDP2에서 MixedPrecisionPolicy(reduce_dtype=None)의 의미가 바뀐다. 이전에는 param_dtype을 따라 gradient를 누적하고 reduce했지만, 이제는 파라미터의 grad_dtype을 따른다. grad_dtype의 기본값은 파라미터의 원래 dtype이다.

흔한 구성인 fp32 파라미터와 param_dtype=bf16 조합에서는 gradient 누적과 reduce-scatter가 bf16에서 fp32로 바뀐다. 릴리스노트에 따르면 이 경우 reduce-scatter 바이트 수는 2배가 된다. 이 수치를 학습 전체 시간의 증가율로 해석해서는 안 된다. 검증할 대상은 dtype 변경에 따른 통신량과 해당 작업의 실행 결과다.

원래 파라미터 dtype param_dtype 2.14의 누적·reduce dtype 2.15의 누적·reduce dtype
fp32 bf16 bf16 fp32
bf16 fp32 fp32 bf16

두 행 모두 reduce_dtype=None일 때의 동작이다. 설정에서 reduce_dtype을 생략한 경우도 확인해야 한다.

다음 비교는 fp32 파라미터와 bf16 연산 설정에서 gradient 경로가 어떻게 달라지는지 보여 준다.

⤢✕ FSDP2에서 생략한 reduce_dtype의 의미 변화 PyTorch 2.14 → PyTorch 2.15 변경 전후 비교 공통 조건 원래 파라미터 dtype fp32 param_dtype=bf16 reduce_dtype=None PyTorch 2.14 (변경 전) gradient 누적 dtype reduce-scatter dtype reduce-scatter 바이트 수 bf16 bf16 비교 기준 PyTorch 2.15 (변경 후) gradient 누적 dtype reduce-scatter dtype reduce-scatter 바이트 수 fp32 fp32 2.14 대비 2배 별도 적용 reduce_dtype=torch.bfloat16 명시 기존 bf16 누적·reduce 동작 유지 PyTorch 2.15 업그레이드 전 점검할 NCCL·체크포인트·FSDP2 | mlops-data

기존 bf16 누적·통신을 유지하려면 reduce_dtype을 명시한다.

# fp32 parameters
mp_policy = MixedPrecisionPolicy(
    param_dtype=torch.bfloat16,
    reduce_dtype=torch.bfloat16,
)
fully_shard(model, mp_policy=mp_policy)

반대로 새 기본 동작을 사용하려면 reduce_dtype=None을 유지하되, fp32 누적과 reduce-scatter를 의도한 선택으로 기록한다. 설정 파일이 같다는 이유로 이전과 같은 mixed precision 동작이라고 판단하면 안 된다.

Gradient accumulation을 관찰하는 코드에도 변화가 있다. Reduce-scatter를 하지 않는 누적 구간에서 unsharded 파라미터의 .grad는 이제 항상 누적값을 보유하며, unsharded 상태의 model.parameters()로 확인할 수 있다. 이전에는 reduce_dtype이 설정되어 param_dtype과 다를 때 .grad가 None이고 합계는 숨겨진 버퍼에 있었다. .grad is None을 전제로 한 진단 코드는 이 차이를 반영해야 한다.

파이프라인 설정과 메모리 정책은 사용 중인 경우에 확인한다

분산 파이프라인의 pipeline_per_direction_p2p는 pipeline_per_edge_p2p로 바뀌며, 이제 directed rank-to-rank edge마다 communicator를 사용한다. 이전 이름에는 별칭이 없다.

Python 속성으로 이전 이름을 설정하면 AttributeError가 발생하지만, 환경변수 TORCH_DISTRIBUTED_PIPELINE_PER_DIRECTION_P2P는 조용히 무시된다. 환경변수로만 기능을 켜던 작업은 시작 성공 여부와 별개로 설정 이름을 확인해야 한다.

dist_config.pipeline_per_edge_p2p = True
# or TORCH_DISTRIBUTED_PIPELINE_PER_EDGE_P2P=1

Selective activation checkpointing을 사용하는 작업은 메모리 정책도 확인한다. Eager 모드에서 ordered effect가 있는 non-aliasing 연산에 정책이 CheckpointPolicy.PREFER_RECOMPUTE를 반환하면, 2.15는 그 선택을 덮어쓰고 출력을 저장한다. Backward 중 side effect를 재실행하지 않으며, activation 메모리는 늘어날 수 있다. c10d namespace 연산은 이 변경에서 제외된다.

여기서는 eager와 torch.compile의 대응이 다르다.

실행 조건 변경된 동작 적용 방향
Eager에서 해당 연산에 PREFER_RECOMPUTE 사용 출력을 저장하고 backward에서 side effect를 재실행하지 않는다 Activation 메모리를 확인한다
Eager에서 이전 재실행 동작이 필요함 MUST_RECOMPUTE로 이전 동작을 유지할 수 있다 해당 연산의 정책을 명시한다
torch.compile에서 effectful 연산에 MUST_RECOMPUTE 사용 컴파일 시 오류가 발생한다 저장 정책을 사용한다

메모리가 늘었다고 일괄적으로 MUST_RECOMPUTE를 적용하면 컴파일 경로에서는 오류로 이어질 수 있다. 실행 모드와 연산의 effect 여부를 함께 확인해야 한다.

진단 도구가 읽는 필드와 기본값도 맞춘다

학습 코드가 동작해도 프로파일링 도구가 이전 필드를 읽으면 필요한 정보를 놓칠 수 있다. 사용 중인 도구에 해당하는 변경만 골라 점검한다.

사용 지점 2.15의 변화 수정할 곳
C++ stack trace 심볼화 기본 도구가 addr2line에서 dladdr로 바뀐다 기존 심볼화가 필요하면 환경변수를 명시한다
CUDA memory snapshot mallocWithAddress 태그가 user_metadata에서 internal_metadata로 이동한다 태그 필터가 읽는 필드를 바꾼다
FunctionEvent.metadata_json 속성과 생성자 인자가 제거된다 FunctionEvent.metadata를 사용한다
실험적 CUPTI monitor 백엔드 cupti_monitor가 cuspy로 바뀐다 백엔드명과 export 메서드명을 바꾼다

dladdr 기본값에서는 C++ frame에 라이브러리 경로와 offset이 표시되고, symbol 이름은 export된 경우에만 나온다. 그 외에는 ??가 표시된다. 릴리스노트는 addr2line이 느리거나 멈출 수 있어 기본값을 바꿨다고 설명한다. 기존 방식이 필요한 진단 실행에서는 다음과 같이 복원할 수 있다.

TORCH_SHOW_CPP_STACKTRACES=1 TORCH_DISABLE_ADDR2LINE=0 python train.py

CUDA memory snapshot의 태그 필터는 다음처럼 바뀐다.

# 2.14
tagged = [e for e in trace if "mallocWithAddress" in e["user_metadata"]]

# 2.15
tagged = [e for e in trace if e.get("internal_metadata") == "mallocWithAddress"]

FunctionEvent.metadata는 dict 또는 None이며, _ExperimentalConfig(expose_kineto_event_metadata=True)일 때 채워진다. 기존 JSON 문자열 처리와 같은 방식으로 소비하지 않도록 확인한다.

Cuspy는 이전 백엔드 이름을 쓰면 오류 대신 기본 Kineto 백엔드로 조용히 돌아간다는 점에 주의한다. 설정이 받아들여졌는지만 확인해서는 충분하지 않다. cupti_monitor_async_export도 cuspy_async_export로 바뀌며, take_pending_cupti_export()는 take_pending_cuspy_export()로 교체해야 한다. 릴리스노트는 새 torch.profiler.CuspyConfig 사용을 권한다.

Linux CUDA 휠에 의존하는 확장 라이브러리도 확인할 대상이다. torch는 더 이상 libcurand를 링크하거나 import 시 미리 로드하지 않으며, 휠 의존성에서도 cuRAND가 빠진다. curandCreateGenerator 같은 cuRAND host API를 호출하면서 PyTorch 설치가 라이브러리까지 제공한다고 기대했던 확장은 직접 설치해야 한다.

pip install torch
pip install "cuda-toolkit[curand]==13.2.2"  # match the toolkit version of your wheel

위 버전은 자료의 예시다. 적용 시에는 주석대로 사용하는 휠의 toolkit 버전과 맞춘다.

배포 완료 조건을 복구와 통신까지 잡는다

업그레이드 검증 결과는 “2.15 설치 완료”보다 구체적이어야 한다. 작업별로 아래 증거를 남기면 배포 가능 범위와 보류 사유가 드러난다.

점검 대상 남길 검증 결과 보류하거나 수정할 조건
설치 환경 Python·GPU·드라이버와 사용할 휠 조합 지원 조건을 충족하지 못하거나 필요한 휠이 중단됨
NCCL 장치 바인딩, 그룹 초기화, 필요한 collective·P2P 실행 결과 set_device() 의존, 여러 GPU를 쓰는 프로세스, 기존 백엔드 전용 코드가 남음
분산 체크포인트 기존 체크포인트 로드와 2.15 저장본 재로드 결과 2.15 저장본의 복구 환경이 2.14 이하임
FSDP2 의도한 누적·reduce dtype과 명시적 정책 생략한 reduce_dtype의 동작 변화를 확인하지 않음
조건부 기능 파이프라인 설정, activation checkpointing, 진단 도구 확인 결과 제거된 이름이나 달라진 정책을 계속 사용함

특히 NCCL 구현 복귀와 체크포인트 형식 복귀는 서로 다른 문제다. nccl-legacy로 통신 동작을 되돌릴 수 있어도, 2.15에서 저장한 분산 체크포인트를 2.14가 읽게 되는 것은 아니다.

배포 판단은 새 기본값을 그대로 받아들일 부분, 명시적으로 이전 동작을 유지할 부분, 2.14에 남길 환경을 나누어 내린다. 그 판단에 장치 바인딩, 복구 가능한 체크포인트, gradient dtype이 포함되어야 학습 재개까지 검증한 업그레이드가 된다.

PyTorchNCCLFSDP2분산학습체크포인트