유휴 GPU로 드래프터를 훈련시키는 LLM 학습 스케줄링 설계
파이프라인 버블·All-Reduce 대기로 낭비되는 GPU 유휴 시간에 드래프터 모델을 훈련해 LLM 학습을 70~210% 가속하는 스케줄링 설계를 분석한다.
2026-08-14 · 최초 발행 2026-04-20
클러스터의 GPU는 생각보다 자주 놀고 있다
수백~수천 개의 GPU가 동시에 돌아가는 대규모 LLM 훈련에서도 상당수의 프로세서는 일정 시간 동안 아무 일도 하지 않는다. 원인은 세 가지로 나뉜다. 파이프라인 병렬화에서는 스테이지 간 데이터 의존성 때문에 앞 단계가 끝날 때까지 뒤 단계 GPU가 대기하는 파이프라인 버블(pipeline bubble)이 발생하고, 파이프라인이 깊을수록 이 비율이 커진다. 데이터 병렬화에서는 매 스텝마다 그래디언트를 집계하는 All-Reduce 연산이 네트워크 대역폭 한계에 걸려 연산 코어를 대기시킨다. 여기에 시퀀스 길이 편차나 모델 용량-배치 크기 불일치로 인한 로드 불균형까지 겹치면, 일부 GPU가 먼저 일을 마치고 다른 GPU를 기다리는 상황이 반복된다.
MIT 연구팀은 2026년 2월 이 유휴 구간을 정밀하게 탐지하고, 그 시간 동안 소형 드래프터(drafter) 모델을 훈련시키는 접근으로 훈련 효율을 70~210% 끌어올리는 방법론을 발표했다.
추론 기법을 훈련 단계로 끌어온 아이디어
투기적 디코딩(speculative decoding)은 원래 추론 속도를 높이려고 고안된 기법이다. 소형 드래프터 모델이 여러 토큰을 먼저 예측하면 대형 타깃 모델이 이를 한꺼번에 검증해, 자동회귀 생성의 병목을 줄인다. MIT의 연구는 이 개념을 훈련 단계로 확장했다.
대형 타깃 모델이 순전파(forward)를 수행하는 동안 일부 프로세서가 유휴 상태에 들어가면, 그 유휴 프로세서로 소형 드래프터 모델을 동시에 훈련시킨다. 드래프터는 타깃 모델의 다음 스텝 출력을 예측하고, 타깃 모델이 이를 병렬로 검증한다. 예측이 맞으면 타깃 모델의 순전파 연산 일부를 건너뛸 수 있어 전체 스텝 속도가 빨라진다. 기존의 순차적 검증(타깃이 드래프터 출력을 하나씩 확인) 방식이 아니라 병렬 검증 방식을 택함으로써 오버헤드를 최소화하는 것이 핵심이다.
타깃과 드래프터를 동시에 돌리는 비동기 구조
훈련 시에는 타깃 모델이 이미 현재 배치에 대한 순전파를 수행 중이기 때문에, 드래프터의 예측과 타깃의 검증이 서로 다른 프로세서 그룹에서 비동기적으로 실행돼야 한다. 연구팀은 이를 위해 세 요소를 설계했다. 비동기 큐(Async Queue)는 드래프터가 생성한 예측 토큰 시퀀스를 버퍼에 저장해 타깃 모델이 검증할 때까지 보관하고, 검증 스케줄러(Verification Scheduler)는 타깃 모델의 유휴 구간이 시작되면 검증 연산을 해당 프로세서에 즉시 디스패치하며, 적응형 배치 조합기(Adaptive Batch Combiner)는 드래프터 훈련용 미니 배치와 타깃 모델 훈련용 배치를 동적으로 분리해 메모리 충돌을 막는다.
유휴 GPU를 실시간으로 잡아내는 스케줄링
유휴 프로세서를 실시간 탐지해 드래프터 훈련에 할당하는 동적 스케줄링 알고리즘이 이 방법론의 실용성을 좌우한다.
탐지 알고리즘은 유휴 유형을 셋으로 구분해 다르게 처리한다. 파이프라인 버블 유휴는 예측 가능한 주기로 발생하므로 사전 예약(pre-scheduling) 방식으로 드래프터 태스크를 미리 준비한다. 통신 대기 유휴는 All-Reduce 통신 시간 동안 발생하며, 통신 대역폭을 모니터링해 예상 대기 시간을 계산하고 드래프터 태스크를 동적으로 삽입한다. 로드 불균형 유휴는 예측이 어려운 불규칙 유휴라 반응형(reactive) 탐지를 쓴다 — 프로세서가 대기 신호를 보내면 즉시 드래프터 태스크를 할당하는 식이다.
정확도를 지키는 격리 원칙
이 방법론에서 가장 중요한 보장은 타깃 모델의 훈련 정확도가 저하되지 않는다는 점이다. 격리된 그래디언트 흐름(Isolated Gradient Flow)에서는 드래프터의 역전파 그래디언트가 타깃 모델의 그래디언트와 완전히 분리되고, 두 모델은 독립적인 옵티마이저 상태를 유지해 그래디언트 혼입이 발생하지 않는다. 메모리 파티셔닝은 타깃 모델의 활성화 값과 드래프터의 중간 텐서를 별도 메모리 풀에 할당해 충돌을 막는다. 적응형 배포(Adaptive Deployment)는 유휴 구간이 충분히 길 때만 드래프터를 활성화하고, 드래프터 훈련의 최소 실행 단위보다 유휴 시간이 짧으면 아예 실행하지 않고 프로세서를 대기 상태로 둔다 — 불완전한 드래프터 스텝의 오버헤드가 이득을 넘어서는 상황을 막기 위해서다. 실험 결과 타깃 모델의 퍼플렉서티, 다운스트림 태스크 정확도, 수렴 곡선 모두 기준선과 통계적으로 동등한 수준을 유지했다.
훈련이 끝나면 드래프터가 남는다
이 방법론의 주목할 만한 부가 효과는, 훈련이 끝난 뒤 소형 드래프터 모델 자체가 실용적인 경량 배포 모델로 쓰일 수 있다는 점이다. 드래프터는 타깃 모델의 출력 분포를 모방하도록 훈련됐으므로 훨씬 적은 파라미터로 유사한 성능을 내는 증류 모델에 가깝다.
엣지 배포에서는 모바일·IoT 등 제한된 환경에서 드래프터를 단독으로 사용한다. 추론 가속에서는 완성된 타깃 모델과 드래프터를 곧바로 투기적 디코딩 파이프라인으로 구성할 수 있다 — 드래프터가 이미 타깃의 출력 분포에 정렬돼 있어 별도 훈련이 필요 없다. 티어드 서빙에서는 쿼리 난이도에 따라 간단한 쿼리는 드래프터가, 복잡한 쿼리는 타깃이 처리하도록 라우팅한다.
비용 절감으로 이어지는 경로
70~210%의 효율 향상이 실제 비용 절감으로 연결되는 경로는 세 갈래다. 첫째, 동일한 컴퓨팅 예산 안에서 더 많은 토큰을 처리할 수 있으므로 더 큰 모델을 더 오래 훈련할 수 있다 — 스케일링 법칙 관점에서 이는 모델 성능 향상으로 직결된다. 둘째, GPU 클러스터는 구매·임차 비용이 고정적이므로 유휴 시간을 활용하면 동일한 하드웨어 비용으로 실질 연산량이 대폭 늘어난다. 셋째, 기존 방식에서는 투기적 디코딩 파이프라인을 구성하려면 드래프터 모델을 별도로 훈련해야 했는데, 이 방법론은 그 비용 자체를 제거한다.
연구팀의 실험에서 210% 효율 향상은 All-Reduce 통신 오버헤드가 큰 대규모 클러스터(수천 GPU)에서 관측됐고, 70% 향상은 소규모 클러스터에서의 하한에 해당한다. 실제 향상 폭은 클러스터 규모, 네트워크 토폴로지, 모델 아키텍처에 따라 달라진다. 수천 GPU 규모에서 통신 오버헤드가 큰 환경일수록 더 큰 효과를 낸다는 점에서, 프론티어 모델 훈련에 곧바로 적용 가능한 실용적 기여로 평가할 수 있다.