LLM 훈련 효율 2배 향상: MIT TLT가 해결한 유휴 GPU 문제

롤아웃 단계가 전체 훈련 시간의 최대 85%를 잡아먹는다

대형 언어 모델의 강화학습 훈련은 엄청난 GPU 자원을 소모하지만, 그 자원의 상당 부분은 실제로 아무 일도 하지 않는 채 낭비된다. MIT 연구팀이 2026년 2월 26일 공개한 TLT(Taming the Long Tail)는 이 낭비를 정면으로 공략해 훈련 속도를 70~210% 향상시키는 방법론이다. 추가 하드웨어도, 정확도 손실도 없이 기존 시스템 위에서 동작하는 이 접근법은 ASPLOS 2026에서 공식 발표를 앞두고 있으며, 코드도 공개되어 즉시 적용 가능하다.

오늘날 고성능 추론 LLM(DeepSeek-R1, o1 시리즈 등)은 강화학습(RL) 방식으로 훈련된다. RL 훈련에서 가장 시간이 오래 걸리는 단계는 롤아웃(rollout): 모델이 같은 입력에 대해 여러 응답을 병렬로 생성하고, 보상 모델이 각 응답을 평가하는 과정이다. 연구에 따르면 이 롤아웃 단계가 전체 RL 훈련 시간의 최대 85%를 차지한다.

문제는 응답 길이의 불균일성이다. 128개의 요청을 동시에 처리할 때, 대부분의 GPU는 짧은 응답을 빠르게 완료하고 유휴 상태에 빠진다. 그러나 전체 시스템은 가장 긴 응답이 완료될 때까지 다음 훈련 스텝으로 넘어갈 수 없다. 몇 개의 "꼬리" 요청이 수십 개 GPU의 발목을 잡는 구조다.

⤢✕

추론 LLM은 이 문제에 특히 취약하다. 단계적 사고(chain-of-thought) 방식으로 긴 응답을 생성하는 경향이 있어, 응답 길이 분포의 꼬리가 더욱 두껍기 때문이다.

유휴 GPU로 드래프터를 훈련시키는 Adaptive Drafter

TLT의 첫 번째 혁신은 개념적으로 단순하지만 구현이 까다롭다. 빠른 GPU들이 응답 완료 후 대기하는 시간을 낭비하는 대신, 그 유휴 컴퓨팅으로 소형 드래프터 모델을 실시간으로 훈련한다.

드래프터 모델은 주 LLM보다 훨씬 작다. 이 드래프터는 투기적 디코딩(speculative decoding)에 활용된다. 투기적 디코딩은 드래프터가 여러 토큰을 미리 예측하면, 주 모델이 이를 병렬로 검증하는 기법이다. 드래프터의 예측이 맞으면 주 모델은 여러 토큰을 한 번의 포워드 패스로 처리할 수 있어 속도가 높아진다.

기존 투기적 디코딩의 문제는 드래프터를 별도로 사전훈련해야 하고, RL 훈련 중 주 모델이 계속 변화하므로 드래프터와의 정렬이 빠르게 깨진다는 것이었다. TLT의 Adaptive Drafter는 이 문제를 유휴 GPU 시간을 이용해 지속적으로 드래프터를 업데이트함으로써 해결한다. 추가 비용 없이 주 모델과의 정렬이 유지된다.

배치마다 다른 전략을 고르는 Adaptive Rollout Engine

두 번째 구성 요소는 각 입력 배치에 적합한 투기적 디코딩 전략을 동적으로 선택하는 엔진이다.

기존 투기적 디코딩을 RL 훈련에 그대로 적용하면 두 가지 문제가 발생한다. 첫째, RL의 작업 부하는 배치마다 동적으로 변한다. 둘째, CUDAGraph(GPU 커널 실행을 최적화하는 CUDA 기법)는 고정된 계산 그래프를 전제로 하므로, 동적 배치에 적용하기 어렵다.

Adaptive Rollout Engine은 사전 캡처된 CUDAGraph 풀을 메모리 효율적으로 유지하고, 각 입력 배치의 특성에 맞는 전략을 적응적으로 선택한다. 이를 통해 동적 작업 부하에서도 GPU 최적화의 이점을 유지한다.

실측 성능: 1.7배 이상, 무손실

MIT 연구팀과 NVIDIA의 공동 실험에서 TLT는 최신 RL 훈련 시스템 대비 1.7× 이상의 엔드-투-엔드 훈련 속도 향상을 달성했다. 환경에 따라 70~210%의 속도 향상이 관찰됐다.

핵심은 무손실(lossless) 가속이라는 점이다. 모델의 최종 정확도는 기존 훈련과 동일하게 유지된다. 투기적 디코딩은 수학적으로 동등한 결과를 보장하므로, 빠른 것이 틀린 결과를 낸다는 걱정 없이 적용할 수 있다.

또한 TLT는 무료 부산물을 제공한다. 유휴 GPU 시간으로 훈련된 드래프터 모델은 RL 훈련 완료 후에도 실제 서비스 배포에 활용할 수 있다. 고품질 드래프터는 추론 비용 절감에도 기여한다.

하드웨어보다 알고리즘이 이기는 이유

AI 업계의 스케일링 법칙은 "더 많은 GPU, 더 많은 데이터"를 요구해왔다. 그러나 이 방향의 한계가 점차 명확해지고 있다. 훈련 비용과 에너지 소비는 지수적으로 증가하는 반면, 성능 향상 폭은 점차 줄어드는 양상이다.

TLT가 제시하는 방향은 다르다. 같은 하드웨어를 더 스마트하게 사용하는 것이다. 이미 지불한 GPU 비용의 낭비를 줄여 실질적인 효율을 높이는 알고리즘 혁신은, 하드웨어 투자 없이도 경쟁력을 높일 수 있는 경로를 제시한다.

LinkedIn에서 Google AI 연구자 Barak Turovsky는 이 연구의 전략적 함의를 이렇게 요약했다: "AI에서 향후 10년을 이기는 팀은 GPU를 더 많이 가진 팀이 아니라, 그것을 더 스마트하게 사용하는 알고리즘을 가진 팀일 것이다."

MIT-HAN Lab과 NVIDIA가 함께 낸 결과물

TLT는 MIT의 Song Han 교수가 이끄는 MIT-HAN Lab에서 나왔다. 이 연구실은 딥러닝 모델 압축, 효율적 추론, 하드웨어-소프트웨어 공동 최적화 분야에서 다수의 영향력 있는 연구를 발표해온 곳이다. AMPere, MCUNet, TinyEngine 등이 이 연구실의 대표 작업이다.

NVIDIA와의 공동 연구이기도 하다. 공저자에 NVIDIA 소속 연구자들이 포함되어 있으며, Shang Yang은 NVIDIA 인턴십 중 이 작업의 일부를 수행했다. 이는 TLT가 NVIDIA GPU에서의 실제 적용을 염두에 두고 설계됐음을 시사한다.

코드는 GitHub(mit-han-lab/fastrl)에 공개되어 있으며, 논문은 ASPLOS 2026(2026년 3월 22~26일, 피츠버그)에서 공식 발표될 예정이다.

어디까지 통하고, 어디서는 안 통하는가

TLT는 강화학습 기반의 추론 LLM 훈련에 특화된 방법론이다. 사전훈련(pretraining)이나 지도 파인튜닝(SFT) 단계에는 직접 적용되지 않는다. 롤아웃 단계의 긴 꼬리 분포가 존재하는 환경에서 효과가 극대화되므로, 응답 길이 분포가 균일한 작업에서는 향상 폭이 제한적일 수 있다.

또한 Adaptive Drafter의 효과는 드래프터와 주 모델 간의 정렬 품질에 의존한다. 주 모델의 변화 속도가 매우 빠를 경우, 유휴 시간만으로 드래프터 업데이트를 충분히 따라잡지 못하는 상황이 발생할 수 있다.

훈련 경제학을 바꿀 잠재력

MIT의 TLT는 "하드웨어를 늘리는 대신 알고리즘을 개선하라"는 방향의 구체적 성과다. 강화학습 훈련에서 최대 85%의 시간을 낭비하던 유휴 GPU 문제를, 드래프터 모델의 연속적 훈련이라는 우아한 발상으로 해결했다. 추가 비용 없이 1.7배 이상의 속도 향상과 무료 드래프터 모델이라는 두 가지 혜택을 동시에 제공하는 이 방법론은, LLM 훈련의 경제학을 재정의할 잠재력을 가지고 있다. 공개 코드와 ASPLOS 2026 발표를 통해 업계 전반으로 확산될 것으로 기대된다.