길리랩blog

LLM 학습 비용을 줄이고 소형 모델 성능을 높이는 효율화 아키텍처

동적 체크포인팅, 중요도 샘플링, 계층적 지식 증류, INT4 QAT가 LLM 학습 비용과 소형 모델 성능 격차를 줄이는 방식을 정리한다.

2026-08-14 · 최초 발행 2026-05-19

모델 크기보다 학습 경로를 다시 설계한다

LLM 성능을 높이는 일반적인 접근은 파라미터와 데이터, 컴퓨팅을 함께 늘리는 것이었다. 스케일링 법칙도 이러한 관계를 수식으로 설명한다. MIT 연구팀은 다른 방향을 택했다. 같은 컴퓨팅 예산을 더 효율적으로 사용하도록 학습 과정을 재설계하고, 특히 10B 파라미터 이하 소형 모델과 70B 이상 대형 모델 사이의 성능 차이를 줄이는 방법론을 제시했다.

핵심은 하나의 기법에 있지 않다. 메모리 사용을 조절하는 동적 체크포인팅부터 학습 가치가 높은 데이터를 고르는 샘플링, 교사 모델의 중간 표현을 전달하는 증류, 배포 형식을 고려한 양자화 학습까지 여러 최적화를 결합한다. 이 조합은 엣지 AI와 온디바이스 LLM의 제약을 학습 단계부터 다룬다는 데 의미가 있다.

메모리 예산에 맞춰 체크포인트를 고른다

역전파를 수행하려면 순전파 과정에서 만들어진 중간 활성화가 필요하다. 전통적인 방식은 이를 메모리에 보관한다. 32B 파라미터 모델을 시퀀스 길이 4096으로 학습하면 활성화 메모리만 수백 GB에 이른다.

그레이디언트 체크포인팅은 모든 활성화를 남기는 대신 일부 지점만 저장한다. 역전파 중 필요한 값은 다시 계산한다. 이 방식은 메모리 복잡도를 O(√n)으로 낮추지만 약 33%의 추가 연산을 요구한다.

MIT 연구는 레이어마다 다른 재계산 비용과 메모리 절감 효과를 정책 학습에 반영했다. 강화학습 기반 정책이 메모리 예산 안에서 체크포인트로 삼을 레이어를 선택한다.

⤢✕예아니오모델 레이어 분석재계산 비용 프로파일링활성화 메모리 측정레이어별 비용-편익 비율 산출RL 기반 체크포인팅 정책메모리 예산 내?최적 체크포인트 집합 확정정책 업데이트학습 루프 적용

이 동적 체크포인팅은 정적 체크포인팅과 동일한 메모리를 사용하면서 약 15%의 추가 처리량을 달성했다.

정밀도와 데이터 선택을 모델 상태에 맞춘다

혼합 정밀도 학습 자체는 이미 표준적인 최적화다. 이 연구에서는 bf16과 fp32의 경계를 레이어 유형에 따라 조정한다. 임베딩 레이어와 마지막 분류 레이어에는 fp32를 유지하고, 어텐션 및 피드포워드 레이어에는 bf16을 적용한다. 손실 스케일러도 레이어 그룹마다 독립적으로 관리한다.

데이터 선택 역시 무작위 미니배치 구성에서 벗어난다. 중요도 샘플링은 현재 모델에 더 큰 학습 신호를 주는 샘플을 먼저 선택한다. 소형 프록시 모델로 샘플의 학습 가치를 예측하고, 손실이 높은 항목에 더 큰 선택 확률을 부여하는 구조다.

# 개념적 구현 (MIT 방법론 기반)
def compute_sample_importance(model, batch):
    with torch.no_grad():
        # 소형 프록시 모델로 학습 신호 예측
        proxy_loss = proxy_model(batch)
        # 높은 손실 = 높은 학습 가치
        importance = torch.softmax(proxy_loss / temperature, dim=0)
    return importance

def importance_sampled_batch(dataset, model, batch_size):
    # 전체 에포크 대신 중요도 기반 샘플링
    candidates = dataset.sample(batch_size * 10)
    importance = compute_sample_importance(model, candidates)
    indices = torch.multinomial(importance, batch_size, replacement=False)
    return candidates[indices]

이미 충분히 학습된 샘플에 연산을 반복하지 않는 방식으로, 동일한 학습 토큰 수에서 약 20% 높은 최종 성능을 달성했다.

교사의 출력뿐 아니라 중간 표현도 전달한다

지식 증류는 대형 교사 모델이 만든 소프트 레이블을 이용해 소형 학생 모델을 훈련한다. 학생 모델은 정답에 대한 크로스 엔트로피 손실만 줄이는 대신 교사의 출력 분포를 모방하며, 그 분포에 포함된 불확실성 정보까지 학습한다.

일반적인 증류가 마지막 레이어의 출력 정렬에 집중한다면, 계층적 지식 증류는 중간 레이어의 특징 표현을 단계적으로 맞춘다. 교사 모델의 깊은 표현을 학생 모델의 대응 레이어에 연결하고 마지막에는 소프트 레이블을 전달한다.

⤢✕표현 정렬표현 정렬표현 정렬소프트 레이블교사 레이어 1학생 레이어 1교사 레이어 N/4학생 레이어 N/8교사 레이어 N/2학생 레이어 N/4교사 레이어 N학생 출력 레이어

추론 최적화에 쓰이는 스펙큘레이티브 디코딩도 학습 과정으로 확장했다. 원래는 소형 드래프트 모델이 여러 토큰을 먼저 생성하고 대형 검증 모델이 이를 병렬로 승인하는 방식이다. MIT 연구는 학습 중에도 드래프트-검증 루프를 구성해 그레이디언트 계산을 병렬화했다.

INT4 배포 조건을 학습 과정에 포함한다

양자화 인식 학습은 학습 그래프에 가짜 양자화를 삽입한다. 배포 시 실제 양자화를 적용했을 때 발생하는 성능 저하를 학습 단계에서 줄이기 위한 방법이다.

MIT 방법론은 INT4 QAT와 지식 증류를 공동 최적화한다. 교사 모델의 fp16 출력을 학습 목표로 사용하면서 학생 모델은 처음부터 INT4 조건으로 훈련된다. 그 결과 INT4 소형 모델이 fp16 중형 모델 수준의 벤치마크 점수를 달성했다.

파라미터 효율적 파인튜닝에는 DoRA도 포함된다. DoRA는 가중치를 크기와 방향 성분으로 나눈 뒤 각 성분을 독립적으로 적응시킨다. LoRA와 비교하면 더 적은 파라미터로 더 나은 성능을 달성하는 방식이다.

스케일링 법칙이 요구하는 학습량을 압축한다

Chinchilla 스케일링 법칙은 모델 파라미터 수에 맞는 최적 학습 토큰 수를 제시한다. 이에 따르면 7B 모델에는 약 140B 토큰, 70B 모델에는 약 1.4T 토큰이 적합하다.

MIT 연구는 모델 크기와 토큰 수의 비율을 그대로 따르기보다 실제로 유효한 학습량을 줄이는 데 초점을 맞췄다. 중요도 샘플링과 계층적 지식 증류, QAT 공동 최적화를 결합했을 때 동일 성능에 필요한 효과적 학습 토큰 수가 Chinchilla 권고 대비 약 35% 감소했다고 보고했다.

⤢✕MIT 방법론 vs 기존 스케일링: FLOP 대비 성능 (MMLU 기준)1e201e211e221e231e24807570656055504540MMLU 점수 (%)

기존 학습 파이프라인에 나눠서 적용한다

연구팀은 코드와 모델 체크포인트를 오픈소스로 공개했다. 각 기능은 독립 모듈로 구성되어 있어 기존 학습 파이프라인에 필요한 부분부터 통합할 수 있다.

  • mit_efficient.sampler: 중요도 샘플링 모듈
  • mit_efficient.distill: 계층적 지식 증류 루프
  • mit_efficient.checkpoint: 동적 그레이디언트 체크포인팅 정책
  • mit_efficient.qat: QAT 공동 최적화 래퍼

Hugging Face Transformers 호환성도 공식 지원한다. 커뮤니티에서는 LLaMA, Mistral, Gemma 계열 모델에 직접 적용한 사례가 보고됐다.

소형 모델의 엣지 배포 기준이 달라진다

스마트폰과 임베디드 디바이스, 브라우저 내 추론에서는 파라미터 수와 메모리 사용량이 직접적인 제약이 된다. 이 환경에서는 모델을 계속 키우는 방식보다 제한된 크기에서 성능을 높이는 학습 전략이 더 중요하다.

MIT 방법론으로 학습한 3B 파라미터 모델이 표준 방식으로 훈련한 7B 모델 성능의 80% 이상을 달성한다면, 모바일 기기에서 구동할 수 있는 LLM의 유효 성능 기준도 높아진다. 연구팀은 Apple Silicon M4 칩에서 초당 40 토큰 이상을 생성하면서 GSM8K 수학 벤치마크 75% 이상을 달성한 3B 모델을 시연했다.

Phi-4, Gemma-3, Qwen2.5처럼 이미 효율을 높인 소형 모델에 이 방법론을 적용하면 현재 10B~13B급 모델과의 격차가 더 좁혀질 수 있다. 동적 체크포인팅과 중요도 샘플링, 계층적 지식 증류, QAT 공동 최적화가 함께 작동하는 구조는 스케일 확대 없이 성능을 높이는 학습 경로가 여전히 남아 있음을 보여준다. 오픈소스 공개 이후 커뮤니티의 검증과 확장이 이어지면 차세대 온디바이스 LLM의 학습 프로토콜로 자리 잡을 가능성도 높다.

Sources

LLM 학습소형 언어 모델지식 증류양자화 인식 학습엣지 AI