드랍아웃: 뉴런을 무작위로 꺼서 과적합을 막는 법

뉴런을 무작위로 꺼서 과적합을 막는 아이디어

딥러닝 모델을 학습할 때 직면하는 가장 큰 문제 중 하나는 과적합(Overfitting) 현상이다. 이를 방지하기 위해 개발된 대표적인 정규화 기법이 드랍아웃(Dropout)이며, 2012년 Hinton에 의해 제안된 이 기법은 현대 딥러닝 아키텍처에서 필수적인 요소로 자리잡았다.

드랍아웃의 원리는 간단하다. 신경망 학습 과정에서 일정 확률로 뉴런을 무작위로 비활성화(drop)하고, 매 학습 반복마다 서로 다른 뉴런 조합을 사용해 학습함으로써 어떤 특정 뉴런에 모델이 과도하게 의존하는 것을 방지한다. 이러한 방식은 마치 여러 다른 네트워크를 앙상블하는 효과를 가져온다.

⤢✕

학습 때는 마스킹, 추론 때는 스케일링하는 수식

드랍아웃을 수학적으로 표현하면, 각 뉴런의 유지 확률 p(일반적으로 0.5~0.8 사이 값 사용)를 두고 학습 시에는 y = f(Wx) * mask로 계산한다. 여기서 mask는 베르누이 분포(p)에서 샘플링된 이진 벡터다. 추론 시에는 y = f(Wx) * p로 스케일링을 적용한다. 이러한 접근법은 몬테카를로 샘플링을 통한 근사 추론으로 이해할 수 있다.

표준 드랍아웃과 Inverted Dropout의 차이

실제 구현에서는 두 가지 방식이 주로 쓰인다. 학습 시 드랍아웃을 적용하고 추론 시에는 모든 뉴런을 활성화하되 출력값에 유지 확률(p)을 곱하는 방식이 있고, 학습 시 드랍아웃을 적용하면서 유지된 뉴런의 값을 1/p로 스케일링하고 추론 시에는 아무런 수정 없이 전체 네트워크를 사용하는 Inverted Dropout이 있다. Inverted Dropout은 현대 딥러닝 프레임워크에서 주로 채택하는 방식이다.

⤢✕

앙상블 효과부터 공동적응 방지까지

드랍아웃은 모델이 학습 데이터의 노이즈나 특이성을 기억하는 대신 일반적인 패턴을 학습하도록 유도해 과적합을 방지한다. 서로 다른 구조의 네트워크를 여러 개 학습시키는 효과를 단일 네트워크로 근사하는 앙상블 효과도 있다. 특정 뉴런들이 서로에게 지나치게 의존하는 공동적응(Co-adaptation)을 방지해 뉴런들이 더 독립적이고 강건한 특성을 학습하도록 유도하며, 무작위성 주입을 통해 모델의 노이즈 내성도 높인다.

공간·연결·베이지안으로 뻗어나간 드랍아웃 변형

기본 드랍아웃 기법은 다양한 방향으로 확장됐다. Spatial Dropout은 CNN에서 전체 특성 맵을 드랍아웃하는 방식으로, 이미지에서 특성 간 공간적 상관관계가 높을 때 효과적이다. Dropconnect는 뉴런이 아닌 연결(가중치)을 드랍아웃해 더 미세한 정규화 효과를 준다. Variational Dropout은 베이지안 추론에 기반해 각 가중치마다 다른 드랍아웃 확률을 적용하고, Concrete Dropout은 드랍아웃 확률을 데이터로부터 학습해 최적의 드랍아웃 비율을 자동으로 결정한다. Curriculum Dropout은 학습이 진행됨에 따라 드랍아웃 비율을 조정하며, 초기에는 낮은 비율로 시작해 점진적으로 높인다.

⤢✕

비전·NLP·강화학습·그래프 신경망에서 쓰이는 곳

컴퓨터 비전에서는 ResNet, VGG, Inception 등의 CNN 아키텍처에서 과적합을 막는 데 쓰이며, 이미지 분류·객체 탐지·세그멘테이션 등에 활용된다. 자연어 처리에서는 BERT, RoBERTa, GPT 등 트랜스포머 기반 모델의 어텐션 레이어에 적용돼 기계 번역·감성 분석·질의응답 시스템 등에서 성능을 끌어올린다. 강화학습에서는 정책 네트워크에 드랍아웃을 적용해 탐색-활용 균형을 조정하고, 환경 불확실성에 대한 로버스트 정책 학습에 쓰인다. 그래프 신경망에서는 노드 표현 학습 시 과적합을 방지하며, 링크 예측·노드 분류 등의 태스크 성능을 향상시킨다.

드랍아웃 비율과 적용 위치를 정하는 기준

드랍아웃 비율은 일반적으로 0.2~0.5 범위가 권장되며, 네트워크 크기와 데이터셋 특성에 따라 조정이 필요하다. 너무 높은 비율은 과소적합(underfitting)을 유발할 수 있다. 적용 위치는 일반적으로 완전연결(fully-connected) 레이어이며, 첫 번째 입력 레이어와 출력 레이어에는 적용을 지양하고 컨볼루션 레이어에는 Spatial Dropout을 고려한다. 모델 크기와의 관계에서는 큰 모델일수록 더 높은 드랍아웃 비율을 적용할 수 있지만, 작은 모델에서는 과도한 드랍아웃이 학습을 저해할 수 있다. L1/L2 정규화, 배치 정규화 등 다른 정규화 기법과 함께 쓸 때는 상호작용을 고려해야 하며, 특히 배치 정규화와 함께 쓸 때는 드랍아웃 레이어의 위치가 중요하다.

PyTorch로 구현하는 드랍아웃

import torch
import torch.nn as nn

class SimpleNet(nn.Module):
    def __init__(self, input_size, hidden_size, output_size, dropout_prob=0.5):
        super(SimpleNet, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.dropout = nn.Dropout(p=dropout_prob)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        # 학습 모드에서만 드랍아웃 적용, eval() 호출 시 자동으로 비활성화
        x = self.dropout(x)
        x = self.fc2(x)
        return x

# 모델 정의
model = SimpleNet(input_size=784, hidden_size=256, output_size=10, dropout_prob=0.5)

# 학습 모드
model.train()
# 여기서는 드랍아웃 활성화

# 추론 모드
model.eval()
# 여기서는 드랍아웃 비활성화

학습 시간, 배치 정규화와의 상호작용, 그리고 대안들

드랍아웃은 앙상블 효과를 위해 더 많은 에포크가 필요해 훈련 시간이 늘어나며, 특히 대규모 모델에서 학습 시간 증가가 두드러진다. 배치 정규화가 있는 모델에서는 드랍아웃의 효과가 감소할 수 있어 두 기법의 적용 순서가 중요하다. 대안 정규화 기법으로는 Weight Decay(L2 정규화), Early Stopping, 데이터 증강(Data Augmentation), 이미지 특화 정규화인 Cutout·Mixup 등이 있다. GPT-3, PaLM 등 초대형 언어 모델에서는 드랍아웃보다 스케일링 법칙을 활용하는 추세이며, 충분한 데이터와 모델 크기로 정규화 필요성이 줄어든다.