기울기 소실: 깊은 신경망에서 기울기가 사라지는 이유와 막는 법

기울기가 층을 거슬러 오르며 작아지는 문제

딥러닝 모델 학습 과정에서 발생하는 기울기 소실(Gradient Vanishing) 문제는 심층 신경망의 성능을 크게 저하시키는 핵심 장애물이다. 역전파(Backpropagation) 과정에서 기울기가 입력층으로 전달되면서 지수적으로 감소해 학습이 효과적으로 이루어지지 않는 현상이며, 2000년대 초반 딥러닝의 성장을 저해했던 주요 문제 중 하나였다. 이를 해결하기 위한 다양한 접근법이 이후 개발됐다.

시그모이드 미분값 0.25가 쌓이면 벌어지는 일

신경망은 역전파 알고리즘을 통해 가중치를 업데이트하며 학습을 진행한다. 출력층에서 발생한 오차가 은닉층을 거슬러 올라가며 각 층의 가중치를 조정하는데, 기울기 소실은 이 오차가 역전파 과정에서 점차 줄어들어 앞쪽 층에 거의 영향을 미치지 못하는 현상이다.

시그모이드(Sigmoid) 활성화 함수는 미분값이 최대 0.25다. 여러 층을 거치면서 연쇄 법칙(Chain Rule)에 따라 이 값들이 곱해지면 기울기가 지수적으로 감소한다.

⤢✕

예를 들어 10개 층을 가진 신경망에서 각 층의 기울기가 0.25배씩 감소한다면, 입력층에 도달하는 기울기는 약 0.25^10 ≈ 0.000001 수준으로 극도로 작아진다.

학습이 멈추는 앞쪽 층, 그리고 실제로 벌어진 일

앞쪽 층(입력층에 가까운 층)의 가중치가 제대로 업데이트되지 않아 학습 속도가 현저히 느려지고, 모델이 수렴하는 데 필요한 에폭(epoch) 수가 증가하거나 아예 수렴하지 못하기도 한다. 깊은 네트워크의 장점을 살리지 못해 복잡한 패턴을 학습하는 능력이 제한되고, 얕은 네트워크만으로는 해결하기 어려운 고차원적 특징 추출도 불가능해진다.

2006년 이전의 딥러닝 연구에서는 3~4층 이상의 신경망에서 의미 있는 성능 향상을 얻기 어려웠다. 이미지넷(ImageNet) 경진대회 초기에도 깊은 CNN을 학습시키는 데 큰 어려움이 있었다.

ReLU 계열 활성화 함수로 기울기를 살리는 법

가장 널리 사용되는 해결책은 ReLU(Rectified Linear Unit)다. x가 양수일 때 기울기가 항상 1이지만, 음수 입력에 대해서는 0을 출력해 기울기가 사라지는 문제는 여전히 남는다.

f(x) = max(0, x)

Leaky ReLU는 ReLU의 변형으로, 음수 입력에 대해 작은 기울기(일반적으로 0.01)를 갖도록 설계해 모든 입력에 대해 기울기가 존재하도록 만든다. 이를 통해 "죽은 뉴런" 문제를 완화한다.

f(x) = max(0.01x, x)

ELU(Exponential Linear Unit)는 음수 입력에 대해 지수 함수 형태를 취해 부드러운 전이를 제공한다. 평균 활성화가 0에 가까워 학습 가속화 효과도 있다.

f(x) = x (if x > 0), α(e^x - 1) (if x ≤ 0)

Xavier·He 초기화로 시작점을 다르게 잡기

Xavier/Glorot 초기화는 입력 및 출력 뉴런 수를 고려한 가중치 초기화 방법으로, 시그모이드·tanh 활성화 함수에 적합하다.

W ~ U[-√(6/(n_in + n_out)), √(6/(n_in + n_out))]

He 초기화는 ReLU 계열 활성화 함수에 최적화된 방법으로, 입력 뉴런 수만 고려해 더 큰 초기 가중치를 준다.

W ~ N(0, √(2/n_in))

배치·층 정규화로 포화를 막는 법

배치 정규화(Batch Normalization)는 각 층의 입력을 정규화해 활성화 함수의 포화 영역에 빠지는 것을 방지한다. 학습 속도 향상과 초기화에 대한 의존성 감소 효과가 있다.

⤢✕

층 정규화(Layer Normalization)는 배치가 아닌 층 전체에 대해 정규화를 수행하며, RNN과 같은 순환 신경망에 효과적이다.

잔차 연결·인셉션·어텐션이 기울기 통로를 여는 방식

잔차 연결(Residual Connections)은 ResNet에서 도입된 방식으로, 층 간에 지름길(shortcut) 연결을 제공한다. 기울기가 이 지름길을 통해 직접 전달되어 소실 문제가 완화된다.

⤢✕

인셉션 모듈(Inception Module)은 여러 크기의 컨볼루션을 병렬로 수행해 다양한 특징을 추출하며, 네트워크 깊이를 효과적으로 증가시키면서 기울기 소실을 완화한다. 어텐션 메커니즘(Attention Mechanism)은 입력 시퀀스의 중요 부분에 집중하는 방식으로, Transformer 아키텍처에서는 잔차 연결과 층 정규화를 결합해 기울기 소실을 해결한다.

ResNet과 Transformer가 실제로 증명한 것

이미지 인식에서 ResNet은 152층 이상의 깊은 네트워크를 학습시켜 ImageNet 경진대회에서 우승했다. 기존 모델들이 2030층을 넘어서면 성능이 저하되던 문제를 해결한 결과다. 자연어 처리에서는 BERT·GPT 같은 Transformer 기반 모델들이 기울기 소실 문제를 효과적으로 해결해 수십수백 층의 신경망 학습을 가능하게 했고, 이를 통해 복잡한 언어 이해·생성 작업에서 혁신적 성능을 달성했다.

기울기 폭발이라는 반대편 문제와 공통 해법

기울기 폭발(Gradient Explosion)은 기울기 소실의 반대 현상으로, 역전파 중 기울기가 지수적으로 증가해 가중치가 불안정하게 업데이트되고 학습이 실패한다.

공통 해결책으로는 기울기의 노름(norm)이 특정 임계값을 초과할 경우 스케일링하는 기울기 클리핑(Gradient Clipping)과, 학습 진행에 따라 학습률을 감소시켜 안정성을 확보하는 학습률 스케줄링이 있다.

⤢✕

자기지도학습·NAS·지식 증류로 이어지는 최근 흐름

대량의 레이블 없는 데이터를 활용하는 자기 지도 학습(Self-Supervised Learning)은 기울기 소실 문제를 완화하면서 효과적인 특징 학습을 가능하게 한다. 신경망 아키텍처 탐색(Neural Architecture Search)은 최적의 네트워크 구조를 자동으로 찾아 기울기 소실을 최소화하면서 성능을 극대화하는 아키텍처를 발견하는 방법론이다. 지식 증류(Knowledge Distillation)는 기울기 소실 문제에 강인한 대형 모델에서 작은 모델로 지식을 전달해 효율적인 모델 경량화를 가능하게 한다.