퍼셉트론에서 역전파까지: 신경망 학습의 기초 메커니즘

이진 분류기 하나가 어떻게 심층 신경망의 학습 원리로 이어지는지 추적해보면, 복잡해 보이는 역전파도 결국 퍼셉트론의 오류 수정 규칙을 여러 층에 걸쳐 반복 적용한 것에 지나지 않는다.

퍼셉트론: 하나의 뉴런이 하는 일

퍼셉트론의 결정 함수는 ŷ = sign(w·x + b)로 쓴다. 입력 벡터와 가중치의 내적에 바이어스를 더한 값의 부호로 이진 분류 결과를 정한다. 학습은 오분류된 샘플에 대해서만 가중치와 바이어스를 보정하는 방식으로 이뤄진다 — w ← w + η(y − ŷ)x, b ← b + η(y − ŷ). 데이터가 선형 분리 가능하다면 이 규칙은 유한 번의 반복 안에 수렴한다(로젠블랫 수렴 정리).

한계는 명확하다. XOR처럼 선형으로 나눌 수 없는 데이터는 단층 퍼셉트론으로 풀리지 않는다. 은닉층과 비선형 활성화를 추가한 다층 퍼셉트론(MLP)이 이 표현력 한계를 극복하는 방식이며, 컨볼루션과 달리 가중치 공유가 없는 완전연결 구조로 동작한다. MLP의 학습은 연쇄법칙에 기반한 역전파로 이뤄진다.

다층으로 확장할 때 결정해야 하는 것들

레이어를 쌓아 입력층–은닉층–출력층의 완전연결(Dense) 구조를 만들 때, 파라미터 규모가 데이터 규모 대비 과대하면 과적합 위험이 커진다. 가중치 초기화 전략(Xavier/He)이 학습 안정성을 좌우하며, 네트워크가 깊어질수록 잔차 연결 같은 안정화 기법을 함께 고려해야 한다.

퍼셉트론의 step 함수는 미분이 불가능해 다층 구조의 역전파에 쓸 수 없다. 현대 신경망은 ReLU·LeakyReLU·GELU를 주로 쓰고, sigmoid·tanh 같은 포화 활성화는 특정 구간에서 기울기 소실 위험이 있다. 출력층 활성화는 과제에 맞춰 고른다 — 회귀는 linear, 이진분류는 sigmoid, 다중분류는 softmax.

손실 함수도 과제별로 갈린다. 회귀는 MSE/MAE, 분류는 크로스엔트로피를 쓰되 클래스 불균형이 있으면 가중치를 부여하고 레이블 스무딩으로 일반화를 개선한다. 여기에 L1/L2 정규화 항을 목적함수에 더해 모델 복잡도를 제어한다. 과적합 억제에는 Dropout·L2·데이터 증강을, 학습 안정화에는 배치정규화·레이어정규화를 쓰고, 검증 손실을 모니터링하며 조기종료로 불필요한 업데이트를 막는다.

학습 루프를 안정시키는 배치와 최적화 선택

표준 학습 루프는 순전파 → 손실 계산 → 역전파 → 가중치 업데이트 → 검증 평가 순으로 돈다. 여기에 학습률 스케줄(워밍업, 스텝/코사인 감소)을 적용하면 수렴이 안정되고, 재현성을 위해서는 시드를 고정하고 결정적 연산 옵션을 검토해야 한다.

데이터 준비 단계에서는 학습/검증/테스트를 70/15/15 정도로 분할하고 표준화·정규화를 적용하되, 데이터 누수를 막기 위해 스케일러는 훈련 세트 기준으로만 적합시킨다. 클래스가 불균형하면 가중 손실, SMOTE 같은 오버샘플링, 또는 언더샘플링으로 보정한다.

배치 크기 선택은 성능·확장성·일관성·안정성·운영 편의 사이의 트레이드오프다.

배치 전략	성능(수렴속도)	확장성(분산/대용량)	일관성(재현성)	안정성(진동/발산)	운영 편의
배치(Batch)	느림, 정확한 경사	낮음	높음	높음	단순
미니배치(Mini-batch)	빠름, 표준	높음(GPU/분산)	중간	높음(적절한 크기)	표준
온라인(Online)	매우 빠른 반응	높음(스트리밍)	낮음	낮음(진동 큼)	스트리밍 친화

최적화 기법도 데이터 특성에 맞춰 고른다. SGD+모멘텀은 정규화 효과가 강해 대규모 데이터에 적합하지만 러닝레이트 튜닝 부담이 있다. Adam·RMSProp은 비정상·희소 특성에 강인하고 초기 수렴이 빠르지만, 장기 일반화 성능은 SGD 대비 열세일 수 있다. 실측 기준으로 미니배치+Adam 조합은 동일 학습률에서 초기 수렴 에폭을 3050% 단축시킬 수 있고(데이터·구성에 따라 다름), Dropout·L2를 함께 적용하면 테스트 지표가 15%p 개선되는 경우가 있다. 배치정규화를 적용하면 학습률을 25배 높여도 안정적이어서 총 학습 시간이 2040% 줄어들 수 있다.

일반화 전략은 구조적으로는 Dropout 0.10.5, L2(Weight Decay 1e-51e-3)를 적용하고, 운영 규범으로는 조기종료(patience 5~10)와 plateau 기반 학습률 감소를 병행한다.

검증과 실패 신호 읽기

분류는 정확도·ROC-AUC·F1, 회귀는 RMSE·MAE를 지표로 삼고 검증 손실이 가장 낮은 지점의 모델을 고정한다. 학습이 어긋나는 징후는 유형별로 대응이 다르다. 기울기 폭발은 클리핑이나 학습률 스케일 축소로, 기울기 소실은 ReLU 계열 활성화·He 초기화·정규화로, 데드 ReLU는 LeakyReLU나 GELU로 전환해 대응한다.

절차 다이어그램

⤢✕

실무에서 쓰이는 패턴

정형(tabular) 데이터의 분류·회귀에는 MLP 기반 모델이 신용평가·수요예측·이탈예측 등에 쓰인다. 범주형 특징을 임베딩과 결합하면 선형 모델 대비 AUC가 2~8%p 개선되는 사례가 다수 보고된다. 스트리밍 로그의 즉시 분류처럼 지연이 중요한 경량 온라인 분류에는 단층 퍼셉트론이나 로지스틱 회귀에 가까운 구조를 써서 빠른 업데이트와 낮은 지연을 확보한다. 제조 현장의 이상 탐지에서는 센서 피처를 입력받은 MLP가 이상 확률을 산출하며, 클래스 불균형을 해결하기 위해 가중 크로스엔트로피와 조기종료를 함께 쓴다.