딥러닝 하이퍼파라미터 튜닝: 손실함수·옵티마이저·평가지표 고르는 법
딥러닝 모델의 손실함수·옵티마이저·평가지표 선택 기준과 그리드/랜덤/베이지안 하이퍼파라미터 탐색 기법, 도메인별 조합 사례를 정리한다.
2026-08-13 · 최초 발행 2025-05-23
같은 신경망 구조라도 학습률과 배치 크기, 손실함수를 어떻게 정하느냐에 따라 결과는 완전히 달라진다. 딥러닝 모델은 복잡한 패턴을 학습하고 데이터로부터 의미 있는 특징을 자동으로 추출하지만, 그 성능은 다양한 하이퍼파라미터에 크게 의존하며 이를 최적화하는 것이 성공적인 모델 구축의 핵심 요소다.
데이터가 정하는 값과 사람이 정하는 값
파라미터는 모델 내부에서 학습되는 값(가중치와 편향)으로, 학습 과정에서 데이터에 의해 자동으로 조정된다. 뉴런 간의 연결 가중치, 편향(bias) 값이 여기에 해당한다.
하이퍼파라미터는 학습 전에 설정하는 모델의 구성 요소다. 학습률(learning rate), 배치 크기(batch size), 에폭(epoch) 수, 손실함수 유형, 옵티마이저 종류 등을 개발자가 직접 설정하며, 이 값들이 모델의 성능을 좌우한다.
순전파와 역전파가 도는 방식
딥러닝 모델은 크게 순전파(Forward Propagation)와 역전파(Back Propagation) 두 단계로 학습된다.
순전파는 입력 데이터가 신경망을 통과하며 예측값을 생성하는 단계이고, 역전파는 손실함수를 통해 계산된 오차를 바탕으로 각 뉴런의 가중치를 조정하는 단계다.
손실함수: 회귀냐 분류냐에 따라 갈리는 선택
손실함수는 모델의 예측값과 실제값의 차이를 수치화해 모델의 성능을 평가하는 지표다. 적절한 손실함수 선택은 모델의 학습 방향을 결정하는 중요한 요소다.
회귀 문제용 손실함수로는 평균제곱오차(MSE, Mean Squared Error)와 평균절대오차(MAE, Mean Absolute Error)가 있다. MSE는 예측값과 실제값 차이의 제곱 평균으로 오차가 클수록 더 큰 페널티를 부여한다.
수식: MSE = (1/n) * Σ(y실제 - y예측)²
MAE는 예측값과 실제값 차이의 절대값 평균으로, 이상치에 MSE보다 덜 민감하다.
수식: MAE = (1/n) * Σ|y실제 - y예측|
분류 문제용 손실함수로는 교차 엔트로피 손실(Cross-Entropy Loss)이 대표적이다. 이진 분류에는 Binary Cross-Entropy를 쓴다.
수식: -Σ[y_실제 * log(y_예측) + (1-y_실제) * log(1-y_예측)]
다중 분류에는 Categorical Cross-Entropy를 쓴다.
수식: -Σ(y실제 * log(y예측))
주로 SVM에서 쓰이지만 딥러닝에서도 활용되는 Hinge Loss도 있다.
수식: max(0, 1 - y실제 * y예측)
손실함수 선택은 회귀·이진 분류·다중 분류 같은 문제 유형, 이상치의 존재 여부·데이터 분포 등 데이터 특성, 학습이 얼마나 안정적으로 빠르게 수렴하는지의 학습 안정성을 기준으로 정한다.
옵티마이저: 경사 하강법에서 적응형 학습률까지
옵티마이저는 손실함수의 값을 최소화하기 위해 모델의 파라미터를 조정하는 알고리즘이다. 효율적인 옵티마이저 선택은 모델이 빠르게 수렴하고 최적의 해를 찾는 데 중요하다.
경사 하강법(Gradient Descent) 기반 옵티마이저에는 세 종류가 있다. 배치 경사 하강법(Batch Gradient Descent)은 모든 훈련 데이터를 사용해 한 번에 가중치를 업데이트하며, 메모리 요구량이 크지만 안정적으로 수렴한다. 확률적 경사 하강법(SGD, Stochastic Gradient Descent)은 데이터 포인트 하나씩 처리해 빠른 업데이트가 가능하지만 노이즈가 많다. 미니배치 경사 하강법(Mini-batch Gradient Descent)은 데이터의 일부 배치를 사용해 SGD와 배치 GD의 장점을 결합한다.
적응형 학습률(Adaptive Learning Rate) 알고리즘도 널리 쓰인다. Adagrad는 파라미터별로 학습률을 조정해 자주 업데이트되는 파라미터에는 작은 학습률을 적용하지만, 학습이 진행될수록 학습률이 지나치게 감소하는 문제가 있다. RMSprop은 Adagrad의 학습률 감소 문제를 해결하며 최근 기울기에 더 큰 가중치를 부여한다. Adam(Adaptive Moment Estimation)은 Momentum과 RMSprop의 장점을 결합해 적응적 학습률과 모멘텀을 모두 활용하는, 현재 가장 널리 사용되는 옵티마이저다.
실제 적용에서는 영역마다 선호되는 조합이 갈린다. 컴퓨터 비전에서는 ResNet과 같은 딥 네트워크에 Adam 또는 SGD with momentum이 좋은 성능을 내고, 자연어 처리에서는 Transformer 기반 모델(BERT, GPT)에 Adam 변형(AdamW)이 효과적이며, 강화학습에서는 RMSprop 또는 Adam이 효과적이다.
회귀·분류 결과를 재는 평가지표들
모델의 성능을 객관적으로 평가하는 지표는 문제의 성격과 목표에 따라 달리 골라야 한다.
회귀 모델 평가지표로는 예측 오차의 제곱(또는 제곱근)을 보는 MSE/RMSE(Root Mean Squared Error), 예측 오차의 절대값을 보는 MAE(Mean Absolute Error), 모델이 데이터 분산을 설명하는 정도를 나타내는 R²(결정계수, 1에 가까울수록 좋음)가 쓰인다.
분류 모델 평가지표로는 네 가지가 있다. 정확도(Accuracy)는 전체 중 올바르게 예측한 비율이지만 불균형 데이터에서는 신뢰성이 떨어진다.
수식: (TP + TN) / (TP + TN + FP + FN)
정밀도(Precision)는 양성으로 예측한 것 중 실제 양성 비율로, 거짓 양성(False Positive) 최소화가 중요할 때 쓴다.
수식: TP / (TP + FP)
재현율(Recall)은 실제 양성 중 양성으로 예측한 비율로, 거짓 음성(False Negative) 최소화가 중요할 때 쓴다.
수식: TP / (TP + FN)
F1 점수는 정밀도와 재현율의 조화평균으로 균형 잡힌 성능 평가가 가능하다.
수식: 2 _ (Precision _ Recall) / (Precision + Recall)
혼동 행렬(Confusion Matrix)은 분류 모델의 성능을 시각화하는 표로, 네 가지 요소로 구성된다.
TP(True Positive)는 실제 양성을 양성으로 예측한 경우, FP(False Positive)는 실제 음성을 양성으로 예측한 경우(제1종 오류), FN(False Negative)는 실제 양성을 음성으로 예측한 경우(제2종 오류), TN(True Negative)는 실제 음성을 음성으로 예측한 경우다.
특수 목적 평가지표로는 ROC(Receiver Operating Characteristic) 곡선과 AUC(Area Under Curve)가 있다. ROC 곡선은 다양한 임계값에서의 FPR 대비 TPR 그래프이고, AUC는 ROC 곡선 아래 면적(0.5~1 사이, 높을수록 좋음)이다. 확률 예측의 신뢰도를 재는 Log Loss(로그 손실)는 특히 확률 예측이 중요한 경우 쓴다.
수식: -Σ(y실제 * log(y예측))
그리드 서치부터 유전 알고리즘까지, 하이퍼파라미터를 고르는 법
그리드 서치(Grid Search)는 가능한 모든 하이퍼파라미터 조합을 시도하며, 계산 비용이 높지만 철저한 탐색이 가능하다. 랜덤 서치(Random Search)는 하이퍼파라미터 공간에서 무작위로 샘플링하며, 그리드 서치보다 효율적인 경우가 많다. 베이지안 최적화(Bayesian Optimization)는 이전 시도의 결과를 활용해 다음 시도를 결정하며, 적은 시도로 좋은 결과를 얻을 수 있다. 유전 알고리즘(Genetic Algorithm)은 생물학적 진화 과정을 모방한 최적화 방법으로, 복잡한 하이퍼파라미터 공간에서 효과적이다.
의료 영상부터 자연어 처리까지, 조합이 다른 이유
의료 영상 분석에서는 세그멘테이션에 효과적인 Dice Loss를 손실함수로, Adam을 옵티마이저로, Dice 계수와 Jaccard 지수를 평가지표로 쓴다.
금융 사기 탐지에서는 클래스 불균형 문제를 해결하는 Focal Loss를 손실함수로, AdamW를 옵티마이저로, Precision-Recall AUC와 F1 점수를 평가지표로 쓴다.
자연어 처리에서는 Cross-Entropy with Label Smoothing을 손실함수로, AdamW with Warmup을 옵티마이저로, BLEU·ROUGE·Perplexity를 평가지표로 쓴다.
딥러닝 모델의 성능은 하이퍼파라미터의 적절한 선택과 최적화에 크게 의존한다. 손실함수·옵티마이저·평가지표는 각각 모델의 학습 방향, 학습 방법, 성능 평가 기준을 결정하는 핵심 요소로 작용하며, 이들을 문제의 특성과 목표에 맞게 선택하고 최적화하는 것이 모델 성능을 끌어올리는 길이다.