로지스틱 회귀분석: 시그모이드로 이진 결과를 예측하는 법
종속변수가 이진값일 때 시그모이드 함수로 확률을 예측하는 로지스틱 회귀분석의 원리, 학습 방법, 평가 지표, 장단점을 정리한다.
2026-08-13 · 최초 발행 2026-04-09
로지스틱 회귀분석은 가장 널리 쓰이는 분류 알고리즘 중 하나로, 특히 이진(binary) 결과를 예측하는 데 효과적인 통계 기법이다. 선형 회귀와 달리 종속변수가 범주형(성공/실패, 합격/불합격, 생존/사망 등)일 때 활용된다.
이진 결과를 확률로 바꿔서 예측한다
로지스틱 회귀분석은 종속변수가 이진값(0/1)을 가질 때 쓰는 통계적 모델링 기법이다. 선형 회귀와 달리 결과를 확률로 변환해 0과 1 사이의 값으로 예측하며, 이 변환에 로지스틱 함수(시그모이드 함수)를 쓴다. 확률이 0.5 이상이면 보통 긍정적 클래스(1)로, 미만이면 부정적 클래스(0)로 분류한다.
시그모이드 함수가 값을 0과 1 사이로 눌러준다
로지스틱 회귀분석의 핵심은 시그모이드 함수다. 이 함수는 어떤 입력값이든 0과 1 사이의 값으로 매핑한다.
시그모이드 함수의 수식은 P(Y=1) = 1 / (1 + e^-z)이며, 여기서 z는 독립변수들의 선형 조합(β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ)이다.
로짓 변환으로 확률을 로그 오즈로 펼친다
로짓 변환은 확률 p를 로그 오즈(log-odds)로 변환하는 과정이다. 로짓(logit) = log(p/(1-p)) = log(odds)이며, 이를 통해 0과 1 사이의 확률값을 음의 무한대에서 양의 무한대 범위로 변환한다. 이 변환으로 선형 회귀와 유사한 형태로 모델링할 수 있다.
최대 우도 추정으로 계수를 학습한다
로지스틱 회귀 모델은 최대 우도 추정(Maximum Likelihood Estimation, MLE) 방법으로 학습한다.
- 각 데이터 포인트의 실제 결과가 발생할 확률을 계산
- 모든 데이터 포인트에 대한 우도(likelihood)를 계산
- 우도를 최대화하는 계수(β 값)를 찾음
- 일반적으로 경사 하강법이나 뉴턴-랩슨 방법을 사용해 최적화
실제로는 비용 함수로 로그 우도의 음수값(negative log-likelihood)을 최소화하는 방향으로 학습이 진행된다.
정확도부터 AUC까지, 성능을 재는 지표들
로지스틱 회귀 모델의 성능은 다양한 지표로 평가할 수 있다.
- 정확도(Accuracy): 전체 예측 중 올바른 예측의 비율
- 정밀도(Precision): 양성으로 예측한 것 중 실제 양성의 비율
- 재현율(Recall): 실제 양성 중 양성으로 예측한 비율
- F1 점수: 정밀도와 재현율의 조화평균
- ROC 곡선과 AUC: 다양한 임계값에 대한 모델 성능 평가
- 혼동 행렬(Confusion Matrix): TP, TN, FP, FN을 통한 종합적 평가
해석은 쉽지만 비선형 관계엔 약하다
장점
- 구현과 해석이 용이함
- 계산 효율성이 높음
- 과적합 위험이 상대적으로 낮음
- 각 특성의 영향력을 해석하기 쉬움
- 적은 학습 데이터로도 합리적인 성능 발휘
- 범주형과 연속형 변수를 모두 독립변수로 사용 가능
단점
- 복잡한 비선형 관계를 포착하기 어려움
- 다중공선성(multicollinearity) 문제에 취약
- 완전 분리(complete separation) 문제 발생 가능
- 이상치에 민감하게 반응
- 독립변수 간 상호작용을 자동으로 고려하지 않음
의료·금융·마케팅·스포츠에서 실제로 쓰이는 곳
의료 분야에서는 특정 증상이나 위험 요인을 바탕으로 질병 발병 확률을 예측한다. 예를 들어 환자의 나이, 혈압, 콜레스테롤 수치 등을 기반으로 심장병 발병 가능성을 예측하는 식이다.
금융 분야에서는 신용평가 모델에서 대출 상환 가능성을 예측한다. 고객의 소득, 직업, 신용 이력 등을 기반으로 대출 승인 여부를 결정한다.
마케팅 분야에서는 고객의 인구통계학적 정보와 행동 패턴을 바탕으로 제품 구매 가능성을 예측한다. 이메일 마케팅 캠페인에서 특정 고객의 클릭 또는 전환 가능성을 예측하는 데도 쓰인다.
스포츠 분석에서는 팀 통계와 선수 성적을 바탕으로 경기 승패를 예측하고, 특정 상황에서의 득점 가능성을 분석한다.
Python으로 로지스틱 회귀 구현해보기
Python의 scikit-learn 라이브러리를 사용한 로지스틱 회귀분석 구현 예시는 다음과 같다.
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
import pandas as pd
import numpy as np
# 데이터 준비 (가상 예시)
# X: 독립변수들 (특성)
# y: 종속변수 (이진값 0/1)
# 데이터 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 로지스틱 회귀 모델 학습
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)
# 모델 계수 확인
print('Intercept:', model.intercept_)
print('Coefficients:', model.coef_)
# 예측
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1] # 양성 클래스에 대한 확률
# 모델 평가
print('Accuracy:', accuracy_score(y_test, y_pred))
print('\nConfusion Matrix:')
print(confusion_matrix(y_test, y_pred))
print('\nClassification Report:')
print(classification_report(y_test, y_pred))다항·순서형·정규화·베이지안으로 확장되는 모델들
로지스틱 회귀의 기본 개념은 다양한 모델로 확장할 수 있다.
- 다항 로지스틱 회귀(Multinomial Logistic Regression): 종속변수가 세 개 이상의 범주를 가질 때 사용
- 순서형 로지스틱 회귀(Ordinal Logistic Regression): 종속변수가 순서를 갖는 범주형일 때 사용
- 정규화된 로지스틱 회귀: L1(Lasso) 또는 L2(Ridge) 정규화를 적용해 과적합 방지
- 베이지안 로지스틱 회귀: 계수에 사전 분포를 도입한 베이지안 접근법
데이터를 넣기 전에 정리해야 할 것들
로지스틱 회귀분석을 효과적으로 수행하려면 다음 전처리 단계를 거친다.
- 결측치 처리: 결측값을 평균, 중앙값, 또는 예측값으로 대체
- 이상치 감지 및 처리: 이상치가 모델에 미치는 영향 최소화
- 데이터 스케일링: 특성들의 스케일을 표준화하거나 정규화
- 범주형 변수 인코딩: 원-핫 인코딩 또는 타겟 인코딩 적용
- 다중공선성 확인: VIF(Variance Inflation Factor)를 통한 다중공선성 검사
- 특성 선택 또는 차원 축소: 불필요한 특성 제거나 PCA 등을 통한 차원 축소
결정 트리·SVM·나이브 베이즈와 비교하면
로지스틱 회귀분석은 다른 분류 기법들과 다음과 같은 차이가 있다.
- 결정 트리: 비선형 관계와 특성 간 상호작용을 더 잘 포착하지만 해석력이 낮음
- 서포트 벡터 머신(SVM): 비선형 경계를 더 잘 학습하지만 계산 비용이 높음
- 나이브 베이즈: 계산이 매우 빠르지만 특성 간 독립 가정이 필요
- 신경망: 복잡한 패턴을 학습할 수 있지만 해석이 어렵고 과적합 위험이 높음
- 앙상블 방법: 보통 더 높은 성능을 보이지만 모델 복잡성과 계산 비용이 증가
로지스틱 회귀분석은 모델의 간결함, 해석 용이성, 구현 편의성 측면에서 여전히 많은 실무 분야에서 선호되는 분류 기법이다.