회귀분석, 독립변수와 종속변수의 관계를 수식으로 담아내다

회귀분석의 뿌리는 19세기 영국의 통계학자 프랜시스 골턴(Francis Galton)까지 거슬러 올라간다. 독립변수와 종속변수 간의 함수적 관계를 규명하는 이 통계적 방법론은 특정 변수들이 다른 변수에 미치는 영향을 수학적 모델로 설명하며, 변수 간 관계 파악·미래값 예측·인과관계 분석을 목적으로 데이터 기반 의사결정의 핵심 도구로 쓰인다.

최소제곱법으로 계수를 구하는 방식

회귀분석의 기본 형태는 Y = β₀ + β₁X₁ + β₂X₂ + ... + βₙXₙ + ε다. Y는 종속변수(반응변수), X₁부터 Xₙ까지는 독립변수(설명변수), β₀는 절편(intercept), β₁부터 βₙ까지는 회귀계수(coefficient), ε는 오차항(error term)이다.

계수를 구하는 표준 방법은 최소제곱법(Least Squares Method)으로, 오차의 제곱합을 최소화하는 β 값을 찾는다. 잔차제곱합(RSS, Residual Sum of Squares)은 Σ(Yᵢ - Ŷᵢ)²로 계산하고, 결정계수(R²)는 모델이 데이터의 변동성을 얼마나 설명하는지 나타내는 지표로 0 ≤ R² ≤ 1 범위를 가지며 값이 클수록 모델의 설명력이 높다.

단순 선형 회귀: 변수 하나로 예측하기

독립변수가 1개인 회귀모델로, Y = β₀ + β₁X + ε 형태로 두 변수 간의 직선적 관계를 모델링한다. 광고비(X)와 매출액(Y) 간의 관계를 분석하는 것이 예다.

⤢✕

다중 선형 회귀: 여러 변수를 함께 고려하기

독립변수가 2개 이상인 회귀모델로, Y = β₀ + β₁X₁ + β₂X₂ + ... + βₙXₙ + ε 형태로 여러 독립변수의 복합적 영향을 분석한다. 주택 가격(Y)을 면적(X₁), 방 개수(X₂), 건물 연식(X₃) 등으로 예측하는 것이 예다.

⤢✕

다항 회귀: 곡선 관계를 담아내기

독립변수와 종속변수 간의 비선형 관계를 Y = β₀ + β₁X + β₂X² + ... + βₙXⁿ + ε 형태로 모델링한다. 독립변수의 차수를 높여 곡선 관계를 표현하며, 시간에 따른 인구 증가 패턴이나 식물 성장 곡선이 예다.

로지스틱 회귀: 확률로 범주를 나누기

종속변수가 범주형(이진 또는 다중) 데이터일 때 사용하며, 확률을 0과 1 사이로 변환하는 로짓 함수를 활용한다. 이진 분류의 경우 P(Y=1) = 1/(1+e^(-z)), z = β₀ + β₁X₁ + ... + βₙXₙ이다. 고객 이탈 예측, 질병 진단, 합격/불합격 예측이 예다.

⤢✕

릿지와 라쏘: 정규화로 과적합을 막기

정규화(regularization) 기법을 추가한 회귀분석으로, 과적합(overfitting) 방지와 변수 선택에 효과적이다. 릿지(Ridge)는 L2 정규화로 모든 변수를 유지하면서 계수를 축소하고, 라쏘(Lasso)는 L1 정규화로 일부 변수의 계수를 0으로 만들어 변수 선택 효과를 낸다.

회귀분석이 기대는 전제 조건들

선형성(Linearity)은 독립변수와 종속변수 간 선형 관계를 가정하고, 독립성(Independence)은 오차항 간의 독립성을 가정한다. 등분산성(Homoscedasticity)은 오차항의 분산이 일정함을, 정규성(Normality)은 오차항이 정규분포를 따름을 가정한다. 다중공선성 부재(No Multicollinearity)는 독립변수 간 강한 상관관계가 없음을 가정한다.

EDA에서 시작해 결과 해석으로 끝나는 워크플로우

먼저 분석 목적을 명확히 하고 관련 데이터를 수집·전처리한다. 탐색적 데이터 분석(EDA) 단계에서는 산점도·상관계수로 변수 간 관계를 시각화하고 이상치(outlier)·결측치를 처리한다. 모델 구축 단계에서는 적절한 회귀 유형을 고르고, 전진선택법·후진제거법·단계적 선택법 같은 변수 선택 방법으로 독립변수를 정한다.

모델 평가·진단 단계에서는 결정계수(R²)·조정된 결정계수(Adjusted R²)를 확인하고, F-통계량·p-값으로 모델 유의성을 검정하며, 잔차 분석으로 회귀 가정을 검증한다. 모델 개선·최종 선택 단계에서는 변수 변환·상호작용항 추가로 모델을 개선하고 정규화 방법 적용을 고려하며, 교차검증(cross-validation)으로 모델 안정성을 확인한다. 마지막으로 회귀계수를 해석하고 예측·의사결정에 활용한다.

금융·마케팅·의료·공공정책이 회귀분석을 쓰는 방식

금융 분야에서는 경제지표·기업 실적을 바탕으로 주가 변동을 예측하고, 고객의 재무상태·거래 이력으로 신용점수를 산정하며, 다양한 요인에 따른 투자 위험도를 분석한다.

마케팅 분야에서는 광고비·가격·경쟁사 활동에 따른 판매량 변화를 예측하고, 고객 특성과 구매 패턴 간의 관계를 규명하며, 마케팅 활동의 효과를 ROI로 측정한다.

의료 분야에서는 생활습관·유전적 요인에 따른 질병 발생 확률을 예측하고, 환자 특성에 따른 약물 효과를 분석하며, 환자 상태와 치료 방법에 따른 의료비를 추정한다.

공공 정책 분야에서는 GDP·실업률 같은 경제지표의 변화를 예측하고, 시간대·날씨·이벤트에 따른 교통량 변화를 예측하며, 산업 활동이 환경에 미치는 영향을 평가한다.

상관관계는 인과관계가 아니라는 한계와 그 대안들

회귀분석은 상관관계가 인과관계를 의미하지 않는다는 한계(Correlation ≠ Causation)를 안고 있다. 이상치(outlier)에 민감하게 반응하고, 단순 모델의 경우 비선형적 관계를 포착하기 어려우며, 다중공선성 문제가 발생할 가능성도 있다.

비선형 관계는 스플라인(spline)이나 GAM(Generalized Additive Model) 같은 비선형 회귀모델로, 예측 성능은 랜덤 포레스트·부스팅 같은 앙상블 기법으로, 과적합은 릿지·라쏘·엘라스틱넷 같은 정규화 방법으로 보완할 수 있다. 인과관계 자체를 다루려면 도구변수, 회귀불연속설계, 이중차분법 같은 인과추론 방법론을 쓴다.

R과 파이썬부터 스파크까지, 회귀분석을 계산하는 도구들

R 언어는 lm(), glm() 함수와 car·MASS·glmnet 같은 패키지를 제공하고, Python은 statsmodels·scikit-learn·NumPy·pandas를 쓴다. SPSS·SAS·Stata 같은 상용 소프트웨어, 빅데이터 환경에서는 Spark MLlib의 회귀분석 기능도 활용된다.

빅데이터 환경에서의 확장성 강화, 신경망 기반 회귀 모델로의 딥러닝과의 결합, SHAP·LIME 같은 해석 가능한 AI를 통한 블랙박스 모델 해석, 자동화된 특성 엔지니어링과 모델 선택, 인과추론 기법과의 통합이 회귀분석이 발전해가는 방향으로 꼽힌다.