선형회귀: 최소제곱법으로 최적의 직선을 찾는 법

선형회귀는 머신러닝과 통계학 분야에서 가장 기본적이면서도 널리 활용되는 예측 모델링 기법이다. 단순하지만 강력한 이 알고리즘은 데이터 분석의 핵심 도구로 자리 잡고 있으며, 다양한 비즈니스 문제 해결에 기여하고 있다.

선형회귀가 정의하는 관계

정의: 하나 이상의 독립변수(X)와 종속변수(Y) 사이의 선형 관계를 모델링하는 통계적 방법
기본 가정: 입력 변수와 출력 변수 사이에 선형적 관계가 존재함
목적: 최적의 선형 방정식을 찾아 미래 값을 예측하거나 변수 간 관계를 이해하는 것

수식으로 표현하면

단순 선형회귀 방정식은 다음과 같다.

Y = β₀ + β₁X + ε

Y: 종속변수(예측하려는 값)
X: 독립변수(입력 특성)
β₀: 절편(Y 절편)
β₁: 기울기(회귀계수)
ε: 오차항(noise)

다중 선형회귀 방정식은 독립변수가 여러 개로 늘어난다.

Y = β₀ + β₁X₁ + β₂X₂ + ... + βₙXₙ + ε

X₁, X₂, ..., Xₙ은 다수의 독립변수, β₁, β₂, ..., βₙ은 각 독립변수에 대한 회귀계수다.

데이터에 가장 잘 맞는 직선을 찾는 과정

선형회귀 모델은 주어진 데이터 포인트들에 가장 잘 맞는 직선(또는 초평면)을 찾는 과정이다.

⤢✕

최소제곱법(Ordinary Least Squares)으로 회귀선 찾기

최소제곱법의 원리는 실제 값과 예측 값 차이의 제곱합(RSS, Residual Sum of Squares)을 최소화하는 것이다.

수식: RSS = Σ(Yᵢ - Ŷᵢ)² = Σ(Yᵢ - (β₀ + β₁Xᵢ))²
특징: 계산이 단순하고 해석이 용이함

⤢✕

모델이 얼마나 잘 맞는지 재는 법

결정계수(R²): 모델이 데이터 분산을 얼마나 잘 설명하는지 나타내는 지표로, 0~1 사이 값을 가지며 1에 가까울수록 모델 설명력이 높다. R² = 1 - (RSS / TSS), TSS는 총 제곱합이다
평균제곱오차(MSE): 예측 오차의 제곱 평균으로, MSE = (1/n) × Σ(Yᵢ - Ŷᵢ)². 값이 작을수록 모델 성능이 우수하다
조정결정계수(Adjusted R²): 독립변수 수를 고려해 R²를 조정한 값으로, 불필요한 변수 추가 시 페널티를 부여한다

단순한 직선을 넘어서는 변형들

단순 선형회귀(Simple Linear Regression): 하나의 독립변수와 하나의 종속변수 관계를 모델링한다(예: 광고 비용에 따른 매출액 예측)
다중 선형회귀(Multiple Linear Regression): 여러 독립변수와 하나의 종속변수 관계를 모델링한다(예: 집 크기, 방 개수, 위치를 기반으로 한 주택 가격 예측)
다항 회귀(Polynomial Regression): 독립변수의 다항식 형태로 모델링한다(Y = β₀ + β₁X + β₂X² + ε). 비선형 관계를 선형 모델로 표현할 수 있다
릿지 회귀(Ridge Regression): 다중공선성 문제 해결을 위한 정규화 기법으로, 비용 함수에 L2 정규화항을 추가한다
라쏘 회귀(Lasso Regression): 변수 선택 기능이 있는 정규화 기법으로, 비용 함수에 L1 정규화항을 추가해 불필요한 특성의 계수를 0으로 만든다

이 모델이 전제하는 가정들

선형성: 독립변수와 종속변수 간 선형 관계
독립성: 오차항들은 서로 독립적
등분산성: 오차항의 분산이 일정함
정규성: 오차항이 정규분포를 따름
다중공선성 없음: 독립변수들 간 강한 상관관계 없음

이 가정이 깨지면 문제가 뒤따른다. 이분산성은 일부 구간에서 예측 정확도를 떨어뜨리고, 자기상관성은 표준오차를 과소평가해 부정확한 추론으로 이어지며, 다중공선성은 회귀계수 추정을 불안정하게 만든다.

현장에서 실제로 쓰인 방식

금융 분야에서는 경제 지표·거래량 등을 활용해 주가 움직임을 예측하고(주가 예측), 고객 데이터 기반으로 신용 점수를 모델링한다(신용평가). 한국 대형 은행은 선형회귀를 활용해 담보대출 가치 평가 모델을 구축해 대출 리스크를 20% 줄였다.

마케팅 분야에서는 마케팅 채널별 효과를 측정하고(광고 효과 분석, Media Mix Modeling), 가격·프로모션 등 변수를 기반으로 판매량을 예측한다(수요 예측). 국내 대형 유통업체는 선형회귀로 제품별 가격 탄력성을 모델링해 매출을 15% 늘렸다.

의료 분야에서는 여러 건강 지표와 질병 발생 확률의 관계를 모델링하고(질병 위험 요인 분석), 환자 특성에 따른 약물 효과를 예측한다(약물 반응 예측). 한 대학병원 연구팀은 선형회귀로 당뇨병 발병 예측 모델을 개발해 조기 진단율을 35% 높였다.

실제로 구현해보기

파이썬으로 단순 선형회귀를 구현하면 다음과 같다.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score

# 데이터 생성
X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1)
y = np.array([2, 4, 5, 4, 6])

# 모델 학습
model = LinearRegression()
model.fit(X, y)

# 결과 출력
print(f"절편(β₀): {model.intercept_}")
print(f"기울기(β₁): {model.coef_[0]}")

# 예측
y_pred = model.predict(X)
print(f"R² 값: {r2_score(y, y_pred)}")

# 시각화
plt.scatter(X, y, color='blue')
plt.plot(X, y_pred, color='red')
plt.title('단순 선형회귀 예시')
plt.xlabel('X')
plt.ylabel('y')
plt.show()

R로 다중 선형회귀를 구현하면 다음과 같다.

# 데이터 로드
data(mtcars)

# 모델 학습
model <- lm(mpg ~ wt + hp + disp, data = mtcars)

# 결과 요약
summary(model)

# 예측
new_data <- data.frame(wt = 3.0, hp = 120, disp = 200)
predict(model, newdata = new_data)

# 가정 검정
par(mfrow = c(2, 2))
plot(model)

선형회귀에서 뻗어나가는 확장들

일반화 선형 모델(GLM)은 종속변수가 정규분포가 아닌 경우에 적용하며, 로지스틱 회귀·포아송 회귀 등 다양한 확장 모델을 포함한다. 시계열 회귀 모델은 자기회귀(AR)·이동평균(MA)·ARIMA 등으로 시간에 따른 데이터 패턴을 모델링한다. 딥러닝과의 통합에서는 신경망 구조에 선형회귀 층을 활용해 복잡한 비선형 패턴과 선형 관계를 동시에 학습한다.

적용할 때 챙길 것들

데이터 전처리에서는 결측치를 보간하거나 제거하고, 이상치는 로버스트 회귀를 쓰거나 변환하며, 표준화(Z-score)나 정규화(Min-Max)로 특성을 스케일링한다. 특성 공학에서는 로그·제곱근 등으로 변수를 변환해 선형성을 확보하고, 변수 간 곱셈 항인 상호작용항을 추가하며, 다항식 특성으로 비선형 관계를 모델링한다. 모델 선택과 평가에서는 k-fold 교차 검증으로 일반화 성능을 평가하고, 릿지·라쏘로 과적합을 방지하며, 후진 제거법·전진 선택법 등으로 특성을 선택한다.

선형회귀는 단순하면서도 강력한 예측 모델링 기법으로, 데이터 분석의 기초를 이루는 핵심 알고리즘이다. 다양한 가정과 제한점이 있지만, 적절한 데이터 전처리와 모델 선택을 통해 많은 실무 문제를 효과적으로 해결할 수 있다. 선형회귀의 이해는 더 복잡한 머신러닝 알고리즘을 학습하기 위한 중요한 기반이 되며, 데이터 기반 의사결정의 출발점이 된다.