PCA로 차원 축소와 노이즈 제거를 설계하는 방법

분산이 큰 방향만 남겨 데이터를 다시 표현하는 방식

PCA(Principal Component Analysis)는 공분산 구조를 바탕으로 데이터를 서로 직교하는 축, 즉 주성분으로 선형 변환하는 차원 축소 기법이다. 분산이 가장 큰 방향부터 순서대로 찾아내고, 상위 주성분만 남겨 원본 데이터의 표현을 단순화한다.

각 주성분이 원 데이터의 분산을 설명하는 정도는 설명 분산 비율(Explained Variance Ratio)로 확인한다. 이 비율을 누적하면 필요한 주성분 개수를 정할 수 있다.

노이즈 제거는 신호가 낮은 차원 구조에 있고 노이즈는 고차원에 균일하게 분포한다는 가정에서 출발한다. 상위 주성분 공간으로 투영한 뒤 역변환하면 고주파 노이즈 성분을 제거하는 효과를 얻을 수 있다.

전처리부터 주성분 계산까지의 기준

변수마다 스케일이 다르면 분산을 기준으로 축을 고르는 과정이 왜곡될 수 있다. 평균 중심화(mean centering)와 스케일 표준화(표준편차 = 1)를 먼저 고려해야 하는 이유다.

결측치는 PCA 이전에 처리한다. 평균 또는 중간값 대체, KNN Imputer를 사용할 수 있으며 범주형 변수는 원-핫 인코딩 후 적용한다.

주성분은 공분산 행렬의 고유분해 또는 SVD로 계산한다. 수치 안정성과 대용량 데이터 대응 측면에서는 SVD가 선호된다. 표준 SVD의 복잡도는 O(min(n, d)·d²) 내지 O(d³) 수준이며, 고차원 대용량 환경에서는 랜덤라이즈드 SVD로 근사 계산을 가속할 수 있다.

누적 설명 분산 비율이 9099%인 구간에서 업무 요구와 리스크를 함께 고려해 k를 선택한다. 규제 환경이거나 재현성 요구가 높은 경우에는 9599% 범위를 더 보수적으로 적용할 수 있다. 다만 축소를 과도하게 진행하면 분류나 회귀 정확도가 떨어질 수 있으므로 모델 성능과 복잡도 사이의 균형이 필요하다.

투영한 데이터와 복원한 데이터를 쓰는 자리

차원 축소에서는 X → Z = XW_k로 변환해 Z의 차원을 k로 줄인다. 저장 공간과 학습 비용을 낮추는 데 사용한다.

노이즈 제거에서는 X̂ = ZW_k^T + μ로 복원한다. 이 과정은 고차원 잡음을 억제하는 효과가 있으며, 이미지나 센서 신호에서 시각적·수치적 개선을 확인할 수 있다.

고차원 텍스트(TF-IDF 50k+)나 이미지(픽셀 4k+)에서는 k=100~1000 수준으로 축소해 선형 모델과 트리 모델의 학습 시간을 줄일 수 있다. 피처 간 중복을 줄여 일반화 성능 개선도 기대할 수 있다.

제조·IoT 데이터에서는 주기적 신호의 주성분만 유지해 센서 드리프트와 고주파 노이즈를 억제할 수 있다. PCA 재구성 오차는 이상탐지 전처리 단계의 스코어링에도 활용된다.

탐색 분석에서는 데이터를 2D/3D 주성분 공간에 투영해 군집 패턴, 이상치, 피처 간 상관 구조를 확인한다. 고차원 데이터를 이해하기 위한 초기 탐색 절차로도 쓰인다.

⤢✕

결측치가 있으면 학습과 추론 파이프라인에 동일한 Imputer를 적용해야 한다. 스케일러 역시 학습 때 추정한 것을 추론에 그대로 사용한다. 데이터 드리프트에는 주성분 재학습 주기를 두고 설명 분산 비율 변화를 감시하는 방식으로 대응한다.

PCA가 맞는 상황과 다른 기법이 필요한 상황

지표	PCA	오토인코더	t-SNE
성능(대규모 처리속도)	높음	중간~높음(GPU 의존)	낮음
확장성(데이터 증분)	높음(증분 PCA 가능)	중간(부분 학습 설계 필요)	낮음
일관성(재현성)	높음(결정적, 선형)	중간(초기화/학습 변동)	낮음(확률적)
안정성(노이즈·과적합)	높음(직교·규제 효과)	중간(정규화 필요)	중간
운영 편의(배포 난이도)	높음(행렬곱)	중간~낮음(모델 서빙)	낮음(주로 탐색용)

대규모 학습·서빙 파이프라인에서 표준적인 차원 축소와 노이즈 제거가 목적이라면 PCA를 우선 고려할 수 있다. 비선형 구조가 강한 임베딩이나 시각화 목적이라면 UMAP 또는 t-SNE를 보조적으로 사용한다.

scikit-learn으로 누적 설명 분산 비율 적용하기

Python 3.10+, numpy, scikit-learn 1.4+ 환경을 전제로 한다. 재현성을 위해 난수를 고정하는 방식을 사용할 수 있다.

# pip install scikit-learn numpy
import numpy as np
from sklearn.decomposition import PCA
from sklearn.datasets import load_digits
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

# 1) 데이터 로드 및 노이즈 주입
X, y = load_digits(return_X_y=True)   # (1797, 64), 값 범위 0~16
X = X / 16.0                          # [0,1] 정규화
rng = np.random.default_rng(42)
X_noisy = X + 0.20 * rng.standard_normal(X.shape)

# 2) 95% 누적 설명 분산 비율 기반 PCA
pca = PCA(n_components=0.95, svd_solver="full", random_state=42)
pipe = make_pipeline(StandardScaler(with_mean=True, with_std=True), pca)

Z = pipe.fit_transform(X_noisy)       # 차원 축소
X_denoised = pipe.named_steps["pca"].inverse_transform(Z)
# 역변환 시 스케일러 역변환 포함 필요 시 pipeline.inverse_transform 사용 고려

print("선택된 주성분 수:", pca.n_components_)
print("누적 설명 분산 비율:", pca.explained_variance_ratio_.sum())

# 3) 품질 점검: 노이즈 제거 전후 MSE
mse_noisy = np.mean((X - X_noisy) ** 2)
mse_denoised = np.mean((X - X_denoised) ** 2)
print("노이즈 주입 MSE:", round(mse_noisy, 6))
print("복원 후 MSE:", round(mse_denoised, 6))

온라인·스트리밍 데이터에는 IncrementalPCA 또는 randomized SVD를 사용할 수 있다. 배포 시에는 학습 시점의 스케일러, PCA 매개변수, 구성요소를 그대로 직렬화해야 한다(joblib 등). 데이터 민감 환경에서는 PCA 성분과 로딩(loading)에 대한 보안 접근 제어도 필요하다.

축소 효과를 볼 때 함께 확인할 지점

10k→100500 수준으로 축소하면 데이터 분포에 따라 메모리와 디스크 사용량을 20100배 절감할 수 있다. 선형·트리 기반 모델에서는 하드웨어, 데이터 크기, 구현에 따라 학습 시간이 3~10배 가속될 수 있다. 누적 설명 분산 비율을 ≥95%로 유지하면 정확도 하락을 최소화하는 경향이 있다.

PCA는 피처 중복을 줄이고 안정적인 일반화를 돕는다. 데이터 탐색과 시각화 효율을 높여 의사결정을 빠르게 만들 수 있으며, 선형적이고 해석 가능한 축을 제공하므로 규제·감사 환경의 리스크 관리에도 활용하기 쉽다.

대규모 또는 실시간 워크로드에서는 SVD·증분 학습, 일관된 전처리 파이프라인, 누적 설명 분산 비율 모니터링을 결합해 운영할 수 있다. 비선형 구조가 지배적인 영역은 UMAP이나 오토인코더를 결합하는 하이브리드 전략이 적합하다.