SVM 결정 경계와 마진 최대화로 분류 성능 다루기

SVM에서 분류 경계는 전체 학습 표본의 평균적인 성질만으로 정해지지 않는다. 경계 가까이에 놓인 서포트 벡터가 경계의 위치와 방향을 직접 규정하며, 이 경계와 클래스 사이의 거리를 어떻게 확보하는지가 일반화 성능에 영향을 준다.

경계를 만드는 표본과 마진

결정 경계는 입력 공간을 클래스별로 나누는 초평면 또는 비선형 곡면이다. 목표는 오분류를 줄이는 데 그치지 않고 일반화 오류도 낮출 수 있는 분리 기준을 찾는 것이다.

서포트 벡터는 마진 경계에 가장 가까운 학습 표본의 부분집합이다. 이 표본들은 결정 경계의 위치와 방향을 결정하는 활성 제약 집합으로 작동한다.

마진 최대화는 클래스 간 최소 거리인 마진을 크게 만드는 접근이다. 노이즈와 분산에 대한 견고성을 높이고, 일반화 오류 상한인 VC 범위를 낮추는 방향을 지향한다.

분리 조건과 커널이 바꾸는 경계

완전한 선형 분리가 가능한 데이터라면 하드 마진으로 마진 최대화를 수행할 수 있다. 다만 노이즈에 민감하고 오버피팅 위험이 커질 수 있다.

소프트 마진은 C와 슬랙 변수를 통해 일부 오분류를 허용한다. 노이즈에 대한 견고성을 확보하는 대신, C의 정규화 강도를 조절하며 바이어스–분산 균형을 잡아야 한다.

비선형 분리 문제에는 커널 트릭을 적용한다. 입력을 고차원 특징 공간에 임베딩해 선형 분리가 가능한 상태로 바꾸며, RBF, Polynomial, Linear, Sigmoid 등의 커널 함수를 선택할 수 있다. γ와 차수(degree)는 결정 경계의 곡률과 복잡도를 제어한다.

최적화는 가중치 노름을 줄여 마진을 키우는 목적과 오분류 페널티를 줄이는 목적을 함께 다룬다. 라그랑주 이중화와 KKT 조건을 거치면 서포트 벡터 중심의 희소해를 도출할 수 있다.

피처 스케일이 불균형하면 마진 방향이 왜곡될 수 있으므로 표준화나 정규화가 전제된다. 이상치 처리와 클래스 불균형 보정(class_weight, 샘플링)도 경계 안정성에 영향을 준다. Platt Scaling 등의 후처리로 의사결정 임계값을 조정할 수 있고, 서포트 벡터 정제나 Nyström 근사는 추론 지연을 줄이는 방법이 된다.

학습부터 운영까지의 흐름

⤢✕

하드 마진과 소프트 마진의 운영상 차이

구분	성능(일반화)	확장성	일관성(결정 경계 안정성)	안정성(노이즈 견딤)	운영 편의
하드 마진	선형 완전 분리 시 우수, 노이즈 존재 시 급격한 저하	고차원 소규모에 적합, 대규모 노이즈 데이터에 부적합	데이터 변동에 민감, 경계 요동 증가	낮음, 이상치에 취약	파라미터 단순하나 적용 도메인 제한
소프트 마진(C 조절)	폭넓은 데이터에서 견실, 튜닝 시 SOTA 근접	커널·C 선택에 따라 비용 증가	튜닝 시 안정적 경계 형성	높음, 노이즈·오분류 허용	실무 친화적, class_weight와 병행 용이

데이터 성격에 따른 적용 방식

제조 설비 이상 탐지에서는 센서 피처를 표준화한 뒤 RBF 커널을 적용할 수 있다. 오탐 비용을 고려해 C를 완화하고, 재현율 중심으로 임계값을 조정한다. 드리프트가 감지되면 서포트 벡터 수의 급증을 재학습 트리거로 삼을 수 있다.

금융 사기 탐지처럼 클래스 불균형이 극단적인 경우에는 class_weight=balanced를 적용하고, ROC-AUC 최적화와 Precision-Recall 곡선 기반 임계값 튜닝을 함께 수행한다. 개인정보 최소화 전처리 파이프라인과 결합해 추론을 경량화하는 방식도 가능하다.

스팸이나 토픽 분류처럼 고차원 희소 벡터를 다루는 텍스트 분류에서는 Linear SVM을 우선 적용할 수 있다. TF-IDF 정규화와 단어 가중 상한으로 경계의 안정성을 확보하고, 확률 보정 뒤 비즈니스 임계값을 세분화해 배포한다.

소규모 컴퓨터 비전 데이터에는 딥러닝 이전 단계의 특징 기반 R-HOG+SVM 경량 추론 구성을 적용할 수 있다. Nyström 근사로 커널을 근사화하면 지연 시간을 줄일 수 있다.

성능과 운영 비용에서 기대할 수 있는 변화

적절한 C·γ 탐색은 베이스라인 대비 F1 28%p 개선 사례와 연결된다. 작은 데이터셋에서는 과적합을 억제해 테스트 오차를 515% 상대 감소시킬 가능성이 있다.

소프트 마진을 적용하면 이상치가 삽입된 상황에서도 결정 경계 변동 표준편차가 2040% 감소한 관측 사례가 있다. 서포트 벡터 수를 Pruning으로 줄이면 추론 지연을 3060% 단축할 수 있으며, 확률 보정은 임계값 튜닝 비용 감소와 알람 품질 개선에 활용된다.

경계를 안정적으로 운영하는 기준

표준화나 정규화는 파이프라인으로 고정해야 한다. 예를 들어 StandardScaler → SVM 구성은 데이터 누수를 막는 데 필요하다.

C가 커질수록 경계 복잡도와 과적합 위험이 높아진다. RBF 커널의 γ가 커질수록 국소화가 강화되고 결정 경계가 과세분화될 수 있다. 로그 스케일 그리드 또는 베이즈 최적화에 k-Fold CV를 결합해 탐색한다.

클래스 불균형에는 class_weight=balanced나 비용 민감 C를 사용하고, 리콜 중심 도메인이라면 임계값 하향 조정을 병행한다. 서포트 벡터 수는 추론 비용을 추적하는 지표이므로 지속적으로 관찰하고, 필요하면 커널 근사, 특징 선택, C 완화를 검토한다.

Linear SVM은 가중치 벡터를 기반으로 피처 기여도를 분석할 수 있다. 커널 SVM은 지역적 샘플 영향도를 확인하기 위해 LIME/SHAP 같은 보조 수단이 필요하다.