생성 모델 선택 기준: Score-Based·Normalizing Flow·Energy-Based
Score-Based Models, Normalizing Flows, Energy-Based Models의 학습 방식과 우도, 샘플링, 운영 트레이드오프를 비교한다.
2026-08-14 · 최초 발행 2025-10-14
데이터 분포를 학습하는 서로 다른 경로
확률적 생성 모델은 관측 데이터 x ~ p_data(x)의 분포를 pθ(x)로 근사한다. 이 분포 모델을 바탕으로 새 샘플을 만들고, 우도를 추정하며, 조건부 생성이나 이상 탐지, 역문제를 수행한다. 학습 목표는 최대우도(NLL), 점수 매칭, 에너지 차별화처럼 모델 계열마다 달라진다.
Score-Based Models는 여러 노이즈 스케일 t에서 점수 함수 ∇x log p_t(x)를 추정한다. Denoising Score Matching(DSM)으로 학습한 뒤 역 SDE 또는 Probability Flow ODE를 적분해 샘플을 복원한다. VE/VP SDE, UNet·Transformer 백본, 노이즈 스케줄, EMA 안정화가 구현의 중심이다.
Normalizing Flows는 가우시안 잠재 변수 z를 데이터 x로 바꾸는 가역 함수 x = fθ(z)를 구성한다. 변화도 공식을 이용해 정확한 log pθ(x)를 계산할 수 있다. RealNVP·Glow 같은 Coupling 또는 Autoregressive 층, 스케일-시프트 파라미터화가 대표적이며, CNF(연속 정상화 흐름)에서는 ODE 기반 변형도 가능하다.
Energy-Based Models는 Eθ(x)로 비정규화 밀도를 표현한다. 즉, pθ(x) ∝ exp(−Eθ(x))이며 정규화 상수 Z를 직접 계산하지 않는다. Langevin MCMC 같은 확률적 동역학으로 샘플을 만들고, Contrastive Divergence·Score Matching·NCE로 학습한다. 분할 함수와 혼합성 문제가 있으므로 안정화 기법의 비중이 크다.
학습 목표가 운영 특성을 바꾼다
Score-Based 모델은 노이즈가 섞인 중간 분포 p_t(x)의 점수를 학습한다. DSM·Flow Matching, SNR 가중 로스, σ 스케줄이 수렴과 결과 품질에 영향을 준다. 아키텍처 선택의 자유도는 높지만 확산 시간 인코딩이 필요하다. EMA, variance exploding/preserving 튜닝, SNR annealing으로 학습을 안정화한다.
Flows는 NLL 최소화가 학습의 기준이고 Jacobian log-det의 수치 안정성을 관리해야 한다. 가역성 때문에 채널 분할과 마스킹 패턴이 필요하며 설계 자유도에는 제약이 생긴다. Weight norm, ActNorm, Lipschitz 제약을 적용하고 CNF에서는 ODE 솔버 오차도 관리 대상이다.
EBM은 양성 샘플과 Langevin 샘플 사이의 에너지 차이를 조정한다. Contrastive Divergence와 Langevin 샘플 보정 과정이 필요하고, 스펙트럴 노름이나 스무딩으로 폭주를 억제한다. 표현 방식의 자유도는 높지만 에너지 평활화와 정규화 없이는 학습과 샘플링이 불안정해질 수 있다. 잡음 주입과 샘플 버퍼(Persistent Contrastive Divergence)도 이 문제를 다루는 방법이다.
샘플링 지연과 서빙 부담
Score-Based 방식은 보통 수백~수천 스텝의 SDE·ODE 적분을 거친다. 가이던스와 DDIM, DPM-Solver, distillation을 활용하면 이 지연을 줄일 수 있다. 반면 Flows는 단일 패스 전방 변환으로 샘플을 만들며, 역우도 계산과 인퍼런스의 경로도 대칭적이다.
EBM은 MCMC 반복이 필요하다. 초기화와 스텝 크기에 민감하고, 대규모 배치 서빙에는 부담이 따른다. Langevin 단계 수와 스텝 크기를 스케줄링하고 샘플 버퍼를 운영해 혼합성을 개선한다.
모델별로 맞는 문제
고품질 이미지 생성과 복원에서는 Score-Based 모델을 초해상화, 인페인팅, 노이즈 제거에 적용할 수 있다. 조건을 인코딩한 뒤 노이즈 스케줄을 학습하고 역 SDE로 샘플을 만든다. DDIM/DPM-Solver를 사용하면 10~50스텝 추론이 가능하며, 품질은 FID/KID로 모니터링한다.
정확한 log p(x)가 필요한 이상 탐지와 캘리브레이션에는 Flows가 맞는다. 탭 데이터나 시계열에서 밀도 기반 이상 탐지를 수행하고 해석 가능성을 확보할 수 있다. bits/dim을 모니터링하고, 우도 함정을 피하기 위해 우도와 레이블의 상관을 검증하면서 입력을 프리프로세싱한다.
Flows와 Score-Based 모델은 클래스·텍스트 조건을 넣거나 CT 재구성, 역산란처럼 물리 제약이 있는 역문제에도 적용할 수 있다. classifier-free guidance 또는 조건 흐름 파라미터 공유로 조건 간 일관성을 유지한다.
EBM은 물리 시뮬레이션 보정과 에너지 스코어 기반 OOD 검출에 적합하다. 유연한 에너지 정의를 통해 도메인 priors를 주입하기 쉽고, 강건한 표현을 확보할 수 있다.
관측된 효과와 해석 범위
Score-Based 모델은 동급 계산에서 GAN 대비 FID 1030% 개선 사례가 다수 있으며, distillation으로 스텝을 줄이면 지연을 310배 단축할 수 있다. 모드 커버리지가 좋고 조건 제어가 쉬우며 아티팩트 감소도 기대할 수 있다.
Flows는 정확한 NLL(bits/dim)을 달성하고, 데이터에 따라 이상 탐지 AUROC가 3~8pt 향상될 수 있다. 해석 가능성과 캘리브레이션에 강점이 있고 추론 경로가 단순하다.
EBM은 OOD 탐지에서 에너지 스코어를 활용했을 때 베이스라인 대비 5~10pt 개선이 보고됐다. 다만 샘플링 비용 증가는 함께 고려해야 한다. 효과는 데이터, 아키텍처, 튜닝에 민감하므로 최신 벤치마크와 재현성 검증이 필요하다.
품질·우도·운영성의 비교
| 모델 | 성능(품질/우도) | 확장성(해상도/차원) | 일관성(모드 커버리지) | 안정성(학습/샘플링) | 운영 편의(지연/비용) |
|---|---|---|---|---|---|
| Score-Based | 샘플 품질 상, 우도 근사 | 상(대규모 아키텍처 적합) | 상 | 학습 안정 상, 샘플링 스케줄 민감 | 추론 지연 큼, distillation로 개선 |
| Normalizing Flows | 샘플 품질 중, 우도 상(정확) | 중(가역 제약으로 깊이/표현 한계) | 상 | 학습 안정 중, Jacobian 안정성 필요 | 추론 빠름, 메모리 효율 양호 |
| Energy-Based | 샘플 품질 중, 우도 불가(Z 미상정) | 중~상(아키텍처 자유도 높음) | 상 | 학습/샘플링 불안정, MCMC 민감 | 서빙 비용 큼, 배치화 어려움 |
학습에서 서빙까지의 제어 지점
선택 기준은 평가 목표에서 출발한다
최고 품질의 샘플과 복원이 우선이면 Score-Based 모델을 먼저 검토할 수 있다. 추론 지연은 스텝 축소, 디스틸, 솔버 최적화로 보완한다.
정확한 우도, 캘리브레이션, 이상 탐지가 목적이라면 Normalizing Flows가 적합하다. 대신 가역성 제약을 전제로 아키텍처를 설계해야 한다.
OOD 스코어링, 도메인 priors 주입, 강건한 표현이 필요하면 EBM을 고려할 수 있다. 학습과 샘플링의 안정화 기법은 필수다. 어떤 계열이든 데이터 정규화와 분포 쉬프트를 모니터링하고, FID/KID·bits/dim·AUROC를 다각도로 관리해야 한다. 배포 전에는 성능과 지연의 트레이드오프를 정하고 A/B 및 안전 한계(샘플 품질 하한, 우도 스로틀)를 설정한다. 최신 확산 가속(ODE 솔버, distillation)과 하이브리드 기법(Flow-matching, Consistency models)은 지속적 업데이트가 필요하다.