생성 모델의 선택 기준: GAN·VAE·Diffusion·Normalizing Flows
GAN, VAE, Diffusion Models, Normalizing Flows의 학습 방식과 우도·품질·추론 지연 관점의 선택 기준을 정리한다.
2026-08-14 · 최초 발행 2024-04-29
데이터 분포를 학습해 새 샘플을 만드는 방법
생성 모델은 관측 데이터의 분포 P(x)를 학습해 신규 샘플 x~P̂(x)을 생성하거나 데이터 우도 pθ(x)를 추정하는 모델군이다. 생성 품질뿐 아니라 확률적 추정과 밀도 모델링까지 다룬다는 점에서, 판별 모델과는 관점이 다르다.
확률 모델은 명시적 우도 최대화 기반과 암시적 샘플러 기반으로 나눌 수 있다. VAE와 Normalizing Flows는 명시적 우도 최대화에 속하며, GAN과 대부분의 Diffusion 추론은 암시적 샘플러로 구분된다.
GAN, VAE, Diffusion Models, Normalizing Flows는 각각 다른 방식으로 데이터 분포에 접근한다. 적대적 학습, 변분 추론, 노이즈 제거, 가역 변환이라는 차이가 모델 선택과 운영 방식까지 이어진다.
적대적 학습으로 분포를 맞추는 GAN
GAN은 생성자 G와 판별자 D가 미니맥스 게임을 수행하며 분포 정합을 시도한다. 생성자는 판별자를 속일 수 있는 샘플을 만들고, 판별자는 실제 데이터와 생성 데이터를 구별한다.
매우 선명한 샘플 품질과 빠른 추론 시간을 확보할 수 있다는 장점이 있다. 반면 모드 붕괴, 훈련 불안정성, 초모수 민감성은 운영 단계까지 고려해야 할 과제다.
잠재 공간을 다루는 VAE
VAE는 인코더 q(z|x), 디코더 p(x|z), ELBO 최적화를 통해 잠재 공간을 학습한다. 명시적 우도를 근사할 수 있고 잠재 공간을 조작하기 쉽다는 특성이 있다.
정규화가 과도하면 샘플이 블러리해질 수 있으며, posterior collapse도 위험 요소다. 의미 공간 편집이나 압축 표현이 중심인 문제에서는 VAE와 VQ-VAE 변형을 우선 검토할 수 있다.
노이즈를 복원하는 Diffusion Models
Diffusion Models는 가우시안 노이징 전방 과정 q(xt|x{t-1})와 역과정 pθ(x_{t-1}|x_t)을 학습해 복원 샘플링을 수행한다. 안정적인 훈련과 최고 수준의 이미지·오디오 생성 품질을 달성할 수 있다.
그 대가로 다단계 샘플링은 추론 지연을 늘린다. 고비용 스케줄과 메모리 사용 문제도 배포 환경에서 함께 검토해야 한다. 텍스트 조건 생성에서는 Diffusion과 Cross-Attention을 결합하고, GAN은 후처리나 리파인 용도로 보완할 수 있다.
정확한 우도를 계산하는 Normalizing Flows
Normalizing Flows는 가역 변환 f와 야코비안 로그 결정식을 사용해 정확한 우도를 계산한다. 샘플링과 역변환의 양방향 일관성을 확보할 수 있어, 정확한 likelihood가 필요한 밀도 추정과 이상 탐지에 적합하다.
가역성 제약은 표현력과 네트워크 설계에 제약을 준다. 대규모 이미지에서는 스케일 한계도 고려해야 하며, 야코비안의 수치 안정성 역시 관리 대상이다.
생성 품질과 우도, 지연을 함께 비교하기
모델을 고를 때는 샘플 품질, 우도 정확성, 추론 지연을 함께 봐야 한다. 데이터의 해상도·도메인 복잡도·라벨 가용성, GPU 예산과 대기시간 SLA, 배포·관측 체계도 선택에 영향을 준다.
| 모델 | 성능(샘플 품질) | 확장성(분산/대규모) | 일관성(우도/해석) | 안정성(훈련 수렴) | 운영 편의(추론 지연/메모리) |
|---|---|---|---|---|---|
| GAN | 높음(선명) | 높음(경험 필요) | 낮음(암시적) | 중간(불안정 리스크) | 높음(빠른 추론) |
| VAE | 중간(부드러움) | 높음 | 중간(ELBO 근사) | 높음 | 높음(빠른 양산) |
| Diffusion | 매우 높음 | 높음(대규모 학습 검증) | 중간(확률적 복원) | 높음 | 낮음(다단계 샘플링) |
| Flows | 중간 | 중간 | 매우 높음(정확한 우도) | 중간(야코비안 안정성 이슈) | 중간(가역성 비용) |
성능, 확장성, 일관성, 안정성, 운영 편의는 일반적 경향치다. 아키텍처, 데이터, 튜닝에 따라 달라질 수 있다.
학습과 서빙을 연결하는 운영 흐름
학습은 데이터 수집·정제·증강 설계에서 시작한다. 이후 FID, IS, NLL, PSNR 등의 목표를 정하고, 스케줄러·손실·정규화·EMA·AMP를 포함한 학습 루프를 구성한다. 검증 단계에서는 품질 지표, 학습 안정성, 모드 커버리지를 확인하고, 배포 전에는 샘플링 단계와 지연·메모리를 조정한다.
GAN에서 FID 정체와 다양성 저하는 모드 붕괴의 신호가 될 수 있다. WGAN-GP, R1/Consistency 규제, 라벨 스무딩을 적용해 안정화를 시도한다. VAE에서 KL이 0으로 수렴하면 posterior collapse를 의심하고, KL annealing, β 조정, skip-connections와 decoder 용량 조정을 검토한다.
Diffusion에서는 NaN이나 발산에 대응해 gradient clipping, 학습률 웜업, noise schedule 재설계, 샘플링 스텝-스케줄 교정을 적용한다. Flows는 야코비안 발산과 수치 불안정에 대해 actnorm, weight normalization, Lipschitz 제약, 정밀도 관리가 필요하다.
손실과 스케줄에서 생기는 상충 관계
Mixed Precision(AMP), Gradient Clipping, EMA는 안정성과 수렴 속도를 높이는 공통 수단이다. 대규모 학습에서는 Data, Model, FSDP 분산 전략과 체크포인트·재현성 관리도 필요하다.
GAN은 WGAN-GP/R1, 여러 판별자와 특징매칭, 다중 스케일 이미지 손실을 병행할 수 있다. VAE에서는 β-VAE가 해석 가능한 잠재 공간을 제공하는 대신 재구성 품질 저하와 상충한다. Diffusion은 선형·코사인 노이즈 스케줄, 샘플링 스텝·품질·지연의 균형, distillation과 CFG-Scale 조절을 다룬다. Flows에서는 RealNVP·Glow의 coupling 설계, actnorm, LU-분해가 야코비안 효율화의 대상이다.
평가 시에는 FID, IS, CLIPScore와 함께 NLL, bpd, 다운스트림 영향을 확인한다. Diffusion의 지연과 SLA는 DPM-Solver, DDIM을 통한 스텝 축소, 캐싱, 프루닝, 온디바이스 전략으로 다룰 수 있다. 데이터 편향, 저작권, 보안 필터링에는 안전 가드레일과 콘텐츠 모더레이션 체계가 필요하다.
생성 모델이 제공하는 범위
생성 모델은 SOTA 수준의 이미지·오디오 합성 품질을 달성하고 다운스트림 태스크 성능을 높일 수 있다. 명시적 우도 모델은 이상 탐지 정확도와 우도 기반 의사결정을 개선하는 데 활용된다.
데이터가 부족한 도메인에서는 합성 데이터가 모델 일반화에 기여할 수 있다. 잠재 공간 조작과 제어 생성은 창의적 디자인과 프로토타이핑을 가속하는 수단이 된다. 고품질 생성에는 Diffusion, 빠른 추론에는 GAN과 VAE, 정확한 우도에는 Flows를 선호하는 경향이 있으며, 실제 설계에서는 사용 목적과 데이터 특성, 운영 제약을 기준으로 모델·손실·스케줄·모니터링을 함께 구성해야 한다.