GAN이 가짜를 진짜처럼 만드는 법: 생성자와 판별자의 적대적 학습

같은 데이터를 두고 한쪽은 속이려 하고 다른 한쪽은 잡아내려 한다 — 이 단순한 경쟁 구도가 2014년 Ian Goodfellow가 제안한 이후 AI 창작 분야를 바꿔놓았다. GAN(Generative Adversarial Network, 생성적 적대 신경망)은 두 개의 신경망을 맞붙여 학습시키는 방식으로 이미지·음악·텍스트 등 다양한 형태의 고품질 콘텐츠를 생성한다.

생성자와 판별자가 서로를 속고 속이며 배우는 구조

GAN은 두 개의 신경망으로 구성된다.

생성자(Generator): 랜덤 노이즈로부터 가짜 데이터를 만든다
판별자(Discriminator): 입력된 데이터가 실제인지 가짜인지 구분한다

두 모델은 적대적으로 경쟁하며 함께 발전한다. 생성자는 판별자를 속이기 위해 점점 더 진짜 같은 데이터를 만들고, 판별자는 더 정확하게 진짜와 가짜를 구분하도록 학습한다. 이 경쟁이 반복되면서 생성자는 결국 판별자가 구분할 수 없을 만큼 진짜와 유사한 데이터를 만들어내는 지점에 도달한다.

⤢✕

목적함수는 미니맥스 게임이다

GAN의 학습은 minimax 게임 형태의 목적함수로 정식화된다. 판별자(D)는 실제 데이터와 생성된 데이터를 구분할 확률을 최대화하려 하고, 생성자(G)는 판별자가 생성된 데이터를 실제로 분류할 확률을 최대화하려 한다.

min_G max_D V(D, G) = E_x~pdata(x)[log D(x)] + E_z~pz(z)[log(1 - D(G(z)))]

여기서 x는 실제 데이터, z는 랜덤 노이즈, G(z)는 생성자가 노이즈 z로부터 생성한 데이터, D(x)는 판별자가 x를 실제 데이터로 판단할 확률이다.

학습이 진행되는 순서

생성자와 판별자 신경망을 무작위 가중치로 초기화한 뒤, 판별자는 실제 데이터에 1에 가까운 값을, 생성된 가짜 데이터에는 0에 가까운 값을 출력하도록 학습한다. 이어 생성자는 판별자가 생성된 데이터를 진짜로 오인하도록(1에 가까운 값을 출력하도록) 학습한다. 두 네트워크를 번갈아가며 이 과정을 반복해 평형 상태(Nash equilibrium)에 도달할 때까지 학습을 이어간다.

⤢✕

학습이 불안정해지는 이유와 대응

GAN 학습에서 가장 흔히 부딪히는 문제는 모드 붕괴(Mode Collapse)다 — 생성자가 다양한 출력 대신 몇 가지 패턴만 반복해서 만들어내는 현상이다. 여기에 생성자와 판별자의 학습 속도가 어긋나면서 생기는 균형 문제도 겹친다.

이에 대한 대응으로 Wasserstein GAN(WGAN)은 판별자 대신 비평자(critic)를 두고 기울기 클리핑을 도입했고, WGAN-GP는 그래디언트 페널티로 학습을 안정화했다. Spectral Normalization은 판별자의 가중치를 정규화하는 방식으로 접근한다.

평가 역시 쉽지 않다. 생성된 결과물의 품질은 주관적으로 느껴지고, 다양성과 품질 사이의 균형을 측정하기도 어렵다. 그래서 생성된 이미지의 품질과 다양성을 재는 Inception Score(IS), 실제와 생성된 이미지 분포 간 거리를 재는 Fréchet Inception Distance(FID), 생성 모델의 정밀도와 재현율을 평가하는 Precision and Recall 같은 지표가 함께 쓰인다.

대표적인 변형 모델들

DCGAN(Deep Convolutional GAN)은 합성곱 신경망(CNN) 기반으로 이미지 생성에 특화되어 있고, 안정적 학습을 위한 아키텍처 가이드라인을 제시한다. CycleGAN은 쌍을 이루지 않는 데이터셋 간 변환(예: 말→얼룩말, 여름→겨울)에 순환 일관성 손실(cycle consistency loss)을 도입해 이미지 스타일 트랜스퍼에 활용된다. StyleGAN은 고품질 이미지 생성을 위한 스타일 기반 아키텍처로, 서로 다른 해상도에서 세부 스타일을 제어할 수 있어 얼굴 이미지 생성에서 획기적인 성능을 보였다.

⤢✕

이 계보에는 Pix2Pix·BigGAN·ProgressiveGAN 같은 다른 변형도 이어진다.

이미지 생성부터 의료·엔터테인먼트까지 퍼진 활용

이미지 생성·편집에서는 NVIDIA StyleGAN 같은 고해상도 얼굴 이미지 생성, Super-Resolution GAN을 통한 저해상도→고해상도 변환, 이미지 복원과 노이즈 제거에 쓰인다. 의료 분야에서는 프라이버시를 지키면서 의료 이미지 데이터를 합성하고, CT-MRI 간 변환처럼 서로 다른 의료 이미지 형식을 변환하며, 희귀 질환 데이터를 증강해 진단 성능을 높이는 데 활용된다.

게임과 엔터테인먼트에서는 게임 캐릭터·환경을 자동 생성하고 딥페이크(Deepfake) 기술과 영화 특수효과·가상 인물 생성에 쓰인다. 패션·디자인 영역에서는 새로운 의류 디자인 생성, 가상 피팅 서비스, 인테리어 디자인 제안에 활용된다.

자기지도학습과 멀티모달로 번지는 기술 동향

라벨이 없는 데이터에서도 효율적으로 학습하기 위해 표현 학습(representation learning)과 GAN을 결합하는 자기지도학습 흐름이 있고, DALL-E·GauGAN 같은 텍스트-이미지 변환이나 오디오-비주얼 생성 모델처럼 다중 모달리티를 아우르는 학습도 진행 중이다. 3D-GAN으로 3차원 객체를 생성하거나 NeRF와 GAN을 결합해 고품질 3D 렌더링을 구현하는 3D 콘텐츠 생성도 발전하고 있다.

유명인 얼굴을 이용한 가짜 영상 제작과 정치적 허위정보 확산 위험 때문에 딥페이크 탐지 기술의 필요성이 커지고 있다. GAN이 학습한 데이터의 저작권 문제와 생성된 콘텐츠의 소유권 논란도 해결되지 않은 쟁점이다. 개인 데이터를 학습에 활용하는 과정에서 발생할 수 있는 프라이버시 침해 가능성 역시 차등 프라이버시(differential privacy) 같은 보호 기술 적용을 요구한다.

생성 AI 주류화와 산업 응용 확대 전망

콘텐츠 제작 워크플로우가 바뀌고 창작 도구로서 GAN을 활용하는 흐름이 늘어나면서 생성 AI가 주류화될 것으로 전망된다. 텍스트·이미지·오디오·비디오를 아우르는 통합 생성 모델로 멀티모달 GAN이 발전하고, 제조업의 제품 디자인 자동화, 건축의 건물 디자인·시뮬레이션, 교육의 맞춤형 학습 자료 생성처럼 산업 응용도 확대될 것으로 보인다. 메타버스·디지털 트윈 같은 실감형 콘텐츠 산업의 기반 기술로도 그 중요성이 커질 전망이다.