FLUX.2와 Kontext로 구축하는 이미지 생성 파인튜닝 스택

성능 경쟁을 넘어 운영 스택이 된 FLUX.2

2025년 말 DALL-E 3가 단종되고 OpenAI의 이미지 생성 기능이 ChatGPT 내부로 통합되면서 공개 이미지 생성 모델의 경쟁 구도도 달라졌다. Artificial Analysis와 LMSYS 기반 이미지 생성 ELO 리더보드에서 FLUX.2는 1168점으로 1위를 유지하고 있다. 클로즈드 모델인 Midjourney v7은 약 1130점, Imagen 4는 약 1110점으로 뒤를 쫓는 상황이다.

FLUX.2가 확보한 위치는 모델 성능만으로 설명되지 않는다. ComfyUI, Diffusers, A1111과의 호환성을 지원하고, Kontext를 통해 커뮤니티가 자체 LoRA 모델을 학습하고 공유할 수 있는 경로를 열었다. Hugging Face의 FLUX.2 관련 모델 다운로드 수는 공개 후 6개월 만에 700만을 넘었다.

모델 자체는 Diffusion Transformer(DiT)에 Flow Matching 학습 방식을 적용한다. U-Net을 중심으로 구성했던 기존 확산 모델과 달리 순수 트랜스포머 블록으로 생성 과정을 처리하기 때문에 어텐션 구조를 확장하거나 LoRA를 삽입하기에 유리하다.

약 12B 파라미터 규모로 FLUX.1보다 용량이 약 20% 늘었지만 추론 효율은 개선됐다. 모델 구조 최적화, FlashAttention-3 지원, 개선된 토크나이저와 Flow Matching의 결정론적 샘플링 특성이 함께 작용한 결과다.

⤢✕

확산의 역과정 대신 벡터 필드를 학습한다

DDPM(Denoising Diffusion Probabilistic Model)은 마르코프 체인에 기반한 역방향 확산으로 이미지를 복원한다. Flow Matching의 접근은 다르다. 가우시안 노이즈 분포와 데이터 분포를 잇는 연속 정규화 흐름(Continuous Normalizing Flow)을 직접 학습한다.

이 흐름은 확률 흐름 상미분방정식(Probability Flow ODE)으로 나타낼 수 있다.

dx/dt = v_θ(x, t),  t ∈ [0, 1]

v_θ는 신경망이 학습하는 벡터 필드다. 시간 t=0의 가우시안 노이즈 분포 p_0에서 t=1의 데이터 분포 p_1로 이동할 경로를 결정한다. FLUX.2는 Conditional Flow Matching(CFM)을 채택하고 이 경로를 선형 보간으로 구성한다.

x(t) = (1 - t) · x_0 + t · x_1
v_θ(x, t) = x_1 - x_0

선형 보간 경로는 ODE 적분 과정의 수치 오차를 줄여 적은 샘플링 스텝으로도 높은 품질을 내는 데 유리하다. DDPM이 통상 50~~1000 스텝을 요구하는 데 비해 FLUX.2는 20~~30 스텝으로 동등하거나 우월한 품질을 달성한다.

⤢✕

세부 묘사에 계산을 집중하는 샘플링

FLUX.2는 시간 간격을 균일하게 나누지 않고 로그-선형(Log-Linear) 노이즈 스케줄을 사용한다. 텍스처, 에지, 미세 디테일 같은 고주파 정보는 t가 1에 가까운 저노이즈 구간에서 집중적으로 형성된다. 따라서 해당 구간에 더 많은 샘플링 스텝을 배치한다.

스케줄은 다음 식으로 표현된다.

t_i = exp(i/N · log(t_max) + (1 - i/N) · log(t_min))

같은 함수 평가 횟수를 기준으로 로그-선형 스케줄은 균일 스케줄보다 포토리얼리즘의 세부 표현을 약 15~20% 향상시켰다.

수치 적분에는 Euler와 Heun 방식을 모두 사용할 수 있다. 2차 룽게-쿠타 계열인 Heun은 각 스텝에서 예측값을 보정하므로 같은 스텝 수의 Euler보다 수치 오차가 현저히 낮다. 품질을 우선할 때는 Heun 28스텝, 속도를 우선할 때는 Euler 20스텝이 실용적인 기본값으로 권장된다.

Classifier-Free Guidance(CFG)도 고정값으로 두지 않는다. 의미 구조를 잡는 초기 구간에는 7.0~~10.0을 적용해 프롬프트 정렬을 강화한다. 디테일이 형성되는 중반 이후에는 3.5~~5.0으로 낮춰 텍스처의 자연스러운 다양성을 확보하고, 고주파 정보가 만들어지는 마지막 구간에는 2.0~3.0으로 수렴시켜 과도한 아티팩트를 억제한다.

이 동적 스케줄은 Kontext 파인튜닝에도 이어진다. 도메인 특화 LoRA가 브랜드 특성을 유지하면서 자연스러운 이미지를 생성하도록 조정하는 장치다.

DiT 어텐션에 LoRA를 삽입하는 방식

FLUX.2의 LoRA(Low-Rank Adaptation)는 DiT의 자기 어텐션(Self-Attention)과 교차 어텐션(Cross-Attention) 레이어에 저순위 행렬을 더하는 방식으로 동작한다.

W' = W + α · (B · A)

W는 d×d 크기의 원본 가중치 행렬이다. B와 A는 각각 d×r, r×d 차원의 저순위 행렬이며 α가 반영 강도를 조절한다. 랭크 r을 4~16으로 설정하면 원본 모델의 범용 생성 능력을 보존하면서 도메인 특성을 주입할 수 있다.

트랜스포머의 잔차 연결(Residual Connection)은 저순위 행렬로 전달되는 기울기 흐름을 안정화한다. 이 때문에 DiT 기반 LoRA는 U-Net 기반 모델보다 학습 안정성이 높다. 동일한 500장 학습 데이터를 사용한 실험에서 FLUX.2 LoRA는 Stable Diffusion 3.5 LoRA보다 약 30% 낮은 FID 점수를 기록했다. FID는 낮을수록 품질이 우수하다.

데이터가 Kontext 학습 품질을 결정한다

Kontext 파인튜닝은 모델 설정에 앞서 데이터 큐레이션에서 성패가 갈린다. 권장되는 최소 학습 데이터는 스타일 LoRA가 150~~300장, 인물 LoRA가 30~~80장, 제품 이미지 LoRA가 100~200장이다. 같은 객체라도 조명, 각도, 배경을 달리한 이미지를 확보해야 학습 수렴에 필요한 다양성을 얻을 수 있다.

전처리에서는 먼저 최장 변을 1024px로 맞추고 종횡비를 버킷 시스템으로 관리한다. 이어 BLIP-3 또는 LLaVA로 이미지별 상세 캡션을 생성하고, <kontext_style> 같은 트리거 토큰을 넣어 조건부 생성을 구성한다. 마지막에는 CLIP 임베딩의 코사인 유사도를 이용해 중복 이미지와 아웃라이어를 걸러낸다.

⤢✕

학습 범위와 손실 함수를 도메인에 맞춘다

Kontext에서는 FLUX.2 DiT 블록 가운데 LoRA를 적용할 어텐션 레이어를 선택할 수 있다. 전형적인 도메인 특화 작업에서는 전역 구조를 담당하는 하위 절반 레이어를 고정하고, 세부 표현을 담당하는 상위 절반 레이어만 학습하는 구성이 효율적이다.

손실 함수는 Flow Matching 손실에 지각적 유사도와 동일성 보존 항을 더한다.

L_total = L_FM + λ · L_perceptual + μ · L_identity

L_FM: CFM 벡터 필드 예측 MSE 손실
L_perceptual: VGG-19 기반 지각적 유사도 손실(스타일 일관성 강화)
L_identity: 인물 파인튜닝 시 FaceID 임베딩 거리 손실(얼굴 동일성 보존)

λ와 μ는 작업 성격에 따라 조정한다. 스타일 LoRA의 일반적인 출발점은 λ=0.1, μ=0.0이며, 인물 LoRA에서는 λ=0.05, μ=0.2를 사용한다.

LoRA 레이어의 기본 학습률은 1e-4이고 코사인 감쇠(Cosine Annealing) 스케줄을 적용한다. 배치 크기는 GPU 메모리가 허용하는 범위까지 높인다. 그래디언트 누적(Gradient Accumulation)을 함께 사용해 유효 배치 크기를 4~8로 유지한다.

범용 생성 능력을 잃기 전에 학습을 멈춘다

Kontext 학습에서 자주 발생하는 실패는 과적합이다. 데이터셋의 특징에 지나치게 수렴하면 원본 FLUX.2가 갖고 있던 범용 생성 능력이 떨어지는 LoRA 붕괴(LoRA Collapse)가 나타난다.

검증은 매 100 스텝마다 수행한다. 데이터셋의 이미지 캡션 5개와 범용 프롬프트 5개로 구성한 고정 프롬프트 집합을 사용해 샘플을 만들고 CLIP 점수와 FID를 측정한다.

도메인 프롬프트의 CLIP 점수가 목표값인 0.35 이상에 도달하고, 범용 프롬프트 FID가 기본 FLUX.2 대비 +10% 이내를 유지하는 시점을 조기 종료 기준으로 삼는다. 최적 수렴점은 스타일 LoRA에서 일반적으로 500~~1500 스텝, 인물 LoRA에서는 800~~2000 스텝 사이에 관찰된다.

모델과 LoRA를 분리해 서비스한다

Kontext에서 만든 LoRA는 FLUX.2 베이스 모델과 결합해 자체 호스팅 인프라에 배포할 수 있다. API 게이트웨이가 요청을 받고 Redis Streams가 작업을 대기열로 관리한다. Ray Serve 기반 워커 풀 매니저는 작업을 GPU 워커에 분배하고, 생성된 이미지는 S3 또는 MinIO에 저장한 뒤 CDN을 통해 전달한다.

⤢✕

베이스 모델 가중치는 공유 메모리에 한 번만 적재하고 여러 워커가 참조하게 구성한다. 멀티 GPU 환경에서 워커마다 같은 가중치를 VRAM에 중복 적재하는 문제를 피하기 위한 설계다.

LoRA는 베이스 모델과 별도의 레지스트리에 등록한다. 런타임에 LoRA를 동적으로 바꿀 수 있어 하나의 인프라에서 여러 도메인 특화 서비스를 운영할 수 있다.

AWS g5.4xlarge 인스턴스의 NVIDIA A10G 24GB VRAM에서 FP16 FLUX.2와 Kontext LoRA를 실행하면 1024×1024 이미지 한 장을 생성하는 데 약 8~~12초가 걸린다. 시간당 처리량은 약 300~~450장이며, 대량 작업에서는 상용 API보다 60~80%의 비용을 절감할 수 있다.

오픈소스가 제공하는 운영 통제권

Midjourney와 Imagen 4는 클로즈드 API 방식으로 제공된다. 반면 FLUX.2와 Kontext는 데이터가 이동하는 위치, 모델을 변경하는 범위, 비용이 발생하는 구조를 운영자가 직접 통제할 수 있다.

의료·금융·법률처럼 민감 데이터를 다루는 규제 산업에서는 생성 이미지가 외부 서버를 거치지 않는 온프레미스 배포가 필요하다. 의료 영상 시뮬레이션, 법적 사건 재현 이미지, 금융 보고서 시각화가 여기에 해당한다. FLUX.2는 이런 워크로드를 내부 인프라에서 처리할 수 있다.

커스터마이징 범위도 넓다. Kontext에서 LoRA, DreamBooth, IP-Adapter를 조합하면 브랜드 스타일과 제품 이미지의 일관성, 특정 인물의 동일성을 모델에 반영할 수 있다. 클로즈드 API에서는 구조적으로 제한되는 영역이다.

비용 측면에서는 종량제 API와 자체 호스팅의 차이가 분명하다. API는 요청량이 급증하면 예산 초과 위험이 있지만 자체 호스팅은 고정 인프라 비용을 중심으로 계획할 수 있다. 월간 10만 장 이상의 생성이 필요한 엔터프라이즈 환경에서는 자체 호스팅의 경제성이 클로즈드 API보다 크게 높아진다.

업종별로 달라지는 파인튜닝 대상

전자상거래에서는 제품 배경을 자동으로 만들고 여러 SKU의 시각적 스타일을 통일하는 데 Kontext를 활용한다. 한 번 학습한 모델로 수천 개 SKU의 제품 이미지를 같은 브랜드 톤앤매너로 생성하는 파이프라인을 구성할 수 있다.

미디어·엔터테인먼트 분야에서는 캐릭터와 세계관의 시각적 일관성을 LoRA에 학습시켜 웹툰, 게임, 광고 이미지 제작을 자동화한다. 제조·설계에서는 CAD 모델을 바탕으로 사실적인 제품 이미지를 생성해 전통적인 3D 렌더링 파이프라인의 비용을 줄인다.

⤢✕

이미지 생성 경쟁의 다음 축

2022~~2023년에는 오픈소스 이미지 생성 모델이 상용 모델보다 품질에서 뒤처지는 경우가 일반적이었다. 2025~~2026년에는 ELO 리더보드에서 오픈소스 모델이 클로즈드 모델을 앞서는 역전이 나타났다.

텍스트 생성 분야에서 Meta의 Llama 3.1이 GPT-4 수준에 근접하며 엔터프라이즈 LLM 시장에 영향을 준 흐름과 구조적으로 닮았다. 클로즈드 진영은 Midjourney Turbo와 Imagen 4 Ultra 같은 더 높은 품질 티어로 이동하고 있으며, 오픈소스 진영도 Kontext 2.0과 FLUX.3 등 차세대 파인튜닝 프레임워크와 베이스 모델 업데이트를 준비하고 있다.

기술적으로는 Flow Matching을 비디오 생성에 확장하는 흐름, 멀티모달 인식을 활용한 일관성 편집, 지식 증류(Knowledge Distillation)를 통한 경량 모델의 엣지 배포가 이어질 전망이다. 특히 결정론적 ODE 샘플링은 시간 일관성이 필요한 비디오 프레임 생성에 이론적으로 적합하다.

FLUX.2와 Kontext의 의미는 ELO 1168에 머물지 않는다. Flow Matching 기반 모델, 도메인 특화 학습, 자체 호스팅 배포가 하나의 파이프라인으로 연결된다는 점이 핵심이다. 이미지 생성 모델을 직접 운영하려는 조직에는 품질과 함께 커스터마이징, 데이터 주권, 비용 구조를 설계할 수 있는 선택지가 된다.