FLUX.1 Kontext 로컬 이미지 편집과 추론 최적화

이미지 편집 파이프라인이 API 밖으로 나오다

Black Forest Labs는 2025년 5월 12B 파라미터 규모의 FLUX.1 Kontext를 오픈 웨이트로 공개했다. 자연어로 수정 내용을 전달하면 이미지에서 바꿔야 할 부분을 찾아 편집하고, 나머지 영역의 문맥은 유지하는 Contextual Image Editing 모델이다. GPT-Image와 비교해 최대 8배 빠른 추론 속도로도 주목받았다.

이전의 고품질 이미지 편집 워크플로우는 상용 서비스 의존도가 높았다. Kontext는 가중치를 직접 배포할 수 있어 엔터프라이즈와 연구 환경에서 편집 파이프라인을 로컬로 옮길 수 있는 선택지를 제공한다. 모델 자체뿐 아니라 평가 방식과 GPU 메모리, 추론 서버, 라이선스까지 함께 봐야 하는 이유다.

초기 인페인팅 모델은 사용자가 편집할 영역을 마스크로 직접 지정해야 했다. 주변 맥락을 충분히 이해하지 못해 수정한 부분과 원본 사이에 이질감이 생기기도 했다. InstructPix2Pix와 Instruct-Diffusion처럼 지시 기반 모델이 뒤를 이었지만, 복잡한 구성 변경이나 여러 객체를 한꺼번에 다루는 작업에는 한계가 남았다.

GPT-Image는 대화형 편집의 가능성을 보여주었으나 API 종속성, 비용, 평균 8-15초의 응답 시간이 실시간 편집 워크플로우의 제약으로 작용했다. Kontext는 오픈 웨이트 배포와 문맥 인식 구조, 최적화된 추론 파이프라인으로 이 지점을 겨냥한다.

Black Forest Labs는 Stability AI 출신 연구자들이 설립했다. 앞서 FLUX.1 [dev], FLUX.1 [schnell], FLUX.1 [pro]를 오픈 웨이트 또는 API 형태로 제공했으며, FLUX.1 [schnell]은 증류를 이용해 1-4 스텝으로 이미지를 생성했다. Kontext는 이 계보에 이미지 편집 기능을 더한 모델이다.

원본 문맥을 별도 스트림으로 처리하는 MMDiT

FLUX.1 Kontext의 기반은 멀티모달 디퓨전 트랜스포머(Multimodal Diffusion Transformer, MMDiT)다. 기존 MMDiT가 텍스트와 이미지를 각각 처리한 뒤 어텐션 레이어에서 결합했다면, Kontext는 원본 이미지 컨텍스트 스트림(Source Context Stream)을 추가한다.

원본 이미지의 전역 구조와 색상 분포, 조명은 이 스트림에서 별도 표현으로 인코딩된다. 편집 지시를 담은 텍스트 스트림과 노이즈 제거 대상인 이미지 스트림이 어텐션을 교환할 때 원본 문맥도 함께 참여한다. 모델은 이 과정에서 바꿀 요소와 유지할 요소를 동시에 다룬다.

⤢✕

자연어 지시에서 편집 영역을 찾는 방식

Kontext는 사용자가 마스크를 그리지 않아도 자연어 지시와 원본 이미지 사이의 크로스 어텐션 맵을 분석해 편집 대상을 추론한다. 높은 활성화가 나타난 영역을 수정 대상으로 식별하는 구조다.

가령 “남자의 재킷을 파란색으로 바꿔줘”라는 지시를 받으면 이미지에서 ‘남자’와 ‘재킷’에 대응하는 영역을 찾고 그 부분에 편집 처리를 집중한다. 얼굴과 배경, 다른 의류에는 원본 컨텍스트 스트림의 가중치를 높여 기존 모습을 보존한다.

별도의 SAM(Segment Anything Model)을 필수 단계로 두지 않아도 된다는 점은 파이프라인 구성을 단순하게 만든다. 경계를 더 정밀하게 제어해야 할 때는 외부 세그멘테이션 마스크를 선택적으로 입력할 수도 있다.

지시 해석에는 T5-XXL 인코더 출력과 CLIP의 풀링 임베딩을 함께 사용한다. 11B 파라미터 규모의 T5-XXL은 세부 의미를 표현하고, CLIP은 지시의 전역 의미를 전달한다. “오른쪽 상단 꽃병에만 빨간 장미를 추가하고 왼쪽은 그대로 유지해줘”처럼 공간 관계와 보존 조건이 함께 들어간 요청에서는 최대 512 토큰을 처리하는 T5-XXL이 조건을 언어적으로 분해해 모델에 전달한다.

편집 결과와 원본 보존을 따로 평가하는 KontextBench

PSNR(Peak Signal-to-Noise Ratio)이나 SSIM(Structural Similarity Index)은 결과 이미지와 원본 사이의 차이를 측정할 수 있지만, 편집 지시가 제대로 반영됐는지는 판단하지 못한다. 원본과 달라지는 것이 목표인 편집에서는 수정이 정확할수록 오히려 낮은 점수를 받을 수도 있다.

EditBench와 TIFA도 텍스트-이미지 생성 정렬에 초점을 맞췄기 때문에 이미지 편집에서 필요한 원본 보존율과 편집 이행률 사이의 균형을 함께 측정하기 어려웠다. KontextBench는 두 항목을 분리하는 이중 지표를 사용한다.

⤢✕

편집 이행률(Edit Compliance Rate)은 VQA(Visual Question Answering) 모델로 판정한다. “배경을 야경으로 바꿔줘”라는 요청이라면 결과 이미지의 배경이 도심 야경인지 묻는 예·아니오 질문을 만들고 LLaVA-1.6 또는 GPT-4V로 확인한다. 원본 보존율은 DINO-v2의 패치 단위 특징 벡터를 사용해 수정 대상이 아닌 영역의 시각적 일관성을 수치화한다.

테스트 세트는 총 1,200개의 이미지·지시 쌍으로 구성된다. 단일 객체의 색상과 재질, 텍스처를 바꾸는 객체 속성 편집(Object Attribute Editing) 300개, 배경 교체와 계절·조명 변경을 다루는 배경 및 환경 편집(Background & Environment Editing) 300개, 객체 추가·제거(Object Addition & Removal) 300개, 두 가지 이상의 지시를 함께 처리하는 복합 다중 지시(Compound Multi-Instruction) 300개가 포함된다.

각 범주에는 인물 사진과 제품 이미지, 풍경 사진, 합성 이미지가 균등하게 들어간다. 특정 이미지 도메인에 과적합된 모델이 전체 평가에서 유리해지는 편향을 줄이기 위한 구성이다.

최대 8배라는 속도 수치를 읽는 법

GPT-Image는 OpenAI 서버에서 실행되므로 API 요청 과정에 네트워크 왕복, 서버 부하 분산, 콘텐츠 안전 필터링 같은 오버헤드가 더해진다. 공개 벤치마크에서 1024×1024 이미지의 평균 응답 시간은 8-15초다.

FLUX.1 Kontext는 H100 GPU 1장에서 같은 해상도를 약 1.2-2초에 처리한다. A100 GPU에서는 2-4초, RTX 4090에서는 4-8초 수준이다. 다만 최대 8배라는 표현은 GPT-Image의 최대 응답 시간 15초와 Kontext의 H100 최소 응답 시간 1.87초를 비교한 피크 수치다. H100 평균치와 GPT-Image 평균치를 동일 조건으로 놓으면 약 4-6배 수준이다.

이 차이는 로컬 환경에서 API 호출 없이 실시간에 가까운 편집 흐름을 구성할 수 있다는 데 실무적인 의미가 있다.

GPU 메모리에 맞춰 정밀도와 양자화 선택하기

FLUX.1 Kontext 12B를 bfloat16 정밀도로 실행하려면 약 24GB의 GPU VRAM이 필요하다. RTX 4090의 24GB가 실용적인 로컬 배포 하한선에 해당하며, 그보다 메모리가 적은 하드웨어에서는 양자화가 필요하다.

⤢✕

BitsAndBytes로 적용하는 NF4(Normal Float 4-bit) 양자화는 bfloat16과 비교해 VRAM 사용량을 약 60% 줄인다. KontextBench에서 측정한 KontextScore 감소 폭은 약 1.8%로 나타났다.

Diffusers와 ComfyUI로 구성하는 로컬 편집

모델은 HuggingFace Hub의 black-forest-labs/FLUX.1-Kontext-dev 저장소에서 제공된다. Diffusers를 사용한 기본 추론 코드는 다음과 같다.

from diffusers import FluxKontextPipeline
from diffusers.utils import load_image
import torch

pipe = FluxKontextPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-Kontext-dev",
    torch_dtype=torch.bfloat16
).to("cuda")

source_image = load_image("input.png")

result = pipe(
    image=source_image,
    prompt="배경을 도심 야경으로 변경하고 인물은 그대로 유지해줘",
    num_inference_steps=28,
    guidance_scale=2.5,
).images[0]

result.save("edited.png")

guidance_scale은 지시 이행과 원본 보존 사이의 균형을 조절한다. 3.0-4.0처럼 높은 값에서는 지시를 더 강하게 반영해 편집 변화가 커지고, 1.5-2.0처럼 낮은 값에서는 원본에 가까운 결과를 유지한다. KontextBench에서는 guidance_scale=2.5가 KontextScore 기준 최적 균형점으로 나타났다.

ComfyUI-FLUX-Kontext 노드 패키지를 설치하면 원본 이미지와 텍스트 지시, 편집 강도를 노드 기반 인터페이스에서 연결할 수 있다. 배치 처리 노드를 추가하면 같은 편집 지시를 여러 이미지에 일괄 적용하는 흐름도 구성할 수 있다.

배치 추론과 서버 운영에서 확인할 지점

프로덕션에서는 요청을 한 건씩 처리하는 것보다 배치 추론으로 묶는 편이 GPU 활용도를 높인다. 같은 스텝 수를 사용하는 이미지를 함께 실행하면 디퓨전 연산을 병렬화할 수 있다.

H100 80GB에서는 배치 크기 4-8, A100 40GB에서는 2-4가 적합하다. RTX 4090 24GB는 VRAM 한계 때문에 사실상 배치 크기 1을 사용한다. 추론 서버는 Replicate Cog, Modal 또는 NVIDIA Triton Inference Server로 구성할 수 있다.

48개 MMDiT 블록에서 수행되는 삼중 크로스 어텐션은 메모리 대역폭의 영향을 크게 받는다. Flash Attention 2 또는 3을 활성화하면 메모리 효율이 개선되며, 처리 속도는 약 20-30% 향상되는 것으로 측정된다.

LoRA로 편집 도메인 좁히기

오픈 웨이트는 e커머스 상품 이미지 편집과 의료 영상 처리, 건축 시각화처럼 특정 도메인에 맞춘 파인튜닝을 가능하게 한다. LoRA(Low-Rank Adaptation)는 12B 전체 가중치를 갱신하는 대신 각 레이어에 저순위 행렬 쌍을 추가해 도메인 지식을 학습한다.

FLUX.1 Kontext에 rank=16, alpha=16을 적용하면 약 50-100개의 도메인 이미지·지시 쌍으로 의미 있는 편집 성능 향상을 얻을 수 있다. 전체 파인튜닝과 비교한 VRAM 요구량은 약 60% 줄고, H100에서의 학습 시간은 수 시간 내로 단축된다.

실제 편집 작업에서 남는 제약

이미지 속 간판과 레이블, 인포그래픽처럼 작은 텍스트를 정확하게 렌더링하거나 고치는 작업은 여전히 어렵다. “간판의 ‘OPEN’을 ‘CLOSED’로 바꿔줘”라는 요청이 의도대로 처리되지 않는 경우가 많다. VAE 기반 잠재 공간이 픽셀 단위의 문자 정확성보다 시각적 의미 구조에 맞춰져 있기 때문이다. 문자가 핵심인 편집이라면 후처리 단계에 OCR 기반 텍스트 인레이 도구를 결합하는 방식이 권장된다.

여러 편집 세션에서 같은 인물의 얼굴과 신체 특징을 계속 유지하는 일도 완전하지 않다. 얼굴 주변을 편집하면 미세한 특징이 달라질 수 있다. IP-Adapter나 InstantID 같은 아이덴티티 보존 모듈을 함께 사용하면 이를 상당 부분 보완할 수 있지만 파이프라인은 더 복잡해진다.

라이선스도 모델 변형별로 구분해야 한다. FLUX.1 Kontext [dev]는 비상업적 연구와 개인 사용 목적으로 무료 제공되며, 상업적 활용에는 Black Forest Labs와의 상업 라이선스 계약이 필요하다. 증류 모델인 FLUX.1 Kontext [schnell]은 Apache 2.0으로 공개되어 상업적 사용에 제한이 없지만 [dev]보다 편집 품질이 다소 낮다. 엔터프라이즈 환경에 배포하기 전에는 사용할 변형의 라이선스 조건을 확인해야 한다.

오픈 웨이트 편집 모델이 바꾸는 운영 선택지

FLUX.1 Kontext 공개로 문맥 인식 이미지 편집을 상용 API에만 의존하지 않고 로컬에서 실행할 수 있게 됐다. 스타트업과 개인 개발자도 편집 기능을 자체 제품에 통합할 수 있으며, ComfyUI와 Automatic1111, Diffusers 생태계가 모델을 흡수할 것으로 예상된다. 도메인별 LoRA와 커스텀 편집 파이프라인 역시 커뮤니티에서 활발히 개발될 전망이다.

KontextBench는 편집 모델의 지시 이행과 원본 보존을 동일한 기준으로 비교할 수 있는 평가 틀을 제시한다. GPT-Image, Gemini Imagen Edit, Adobe Firefly Edit 같은 상용 모델도 KontextBench 점수를 공개하면서 비교 환경이 더 투명해질 것으로 기대된다.