길리랩blog

HiDream-O1-Image 통합 VAE 구조와 로컬 배포 설계

HiDream-O1-Image의 통합 VAE·플로우 매칭 구조부터 LoRA 파인튜닝, 양자화, 로컬 배포 조건과 라이선스까지 분석한다.

2026-08-14 · 최초 발행 2026-05-19

외부 VAE 없이 완결되는 생성 파이프라인

FLUX나 Stable Diffusion 계열에서는 이미지 인코딩과 디노이징을 서로 다른 컴포넌트가 담당한다. HiDream-O1-Image는 이 경계를 없앴다. VAE를 내부에 통합한 8B 파라미터 이미지 파운데이션 모델로, 잠재 공간 인코딩과 텍스트 조건부 생성, 고해상도 출력이 단일 모델 가중치 안에서 이어진다.

일반적인 파이프라인에서는 먼저 VAE 인코더가 픽셀 공간의 이미지를 압축된 잠재 표현으로 바꾼다. 디퓨전 모델이 그 공간에서 노이즈를 제거하고 나면 VAE 디코더가 결과를 다시 픽셀 공간으로 복원한다. 컴포넌트를 따로 학습하는 구조는 유연하지만, 잠재 표현과 디퓨전 모델의 학습 목표를 함께 최적화하기 어렵다.

HiDream-O1-Image는 VAE와 디퓨전 모델을 하나의 학습 루프에 넣어 엔드투엔드로 공동 최적화한다.

⤢✕HiDream-O1-Image 단일 모델텍스트 프롬프트텍스트 인코더 (LLM 기반)텍스트 임베딩노이즈 잠재 벡터 z_T통합 VAE-디퓨전 블록디노이징 스텝 T→0잠재 벡터 z_0내장 VAE 디코더고해상도 픽셀 출력

긴 프롬프트와 플로우 매칭이 만나는 지점

텍스트 조건에는 LLaMA 계열 언어 모델 기반 인코더를 사용한다. CLIP 기반 텍스트 인코더가 77 토큰으로 제한되는 것과 달리, LLaMA 기반 인코더는 수천 토큰에 이르는 상세한 설명을 처리할 수 있다. 복잡한 장면 구성이나 세밀한 스타일 지시를 이미지에 반영하기 위한 선택이다.

노이즈 제거에는 플로우 매칭(Flow Matching) 프레임워크를 적용했다. DDPM이나 DDIM과 달리 노이즈에서 데이터로 이동하는 직선 경로를 학습하며, 20~30 스텝으로 고품질 결과를 생성한다.

⤢✕크로스 어텐션크로스 어텐션크로스 어텐션순수 가우시안 노이즈 z_T스텝 T-1: 조건부 예측스텝 T-2: 조건부 예측...스텝 0: 최종 잠재 z_0내장 VAE 디코더1024×1024 픽셀 이미지텍스트 임베딩

내장 VAE 디코더의 공간 압축률은 8배(8x spatial compression)다. 1024×1024 출력 이미지를 만들 때 사용하는 잠재 공간은 128×128이다. FLUX.1의 16배 압축보다 낮은 비율을 택해 더 세밀한 잠재 표현을 유지한다.

기본 해상도는 1024×1024이며 9:16, 16:9, 4:3, 3:4, 1:2, 2:1 등의 종횡비도 지원한다. 학습 데이터를 여러 해상도와 종횡비로 구성하고 위치 인코딩을 해상도에 종속되지 않도록 설계한 결과다.

위치 정보에는 RoPE(Rotary Position Embedding)를 2차원으로 확장한 2D RoPE를 사용한다. 학습에서 보지 못한 해상도에서도 구성을 일관되게 유지하며, 별도 파인튜닝 없이 최대 2048×2048까지 품질 저하 없이 생성할 수 있다.

전체 학습 대신 LoRA로 범위를 좁힌다

8B 파라미터 전체를 파인튜닝하려면 A100 80GB GPU가 최소 4~8개 필요하다. LoRA(Low-Rank Adaptation)는 원본 가중치를 고정하고 저랭크 행렬 쌍만 학습하므로, 도메인 특화 학습을 단일 GPU로 옮길 수 있다.

HiDream-O1-Image에서는 디노이징 블록의 어텐션 레이어와 크로스 어텐션 레이어를 함께 대상으로 삼는 전략이 효과적이다. rank=16, alpha=32 설정은 품질과 효율의 균형이 좋은 것으로 보고됐다.

# HiDream LoRA 파인튜닝 예시
from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=[
        "attn.to_q", "attn.to_k", "attn.to_v",
        "cross_attn.to_q", "cross_attn.to_k", "cross_attn.to_v",
        "ff.net.0.proj", "ff.net.2"
    ],
    lora_dropout=0.05,
    bias="none",
)

model = get_peft_model(hidream_model, lora_config)
# 학습 가능 파라미터: ~80M (전체의 약 1%)

양자화로 로컬 추론 조건 맞추기

fp16 전체 모델은 약 16GB VRAM을 요구한다. RTX 4090(24GB)에서는 fp16 로컬 추론이 가능하지만, RTX 3090(24GB)이나 RTX 4080(16GB)에서는 한계에 가깝다.

INT8 양자화를 적용하면 요구량을 약 8.5GB로 낮추면서 fp16 대비 품질 손실을 미미한 수준으로 유지할 수 있다. GPTQ나 GGUF를 이용한 INT4 양자화는 약 5~6GB까지 압축할 수 있어 RTX 3060(12GB)에서도 실행 가능하다.

⤢✕HiDream-O1-Image 8Bfp16 (기본)INT8 (bitsandbytes)INT4 GPTQINT4 GGUF~16GB VRAM최고 품질~8.5GB VRAM품질 손실 미미~5.5GB VRAM약간의 품질 저하~5GB VRAMCPU 추론 가능

diffusers 라이브러리와 통합되어 Hugging Face Hub에서 직접 불러올 수 있다. ComfyUI용 커스텀 노드도 커뮤니티에서 빠르게 개발되고 있다.

FLUX·Stable Diffusion·DALL-E 3와 갈리는 설계

FLUX.1은 Black Forest Labs가 개발한 트랜스포머 기반 Rectified Flow 모델이다. 오픈소스 품질 최정점에 있으며, FLUX.1-dev(12B)는 HiDream-O1-Image보다 크다. 다만 외부 CLIP+T5 텍스트 인코더와 VAE가 별도로 필요해 전체 메모리 요구량은 비슷하거나 더 높다.

Stable Diffusion 3.5는 MMDiT(Multi-Modal Diffusion Transformer) 아키텍처로 텍스트 토큰과 이미지 토큰을 동등하게 처리한다. 이 모델 역시 외부 VAE와 텍스트 인코더를 사용하지만 파인튜닝 생태계는 가장 성숙하다.

DALL-E 3는 폐쇄형 모델이어서 동일한 조건으로 직접 비교하기 어렵다. 품질은 우수하지만 로컬 배포가 불가능하고 커스터마이징이 제한되며 API 비용이 든다.

HiDream-O1-Image의 배포상 차이는 단일 모델 가중치에 있다. FLUX나 SD3.5가 3~4개 컴포넌트를 조합하는 데 비해 HiDream은 하나의 체크포인트만 관리하면 된다. 파이프라인 구성이 단순해지고 엔드투엔드 파인튜닝도 다루기 쉬워진다.

초기 사용자 평가에서 드러난 강점과 한계

공개 직후 Hugging Face 다운로드가 빠르게 늘면서 커뮤니티의 관심을 받았다. 초기 사용자 보고에서는 이미지 내부의 텍스트를 생성하는 품질이 FLUX.1-schnell보다 우수하다는 평가가 많다. LLM 기반 텍스트 인코더의 영향으로 해석되는 부분이다.

“왼쪽에는 X, 오른쪽에는 Y”와 같은 공간 구성 지시를 더 정확히 수행하며, 동일한 프롬프트로 반복 생성했을 때 스타일 일관성도 높다는 평가가 나온다.

한계도 남아 있다. 손가락처럼 세밀한 인체 해부학에서는 오류가 발생하며, 포토리얼리즘은 FLUX.1-dev보다 소폭 낮다는 의견이 있다.

연구 공개와 상업 이용의 경계

HiDream-O1-Image는 비상업적 연구 목적의 라이선스로 공개됐다. 상업적으로 사용하려면 HiDream과 별도 계약을 맺어야 한다. FLUX.1-dev의 비상업 라이선스, FLUX.1-schnell의 Apache 2.0, Stable Diffusion 3.5 Large의 비상업 라이선스와 비교할 수 있는 이중 라이선스 전략이다.

상업적 오픈소스 모델이 필요한 개발자에게는 Apache 2.0으로 공개된 FLUX.1-schnell이나 Kolors, Hunyuan DiT가 대안이다. HiDream은 연구와 학습을 중심으로 커뮤니티 파인튜닝 생태계를 먼저 만들고, 상업적 수요에는 기업 라이선스를 제공하는 방식을 택했다.

오픈소스 이미지 생성 모델의 경쟁 범위는 텍스트-이미지 생성을 넘어 이미지 편집, 레퍼런스 기반 스타일 전이, 비디오 생성으로 확장될 전망이다. HiDream-O1-Image의 통합 VAE 구조는 이런 멀티태스크 확장에 활용할 수 있는 아키텍처 기반을 제공한다.

Sources

HiDream이미지 생성 AIVAELoRA오픈소스 모델