HiDream-O1은 VAE를 없애고 8B로 56B FLUX.2를 이겼다

2026년 5월 8일 HiDream-ai가 MIT 라이선스로 오픈소스 공개한 HiDream-O1-Image는 VAE(Variational Autoencoder)와 외부 텍스트 인코더를 제거하고 픽셀 공간에서 직접 동작하는 8B 파라미터 통합 이미지 생성 파운데이션 모델이다. Pixel-level Unified Transformer(UiT) 아키텍처를 통해 픽셀 패치, 텍스트 토큰, 태스크 조건을 단일 공유 시퀀스로 처리하며, 텍스트-이미지 생성·이미지 편집·주제 기반 개인화를 단일 모델로 지원한다. 8B 파라미터 증류 모델(Dev 버전)이 56B FLUX.2를 GenEval, DPG, HPSv3 벤치마크에서 능가하며 오픈 웨이트 이미지 생성 모델의 새로운 기준점을 제시했다.

픽셀·텍스트·태스크 토큰이 한 시퀀스에서 만난다

기존 이미지 생성 파이프라인은 모듈 분리 아키텍처를 따른다. 텍스트 인코더(CLIP, T5)가 텍스트를 임베딩으로 변환하고, VAE 인코더가 이미지를 잠재 공간으로 압축한 뒤, 확산 모델이 잠재 공간에서 노이즈 제거를 수행하고, VAE 디코더가 잠재를 픽셀로 복원한다. 이 파이프라인은 각 모듈의 최적화가 전체 파이프라인의 최적화를 보장하지 못하는 모듈 간 최적화 갭(Optimization Gap) 문제를 내포한다.

HiDream-O1-Image의 UiT는 이 갭을 없앤다. 세 종류의 토큰이 단일 트랜스포머 시퀀스에 공존한다. 픽셀 패치 토큰은 원본 RGB 픽셀을 고정 크기 패치로 분할한 토큰으로 VAE가 없다. 텍스트 토큰은 프롬프트를 직접 토크나이즈한 토큰으로 외부 텍스트 인코더가 없다. 태스크 조건 토큰은 생성 태스크 유형(t2i, 편집, 개인화)을 명시하는 조건 토큰이다.

이 세 토큰은 동일한 트랜스포머 블록에서 어텐션을 공유하므로, 텍스트와 픽셀 간의 미세한 시맨틱 정렬이 잠재 공간 변환 없이 직접 학습된다.

⤢✕

전통적 VAE는 이미지를 저차원 잠재 공간으로 압축해 확산 모델이 효율적으로 학습하도록 돕지만, 압축 과정에서 고주파 디테일이 손실되고 VAE 디코더의 아티팩트가 최종 출력에 영향을 미친다. UiT는 VAE를 제거하고 픽셀 공간에서 직접 확산을 수행하므로 이 병목이 사라진다. 픽셀 패치를 직접 처리하면 연산량은 증가하지만, 모델 파라미터를 통합 학습함으로써 전체 파이프라인 최적화가 가능해진다.

인코더-디코더 일원화는 Reasoning-Driven Prompt Agent와 결합해 시너지를 발휘한다. 이 에이전트는 생성 전 "내재적 지식, 레이아웃 계획, 텍스트 렌더링 해석"을 추론하는 체인-오브-쏘트 단계를 수행해 복잡한 프롬프트의 해석 오류를 사전에 보정한다.

8B로 줄이면서 속도도 함께 얻는 법

HiDream-O1-Image-Dev는 전체 모델(undistilled)의 증류(Distillation) 버전이다. 증류 과정에서 교사 모델(Teacher)의 출력 분포를 학습해 추론 스텝 수를 대폭 줄인다. Full 모델이 수십 스텝의 확산을 수행하는 반면, Dev 버전은 적은 스텝으로 동등한 품질을 달성한다.

커뮤니티에서 FP8 양자화 버전(drbaph/HiDream-O1-Image-FP8, drbaph/HiDream-O1-Image-Dev-FP8)이 이미 Hugging Face에 공개됐다. FP8 양자화는 모델 가중치의 메모리 점유율을 FP32 대비 75% 절감하면서 품질 저하를 최소화한다. 24GB VRAM GPU(RTX 3090/4090)에서 FP8 버전으로 2048×2048 이미지 생성이 가능하다.

배치 처리 최적화는 여러 이미지를 동시 생성할 때 UiT의 시퀀스 병렬성을 활용한다. 픽셀 패치 토큰의 배치 차원을 확장해 GPU 활용률을 극대화하고, FlashAttention-2를 통해 긴 시퀀스의 어텐션 연산 메모리를 선형으로 제한한다.

최적화 기법	메모리 절감	속도 향상	품질 영향
FP8 양자화	75%	1.5~2x	미미함
증류(Distillation)	없음	추론 스텝 대폭 감소	약간
FlashAttention-2	선형 제한	어텐션 2~4x	없음
배치 처리	없음	GPU 활용률 증가	없음

FLUX·SD 3.5와 나란히 놓으면

2026년 오픈 웨이트 이미지 생성 모델 생태계의 주요 경쟁자는 FLUX 1.1, Stable Diffusion 3.5, HiDream-O1-Image다.

항목	HiDream-O1-Image	FLUX 1.1	SD 3.5
파라미터 수	8B	56B	8.1B
VAE 포함 여부	X (VAE 없음)	O	O
외부 텍스트 인코더	X (통합)	O (CLIP + T5)	O (CLIP + T5)
최대 해상도	2048×2048	2048×2048	1536×1536
라이선스	MIT	FLUX-1 비상업	CreativeML
Hugging Face Arena 순위	8위 (Dev-2604 기준)	상위권	중위권
추론 파이프라인 복잡도	단순 (단일 모델)	복잡 (3개 모듈)	복잡 (3개 모듈)

단일 모델 구조는 파인튜닝 워크플로우를 단순화한다. 기존 FLUX나 SD 계열 파인튜닝은 VAE와 텍스트 인코더를 고정하고 확산 모델만 파인튜닝하는 접근이 일반적이었다. UiT는 모든 모달리티가 통합된 단일 모델이므로 LoRA 등 경량 파인튜닝 기법을 전체 모달리티에 일관되게 적용할 수 있다.

MIT 라이선스는 상업적 사용, 수정, 재배포를 모두 허용하므로 스타트업과 오픈소스 커뮤니티의 채택을 가속화한다. 2026년 5월 공개 직후 Hugging Face Spaces에 무료 데모가 다수 등장했고, ComfyUI 커스텀 노드 통합도 빠르게 진행되고 있다.

HiDream-ai는 추론 시 계획 수립을 강화하는 Reasoning-Driven 접근을 이미지 생성에 적용한 선구자다. 이 방향은 복잡한 씬 구성, 다중 오브젝트 배치, 텍스트 렌더링 정확도에서 기존 모델의 한계를 극복하는 경로를 제시한다. 향후 비디오 생성으로의 확장, 멀티모달 편집 태스크 추가, 더 큰 해상도 지원이 로드맵에 포함될 것으로 예상된다.

HiDream-O1-Image는 VAE와 외부 텍스트 인코더를 제거한 픽셀 공간 통합 트랜스포머로 이미지 생성 파이프라인의 모듈 분리 패러다임에 도전한다. 8B 파라미터로 56B FLUX.2를 능가하는 성능은 통합 아키텍처의 최적화 효율을 증명하며, MIT 라이선스 오픈소스 공개는 생태계 확산을 가속화한다.

픽셀·텍스트·태스크 토큰이 한 시퀀스에서 만난다

8B로 줄이면서 속도도 함께 얻는 법

FLUX·SD 3.5와 나란히 놓으면

Sources

함께 읽기