확산 모델이 이미지로 추론한다면 — DiffThinker가 제안하는 접근

멀티모달 AI 연구의 전통적 패러다임은 시각 정보를 텍스트 심볼로 변환한 뒤 언어 모델이 추론을 담당하는 구조였다. 그러나 상하이 AI 연구소(Shanghai AI Laboratory)와 CUHK 공동 연구팀이 2025년 12월 발표한 DiffThinker는 이 전제를 근본적으로 뒤집는 접근을 제안한다. 시각적 추론을 이미지-투-이미지 생성 과제로 재정의함으로써, 연구팀은 GPT-5 대비 +314.2%의 정확도 향상을 보고했다.

텍스트로 바꿔 추론하는 방식이 부딪히는 벽

대형 언어 모델(LLM) 기반 멀티모달 시스템의 핵심 구조는 "시각 → 텍스트 변환 → 언어 추론"이다. 시각 입력을 텍스트 토큰으로 매핑하는 과정에서 공간적·위상적 정보가 손실되고, 픽셀 수준의 정밀한 위치 관계를 언어 심볼로 표현하는 데는 근본적 한계가 있으며, 순차적 토큰 생성 구조는 병렬적 공간 관계 처리에 비효율적이다. 미로 경로 탐색·시각적 퍼즐·공간 배치 같은 문제는 연속 시각 공간에서 직접 추론하는 편이 유리한데도, 텍스트 기반 모델은 언어 서술로 근사화하는 간접 경로를 택해 논리적 일관성과 공간 정밀도가 떨어진다. 자기 회귀(Autoregressive) 토큰 생성은 추론 경로를 선형으로만 탐색해 복수의 가능한 해법을 동시에 탐색할 수 없고, 오류 전파(error propagation)가 누적되면서 복잡한 다단계 추론의 품질이 떨어진다.

이미지를 생성하는 것이 곧 추론이라는 발상

DiffThinker의 근본적 혁신은 멀티모달 추론을 생성적 이미지-투-이미지 과제(Generative Image-to-Image Task)로 재정의한 것이다.

기존 MLLM: [이미지 + 질문] → 텍스트 인코딩 → LLM 추론 → 텍스트 답변
DiffThinker: [이미지 + 조건] → 확산 과정 → 시각 공간 추론 → 이미지 답변 → 심볼 파싱

이 전환의 핵심 통찰은 시각적 추론 문제의 해답 자체가 이미지 형태로 가장 자연스럽게 표현된다는 것이다. 미로 퍼즐의 정답은 경로가 표시된 미로 이미지이고, 공간 배치 문제의 정답은 완성된 배치도 이미지이며, 순차 계획의 정답은 단계별 상태 변화 이미지 시퀀스라는 식이다.

노이즈를 걷어내며 답을 찾는 확산 과정

DiffThinker가 확산 모델을 추론 엔진으로 쓰는 이유는, 확산 과정 자체가 고차원 탐색을 자연스럽게 수행하기 때문이라고 연구팀은 설명한다.

⤢✕

디노이징 초기 단계(고노이즈)에서는 복수의 가능한 해법 경로가 잠재 공간에서 중첩된 채 유지되고, 중간 단계에서는 불가능한 경로를 확률적으로 가지치기하며 유망한 경로를 강화하고, 후기 단계(저노이즈)에서는 최적 솔루션으로 수렴해 단일 해법이 결정화된다. 이 과정은 탐색 알고리즘의 빔 서치(Beam Search)와 유사하지만 연속 시각 공간에서 수행된다는 점이 다르다.

속도장을 학습해 노이즈에서 답으로

DiffThinker는 Flow Matching 기반 확산 방법으로 노이즈에서 솔루션 이미지로의 속도장(Velocity Field)을 학습한다. 추론 시에는 가우시안 노이즈 x_T를 샘플링하고, 학습된 속도장을 따라 ODE(Ordinary Differential Equation)를 수치 해석해 잠재 코드 x_0을 얻은 뒤, VAE 디코더로 솔루션 이미지를 복원하고, 복원된 이미지에서 심볼릭 답변을 파싱하는 절차를 거친다.

정렬 모듈에서 파서까지 이어지는 구조

⤢✕

VLM 정렬 모듈은 시각-언어 모델의 임베딩을 확산 모델의 입력 조건 공간으로 변환하는 브리지 역할을 하며, 비전-언어 트레이닝을 통한 프록시 감독(Proxy Supervision) 방식으로 VLM 임베딩과 LLM 디코더를 동일 입력 공간에 정렬하고 인터리브드(interleaved) 이미지-텍스트 시퀀스 임베딩도 처리한다. 확산 트랜스포머 백본(DiT Backbone)은 멀티모달 조건 프롬프트를 입력받아 조건부 이미지 생성을 수행하는 핵심 모듈로, 어텐션 메커니즘으로 입력 이미지와 생성 이미지 간 공간적 대응 관계를 학습하고 다양한 해상도·종횡비를 유연하게 처리한다. 심볼 파서(Symbol Parser)는 생성된 솔루션 이미지에서 최종 답변을 추출하는 후처리 모듈로, 컴퓨터 비전 알고리즘 기반 이미지 분석과 과제 유형별 특화 파싱 로직(경로 추출, 격자 상태 판독 등)으로 공정한 비교를 위한 심볼릭 답변을 만든다.

연구팀이 확인했다는 핵심 속성들

DiffThinker 연구팀은 확산 기반 추론의 핵심 속성을 다음과 같이 확인했다고 밝힌다. 효율성(Efficiency)은 확산 모델의 병렬 처리 능력에서 나온다 — 자기 회귀 모델과 달리 솔루션의 전체 공간을 동시에 탐색하고, 디노이징 스텝 수 조정으로 속도-품질 트레이드오프를 제어할 수 있으며, 더 적은 파라미터로 Qwen3-VL-32B 파인튜닝 모델 대비 +39.0% 성능을 달성했다고 보고된다. 제어 가능성(Controllability)은 텍스트·이미지 조건을 통한 세밀한 출력 제어를 뜻하며, 제약 조건을 조건 프롬프트에 직접 인코딩하고 경계 조건·금지 영역·우선순위를 자연스럽게 반영하며 인간의 중간 개입을 통한 반복 조정도 지원한다. 네이티브 병렬성(Native Parallelism)은 디노이징의 각 스텝에서 전체 솔루션 공간을 동시에 평가하고 복수의 해법 후보를 잠재 공간에서 병렬로 추적하는 것으로, 선형 탐색에 의존하는 자기 회귀 모델 대비 구조적 우위로 제시된다. 협업(Collaboration)은 텍스트 기반 추론이 강한 LLM과 상보적 관계를 형성해, 시각 공간 추론 결과를 LLM의 후속 처리에 제공하고 멀티모달 파이프라인에서 시각 추론 전문 모듈로 통합될 수 있다는 것이다.

벤치마크에서 확인된 격차

7개 비전 중심 추론 벤치마크에서의 종합 성과다.

⤢✕

실험은 상태 전이를 통한 목표 달성을 다루는 순차 계획(슬라이딩 퍼즐, 블록 이동), 최적 조합 탐색을 다루는 조합 최적화(스도쿠, 배치 최적화), 다중 조건 동시 만족을 다루는 제약 충족(그래프 채색, 스케줄링), 2D/3D 공간 관계 추론을 다루는 공간 배치(미로, 시각적 퍼즐) 네 도메인에서 진행됐다.

LLM과 다른 추론 공간을 쓰는 이유

연구팀은 DiffThinker가 텍스트 기반 LLM을 앞서는 근본 원인을 다음과 같이 분석한다. LLM은 이산(Discrete) 토큰 공간에서 추론해 공간적 연속성 표현에 한계가 있는 반면, DiffThinker는 연속(Continuous) 잠재 공간에서 직접 추론해 공간 정밀도가 높다. 자기 회귀 모델은 왼쪽에서 오른쪽 순서로 토큰을 생성해 후반부 생성 시 초반부 제약을 반영하기 어렵지만, 확산 모델은 전체 솔루션을 한 번에 정제해 전역적 논리 일관성을 자연스럽게 유지한다. LLM은 공간 관계를 "왼쪽"·"위"·"인접" 같은 텍스트 심볼로 근사화하는 반면, DiffThinker는 픽셀 좌표와 시각적 특징으로 공간 관계를 직접 표현한다. 확산 과정의 확률론적 특성은 솔루션 공간의 다양한 탐색을 가능하게 하며, Temperature 조절로 탐색 폭(exploration)과 수렴(exploitation)의 균형을 제어할 수 있다.

자기 반성을 더하는 후속 연구

2026년 5월 arxiv에 등재된 후속 연구(arXiv:2505.22407)에서는 DiffThinker의 추론 능력을 강화 학습으로 더 끌어올리는 Self-Reflective RL 프레임워크가 제안됐다. 확산 기반 이미지 생성 과정에 자기 반성(self-reflection) 메커니즘을 통합해, 생성된 솔루션 이미지를 재평가하고 그 결과를 디노이징 과정의 피드백으로 활용하며, 강화 학습 신호로 솔루션 품질을 반복 개선하는 방식이다.

DiffThinker가 제시한 결과는 이미지 생성 능력과 이미지 추론 능력이 통합될 수 있다는 가능성, 그리고 생성 모델이 단순 콘텐츠 생성을 넘어 인지적 과제 수행 주체로 진화할 수 있다는 방향을 시사한다. 모든 과제를 언어로 귀결시키는 단일 LLM 패러다임의 한계를 인식하고 시각적 과제는 시각적 방식으로 처리하는 전문화된 모듈을 두는 접근이 유효할 수 있음을 보여주며, 대규모 LLM보다 적은 파라미터로 특정 도메인에서 성능을 낼 수 있다는 점은 엣지 디바이스 배포를 위한 경량화 가능성도 열어준다.