DiffusionGemma가 바꾸는 병렬 텍스트 생성과 추론 설계

다음 토큰을 기다리지 않는 생성 방식

2026년 6월 10일 Google DeepMind가 공개한 DiffusionGemma는 텍스트 생성의 출발점부터 기존 대형 언어 모델과 다르다. GPT, LLaMA, Gemma처럼 앞에서 확정한 토큰을 바탕으로 다음 토큰을 하나씩 쓰는 대신, 이미지 생성에서 활용해 온 확산 원리를 텍스트에 적용한다. 동급 모델 대비 최대 4배 빠른 생성 속도는 이 구조 변화에서 나온다.

자기회귀(AR, Autoregressive) 모델에는 피하기 어려운 순차적 의존성이 있다. 1000개의 토큰을 만들려면 정확히 1000번의 순차적 순전파가 필요하다. 이전 토큰이 정해지기 전에는 다음 토큰 계산을 시작할 수 없다. KV-Cache와 스펙큘레이티브 디코딩(Speculative Decoding)은 이 병목을 줄이지만, 토큰을 순서대로 생성하는 구조 자체를 없애지는 않는다.

DiffusionGemma는 노이즈에서 신호을 복원하는 확산 과정을 이산(discrete) 토큰 공간으로 옮긴다. 사용하는 방식은 마스크드 확산(Masked Diffusion)이다. 포워드 패스에서는 원본 토큰을 어휘집에서 무작위로 고른 토큰으로 바꾸고, 리버스 패스에서는 256토큰 블록을 한꺼번에 처리하면서 노이즈에 해당하는 위치를 판별하고 복원한다. 전통적인 [MASK] 토큰이 아니라 랜덤 어휘 토큰을 넣는다는 점은 MDLM과 구별되는 특징이다.

⤢✕

MoE와 양방향 어텐션이 만드는 병렬성

DiffusionGemma의 기반은 Gemma 4의 26B Mixture-of-Experts(MoE) 아키텍처다. 추론할 때 전체 26B 파라미터를 모두 쓰지 않고 약 3.8B 파라미터만 활성화한다. 모델의 표현력을 담당하는 전체 용량과 실제 연산량을 분리해, 반복적인 디노이징 과정에서 발생하는 부담을 낮춘 설계다.

어텐션 방향도 자기회귀 트랜스포머와 다르다. 기존 모델의 단방향(causal) 어텐션에서는 현재 위치가 앞선 토큰만 볼 수 있지만, DiffusionGemma는 BERT에 가까운 양방향 어텐션(Bidirectional Attention)을 사용한다. 256토큰 블록 안의 모든 출력 위치가 서로를 참조하므로 한 번의 패스에서도 블록 전체 문맥을 반영할 수 있다.

이 차이는 생성 과정을 타이핑보다 조각에 가깝게 만든다. 자기회귀 모델이 왼쪽에서 오른쪽으로 결과를 확정한다면, DiffusionGemma는 불완전한 덩어리 전체를 반복해서 다듬는다. 포워드 패스 한 번마다 약 15~20개의 토큰이 확정(unmasked)되고, 256토큰 블록은 T번의 디노이징 스텝을 거쳐 완성된다. 각 스텝은 문맥에 맞지 않는 토큰을 찾아 블록 전체의 일관성을 높이는 방향으로 갱신한다.

공개된 성능 수치는 하드웨어와 실행 조건에 따라 다음과 같이 정리된다.

하드웨어	생성 속도	비고
NVIDIA H100 (FP8)	1,008 토큰/초	배치 사이즈 1 기준
NVIDIA H200	1,288 토큰/초	자기회귀 대비 약 6배
NVIDIA RTX 5090	700+ 토큰/초	컨슈머 GPU
NVIDIA RTX 3090/4090급	1,000+ 토큰/초	커뮤니티 실측

확산 언어 모델 계보에서의 위치

텍스트에 확산 방식을 적용하려는 시도는 DiffusionGemma 이전부터 이어졌다. 접근법은 토큰을 직접 다루는 이산 확산과 임베딩 공간에서 작동하는 연속 확산으로 나뉜다.

Stanford 연구팀이 제안한 MDLM(Masked Diffusion Language Model)은 Rao-Blackwell화된 목적 함수를 사용해 학습 과정을 마스크드 언어 모델링 손실의 가중 평균으로 단순화한다. ByteDance의 Seed Diffusion과 NVIDIA의 분자 생성 모델 Genmol이 이 방식을 기반으로 한다.

PLAID는 단어 임베딩 공간에 Gaussian 확산을 직접 적용하는 연속(continuous) 확산 모델이다. 데이터 우도를 최대화하도록 학습하며, 스케일링 법칙 연구에서는 자기회귀 모델을 넘어설 가능성을 보였다. 다만 실용적인 출력 품질에는 아직 격차가 있다.

LLaDA 2는 MDLM과 PLAID보다 인스트럭션 팔로잉 벤치마크에서 높은 성능을 보이는 최신 오픈소스 확산 LLM이다. DiffusionGemma는 이 흐름에 산업 규모의 26B MoE와 Apache 2.0 오픈 웨이트를 결합했다. 연구용 구조를 제시하는 데 그치지 않고 실제 배포를 겨냥했다는 점에서 구별된다.

⤢✕

빠른 생성이 모든 품질 문제를 해결하지는 않는다

DiffusionGemma의 출력 품질은 같은 아키텍처를 기반으로 한 자기회귀 Gemma 4 26B보다 전반적으로 낮다. Google 자체 문서도 이 차이를 명시한다.

대화형 인터페이스, 초안 작성, 내용 요약, 코드 보일러플레이트 생성, 실시간 편집 지원처럼 빠른 반응이 중요한 작업은 DiffusionGemma의 강점을 활용하기 좋다. 반면 복잡한 수학적 추론, 다단계 논리 체계, 정밀한 인스트럭션 팔로잉, 알고리즘 코드 생성에서는 약점이 드러난다.

따라서 이 모델을 자기회귀 모델의 전면적인 대체재로 보는 것은 설계 의도와 맞지 않는다. Google의 포지셔닝도 더 나은 LLM이 아니라 특정 워크로드에서 4배 빠른 LLM에 가깝다. 모델 선택 기준은 단일 품질 점수가 아니라 지연 시간과 추론 복잡도의 조합이어야 한다.

실시간 서비스와 엣지 배포에서 얻는 이점

MoE 구조에서 약 3.8B 파라미터만 활성화되고 생성 과정도 빠르다는 점은 온디바이스 환경에 유리하다. 컨슈머 RTX 3090/4090급 GPU에서 1,000 토큰/초 이상을 달성하는 특성은 클라우드 API 의존도를 낮추고 데이터 프라이버시를 강화하려는 엣지 AI 시나리오에 실질적인 가치를 준다.

비용이 늘어나는 방식도 자기회귀 모델과 같지 않다. 자기회귀 생성은 응답이 길어질수록 시간과 연산 비용이 선형으로 증가한다. DiffusionGemma는 256토큰 블록을 T번의 디노이징 스텝으로 처리하기 때문에 출력 길이에 따른 비용 증가가 자기회귀 방식보다 완만하다.

워크로드를 배치할 때는 지연 시간만큼 작업 복잡도를 함께 봐야 한다.

⤢✕

운영 단계에서 남는 기술적 제약

확산 기반 텍스트 생성에는 아직 해결해야 할 문제가 있다. 먼저 자기회귀 모델의 대표적인 가속 기술인 KV-Cache를 그대로 적용하기 어렵다. 양방향 어텐션과 KV-Cache가 구조적으로 호환되지 않기 때문이다. 이 문제를 다루는 적응적 병렬 디코딩(Adaptive Parallel Decoding) 연구가 2026년 들어 활발해지고 있다.

긴 문맥도 부담이다. 현재의 256토큰 블록 생성 방식은 매우 긴 문서나 복잡한 멀티스텝 추론에서 블록 사이의 일관성을 유지하기 어렵다. 블록 간 컨텍스트 전달 메커니즘을 개선해야 하는 이유다.

학습 안정성 역시 남은 과제다. 이산 확산 공간에서의 학습은 이미지가 사용하는 연속 공간의 확산보다 불안정하며, 대규모 학습에는 추가적인 안정화 기법이 필요하다.

워크로드에 따라 모델을 나누는 추론 아키텍처

기업 AI 플랫폼에서는 자기회귀 모델과 확산 모델을 같은 방식으로 운영하기 어렵다. 생성 특성과 강점이 다르므로, 워크로드가 요구하는 속도와 정확도에 따라 모델 유형을 선택하는 하이브리드 추론 아키텍처가 필요하다.

챗봇이나 실시간 어시스턴트처럼 속도가 우선인 작업에는 DiffusionGemma 계열을 배치할 수 있다. 전문 분석과 코드 리뷰처럼 정확도와 복잡한 추론이 중요한 작업은 자기회귀 모델에 맡기는 편이 적합하다. 이 구분은 품질 저하를 감수하며 모든 요청을 빠른 모델에 몰아넣는 방식이 아니라, 서로 다른 추론 구조를 비용 효율적으로 조합하는 접근이다.

DiffusionGemma는 Apache 2.0 라이선스의 오픈 웨이트로 공개됐으며 Hugging Face의 google/diffusiongemma-26B-A4B-it을 통해 접근할 수 있다. NVIDIA와의 협력을 통한 TensorRT 최적화도 지원되고, Google AI for Developers 플랫폼에서는 공식 API와 가이드를 제공한다.

이 공개는 산업 규모의 확산 언어 모델을 연구 기준점(baseline)으로 제공한다는 의미도 갖는다. MDLM, PLAID, LLaDA 2가 확장해 온 연구 영역에 Google이 실용적인 구현체를 내놓은 셈이다.

DiffusionGemma는 언어 모델이 반드시 왼쪽에서 오른쪽으로 토큰을 확정해야 한다는 전제를 흔든다. 다만 현재는 복잡한 추론과 정밀한 인스트럭션 팔로잉에서 자기회귀 모델보다 분명한 한계가 있다. Google이 26B MoE 모델을 Apache 2.0 오픈 웨이트로 공개했다는 사실은 이 접근에 대한 연구 투자가 이어질 가능성을 보여준다.

속도와 비용이 AI 인프라의 핵심 제약으로 작용하는 2026년에는 4배 빠른 텍스트 생성이 서비스의 비용 구조를 바꾸는 변수가 될 수 있다. 확산 기반 언어 모델의 품질이 자기회귀 모델 수준으로 수렴한다면, 텍스트 생성 아키텍처의 전환도 본격화될 것이다.