확산 언어 모델과 병렬 디코딩 추론 아키텍처

토큰 순차 생성이 만든 지연의 한계

확산 언어 모델(Diffusion Language Model, dLLM)은 토큰을 왼쪽에서 오른쪽으로 하나씩 생성하는 자기회귀(autoregressive) 방식과 다른 경로를 택한다. 전체 시퀀스를 마스킹(masking)한 다음, 여러 위치를 함께 복원한다. 병렬 디코딩(parallel decoding)으로 저지연(low-latency) 추론을 노릴 수 있는 이유다.

자기회귀 생성은 이전 토큰에 다음 토큰이 의존하므로, 출력이 길어질수록 순차 의존성(sequential dependency)에 따른 지연이 커진다. dLLM은 LLM의 핵심이 자기회귀 메커니즘 자체가 아니라 최대우도추정(maximum likelihood estimation)을 통한 언어 분포 근사에 있다는 해석에서 출발한다. 다음 토큰 예측(next-token prediction) 대신 ELBO(Evidence Lower Bound) 기반 목적함수로 같은 분포 근사를 수행한다.

2026년에는 LLaDA·DiffusionGemma·Mercury 계열이 상용·오픈 스케일에서 자기회귀 모델에 근접한 품질을 보이기 시작했다. 오픈소스 dLLM 생태계는 2024년 초 자기회귀 오픈소스 수준에 도달한 것으로 평가되며, 기능적으로 동작하지만 툴링(tooling)은 아직 미성숙하다. Inception Labs Mercury는 단일 H100에서 1,000 토큰/초 이상 생성을 제시했고, Google Gemini Diffusion은 프론티어 스케일 적용 신호를 보였다.

마스킹된 문장을 복원하는 방식

생성은 전방 마스킹 과정(forward masking process)과 역방향 생성 과정(reverse denoising process)으로 나뉜다. 전방 과정에서는 원문에 마스크를 점진적으로 주입하고, 마스킹 비율 t는 균등분포 U[0,1]에서 샘플링한다. 역방향 과정은 완전히 마스킹된 t=1 상태에서 출발해 마스크를 걷어내며 t=0의 원문으로 복원한다.

트랜스포머는 양방향(bidirectional) 어텐션으로 마스킹된 토큰을 동시에 예측한다. 이는 미래 토큰을 보지 못하도록 제한하는 자기회귀 모델의 인과적(causal) 마스크와 구별된다. 각 스텝에서 신뢰도가 낮은 토큰은 다시 마스킹할 수 있다. 저신뢰도 리마스킹(low-confidence remasking)은 품질을 유지하면서 재생성의 여지를 남긴다.

사전학습(pretraining) 단계에서는 전체 토큰을 무작위로 마스킹한다. SFT(supervised fine-tuning)에서는 응답 토큰만 마스킹하는 표준 파이프라인을 따른다.

⤢✕

샘플링 스텝이 지연과 품질을 가르는 지점

dLLM은 한 번의 스텝에서 여러 위치를 복원한다. 따라서 반복 횟수를 줄이면 추론 속도를 개선할 수 있다. 다만 샘플링 스텝 수를 줄일수록 지연은 감소하지만 품질 저하 위험은 커지고, 스텝 수를 늘리면 반대의 선택이 된다.

가속 기법도 이 병렬 구조를 중심으로 발전하고 있다. SlowFast Sampling은 LLaDA에서 15.63배 가속을 보고했고, dLLM-Cache와 결합하면 34.22배 가속을 제시했다. FlashDLM·EntropyCache 같은 확산 특화 캐싱은 자기회귀 전용으로 여겨졌던 KV 캐시를 dLLM으로 확장한다.

D2F(Discrete Diffusion Forcing) dLLM은 GSM8K에서 LLaMA3·Qwen2.5 대비 2.5배 이상, 바닐라 dLLM 대비 최대 50배 가속을 보고했다. 병렬 생성의 이점은 단순한 처리량 문제가 아니라, 필요한 지연 목표에 맞게 샘플링 과정을 설계할 수 있다는 데 있다.

⤢✕

자기회귀 모델과 비교할 때 보는 축

비교 축	확산 LLM (Diffusion)	자기회귀 LLM (Autoregressive)
생성 방식	전체 시퀀스 마스킹 후 병렬 복원	좌→우 토큰 순차 생성
어텐션 구조	양방향(bidirectional)	인과적(causal) 단방향
지연 결정 요인	샘플링 스텝 수	출력 토큰 수
병렬성	높음(다중 위치 동시 디코딩)	낮음(토큰 단위 순차)
목적함수	ELBO 기반 근사	다음 토큰 예측 우도
처리량(throughput)	병렬 디코딩으로 우위 잠재력	배치 처리 최적화 성숙
툴링 성숙도	미성숙(2026 기준 초기)	성숙(vLLM·양자화·서빙 완비)
대표 모델	LLaDA 8B, DiffusionGemma, Mercury	GPT·Claude·LLaMA 계열

긴 출력을 생성할 때 자기회귀 방식은 지연이 급증한다. 반면 확산 방식은 샘플링 스텝 수를 조절해 지연을 예측 가능하게 다룰 수 있다. 저지연 배치에서는 병렬 디코딩이 유리할 수 있지만, 실제 서빙 환경에서는 최적화가 축적된 자기회귀 스택이 여전히 강점이다.

품질 격차도 줄어들고 있다. LLaDA 8B는 in-context learning과 instruction-following에서 LLaMA3 8B와 대등한 결과를 보였으며, 상용 자기회귀 모델과의 차이는 축소되는 흐름이다.

LLaDA·DiffusionGemma·Mercury가 보여주는 모델 지형

LLaDA 8B는 Nie et al.의 학술 모델이다. MIT 라이선스로 전체 가중치를 공개했고, 처음부터 학습한 8B 스케일 dLLM이지만 프로덕션 추론 속도에는 최적화되지 않았다.

DiffusionGemma는 Google의 실험적 오픈 모델로, Apache 2.0 라이선스의 26B MoE(Mixture of Experts) 구조를 사용한다. 텍스트 블록을 동시에 생성해 GPU에서 최대 4배 가속을 제시했다.

Mercury와 Mercury Coder는 Inception Labs의 상용 스케일 dLLM 계열이다. Mercury Coder Mini(1.3B)는 Apache 2.0 라이선스로 가장 프로덕션 친화적인 모델로 소개되며, Mercury 2는 AIME 2026에서 90%를 기록했다. Mercury 2는 DiffusionGemma의 AIME 2026 69.1%를 상회했고, 비확산 Gemma 4의 88.3%도 넘었다. 이는 병렬 생성과 추론 품질을 함께 확보할 가능성을 보여준다.

서빙 측면에서는 vLLM이 2026년 3월 확산 모델 실험적 지원을 추가했다. Mercury Coder Mini와 LLaDA를 서빙할 수 있다.

도입은 별도 경로의 검증으로 시작한다

dLLM 툴링은 2024년 초 자기회귀 수준이라는 전제를 두고, 초기 적용은 PoC(Proof of Concept) 중심으로 잡는 편이 맞다. 코드 자동완성이나 실시간 응답처럼 지연 민감(latency-sensitive)한 경로가 우선 후보이며, 장문 추론에는 신중한 검토가 필요하다.

병렬 디코딩을 운영하려면 vLLM의 실험 지원과 FlashDLM 같은 확산 특화 KV 캐싱을 검토해야 한다. GPU 메모리와 배치 전략도 자기회귀 서빙을 그대로 옮겨오는 방식으로는 충분하지 않을 수 있다.

검증에서는 샘플링 스텝별 품질-지연 곡선을 측정하고, GSM8K·AIME 기반 회귀 테스트를 확보한다. 기존 자기회귀 스택은 폴백(fallback)으로 남기고, dLLM을 특정 경로에 부분 적용하는 병행 운영(hybrid stack)이 현실적이다. Mercury 3B 비상용 연구 라이선스 같은 라이선스 제약, 재현성, 서빙 안정성은 거버넌스 체크리스트에서 함께 관리해야 한다.

모델 선택 거버넌스에 반영할 변화

정보관리기술사 관점에서 dLLM은 자기회귀 단일 패러다임 의존을 확산·자기회귀 이원화(dual architecture) 전략으로 바꾸는 흐름이다. 병렬 디코딩, 저신뢰도 리마스킹, 확산 특화 캐싱은 저지연 추론 최적화 기법으로 기술 로드맵에 포함할 수 있다.

모델 선정 기준은 품질·지연·라이선스·툴링 성숙도를 함께 보는 다기준 의사결정(multi-criteria decision) 프레임으로 정리할 수 있다. 연구 단계 기술에는 성숙도·재현성·서빙 SLA를 기준으로 도입 게이트(gate)를 두고 단계적 롤아웃(staged rollout)을 적용한다.

2026년에는 상용 dLLM(Mercury), 프론티어 모델(Gemini Diffusion), 오픈 모델(LLaDA·DiffusionGemma)이 맞물리는 구도에서 하이브리드 서빙 아키텍처가 실무 표준으로 정착하는 방향이 제시된다. 저지연 경로에서 먼저 검증하고, 기존 자기회귀 스택과의 역할 분담을 명확히 하는 것이 현재의 도입 판단 기준이다.