Mercury 2: 순차 생성 없이 초당 1,009 토큰을 내는 확산 LLM

Inception Labs가 2026년 2월 24일 공개한 Mercury 2는 대규모 언어 모델의 세계에서 근본적인 질문을 던진다. 과연 토큰을 한 번에 하나씩 순차적으로 생성하는 것이 텍스트 생성의 유일한 방법인가? Mercury 2는 이 질문에 강력한 반례를 제시한다. NVIDIA Blackwell GPU 기준 초당 1,009 토큰을 생성하며, 기존 프론티어 모델 대비 5배 이상 빠른 추론 속도를 달성했다. 더 주목할 만한 사실은, Mercury 2가 단순한 속도 경쟁이 아닌 추론 능력까지 갖춘 최초의 확산 기반 LLM이라는 점이다.

자기회귀 모델이 부딪힌 속도의 벽

GPT, Claude, Gemini, Llama 등 오늘날 우리가 사용하는 대부분의 언어 모델은 자기회귀(autoregressive) 방식으로 작동한다. 이 구조는 텍스트를 왼쪽에서 오른쪽으로, 토큰 하나씩 순차적으로 생성한다. 타자기처럼 한 글자씩 찍어나가는 방식이다.

이 방식은 잘 작동하고 예측 가능하게 확장되지만, 하나의 근본적인 병목을 안고 있다. 출력 속도가 모델이 토큰 하나를 처리하는 속도에 묶여 있다는 것이다. 아무리 하드웨어를 고도화하고 최적화해도, 토큰 하나를 생성한 뒤 다음 토큰을 생성해야 하는 순차적 의존성은 피할 수 없다. GPT-5 Mini의 약 71 토큰/초, Claude Haiku의 약 89 토큰/초는 이 구조적 한계를 반영한다.

Mercury 2는 이 제약을 아키텍처 수준에서 해소한다.

이미지 생성 기법을 텍스트에 옮기다

Mercury 2의 핵심은 이미지 생성 분야에서 검증된 확산(diffusion) 모델 아키텍처를 텍스트 생성에 적용했다는 점이다. Stable Diffusion이나 DALL-E가 이미지를 생성하는 방식을 떠올리면 이해가 쉽다. 이 모델들은 랜덤한 노이즈로 시작해서 반복적인 정제(denoising) 과정을 통해 최종 이미지에 도달한다.

Mercury 2도 유사한 원리로 작동한다. 타자기처럼 순서대로 쓰는 대신, 편집자처럼 전체 텍스트를 동시에 놓고 반복적으로 다듬는 방식이다. 모든 토큰을 병렬로 생성하고, 여러 번의 정제 패스(denoising pass)를 통해 품질을 높인다.

이 병렬 처리 방식은 두 가지 핵심 이점을 낳는다. 첫째, 속도다. 순차적 의존성이 없으므로 하드웨어 병렬 처리 능력을 최대한 활용할 수 있다. 둘째, 자기 오류 수정 능력이다. 생성 과정에서 초기에 만들어진 토큰이 이후 정제 패스에서 수정될 수 있으므로, 자기회귀 모델에서 발생하는 초기 오류의 전파 문제를 구조적으로 완화한다.

⤢✕

숫자로 보는 사양과 벤치마크

Mercury 2의 핵심 사양은 다음과 같다.

처리 속도: 1,009 토큰/초 (NVIDIA Blackwell GPU 기준)
종단 간 레이턴시: 1.7초
컨텍스트 윈도우: 128K 토큰
입력 가격: $0.25 / 1M 토큰
출력 가격: $0.75 / 1M 토큰
아키텍처: 확산 기반 LLM (dLLM)
지원 기능: 툴 사용, JSON 출력, RAG, 튜너블 추론

벤치마크 결과에서 Mercury 2는 AIME 2025에서 91.1점을 기록하며 GPT-5 Mini와 동점을 이뤘다. GPQA와 LiveCodeBench에서도 경쟁력 있는 성과를 보였다. 전반적으로 프론티어 자기회귀 모델 대비 품질은 85~95% 수준을 유지하면서, 속도는 5배 이상 앞서는 구조다.

가격 경쟁력도 주목할 만하다. 입력 토큰 기준으로 Gemini 3 Flash의 절반 수준이다. 속도와 비용 모두에서 경쟁 우위를 확보했다는 점에서, 특정 사용 사례에서는 프론티어 모델을 압도하는 실용적 선택지가 될 수 있다.

추론까지 갖춘 최초의 확산 LLM

Mercury 2가 이전의 확산 기반 텍스트 모델들과 차별화되는 결정적 요소는 추론(reasoning) 능력이다. 기존의 확산 LLM 시도들은 속도 면에서 가능성을 보였지만, 복잡한 논리적 추론이 필요한 작업에서는 한계를 드러냈다.

Mercury 2는 이 문제를 해결하여 최초의 추론 확산 LLM이라는 타이틀을 얻었다. 추론 수준도 사용자가 조절할 수 있다. instant(즉각), low(낮음), medium(중간), high(높음) 네 가지 레벨 중 선택하여 속도와 추론 깊이의 트레이드오프를 용도에 맞게 최적화할 수 있다.

Inception Labs는 스탠퍼드, UCLA, 코넬 대학교의 연구자들이 설립한 회사로, 확산 모델의 기초 연구를 상업화하는 데 수년을 투자했다. Mercury 2는 그 축적의 결실이다.

속도가 승부를 가르는 곳

Mercury 2가 열어주는 가장 중요한 가능성은 속도가 품질만큼 중요한, 혹은 더 중요한 영역에 있다.

에이전트 루프: 다단계 AI 에이전트가 도구를 호출하고, 결과를 받아 다음 단계를 결정하는 루프에서 각 스텝의 지연은 전체 워크플로 실행 시간에 직접 영향을 미친다. Mercury 2의 1.7초 종단 간 레이턴시는 복잡한 에이전트 워크플로를 체감 가능한 시간 내에 완료할 수 있게 한다.

실시간 음성 인터페이스: 음성 AI 어시스턴트는 사용자의 말이 끝나는 순간부터 응답이 시작되기까지의 지연이 체감 품질을 결정한다. 1,000 토큰/초의 생성 속도는 음성 합성 속도와 거의 맞먹는 수준이어서, 진정한 실시간 대화 경험을 가능하게 한다.

고처리량 코딩 및 편집: 대규모 코드베이스에서 반복적인 리팩토링, 문서화, 테스트 코드 생성 등 고처리량이 요구되는 작업에서 10배 빠른 생성 속도는 생산성 차이를 크게 만든다.

실시간 검색 및 요약: 뉴스 모니터링, 실시간 데이터 분석, 라이브 이벤트 중계 요약 등 시간이 핵심인 사용 사례에서 Mercury 2의 속도는 결정적 우위를 제공한다.

API와 통합 접근성

Mercury 2는 OpenAI 호환 API를 제공한다. 이는 기존에 OpenAI API를 사용하는 서비스에서 base URL만 변경하면 Mercury 2로 전환할 수 있다는 의미다. 이 호환성은 도입 장벽을 극적으로 낮추며, 속도나 비용 최적화를 원하는 개발자들이 빠르게 테스트해볼 수 있는 환경을 제공한다.

지원 기능의 면에서도 실용적이다. 툴 사용(function calling), 구조화된 JSON 출력, RAG 통합, 128K 컨텍스트 윈도우를 모두 지원하여 프로덕션 워크플로에 바로 적용 가능한 수준이다.

자기회귀와 확산의 공존

Mercury 2의 등장은 자기회귀 모델과 확산 모델 중 어느 것이 더 낫다는 단순한 결론보다, 두 방식의 상호보완적 미래를 시사한다.

자기회귀 모델은 여전히 복잡한 추론, 긴 맥락 이해, 미묘한 언어 뉘앙스 처리에서 강점을 보인다. 반면 확산 모델은 속도, 비용, 병렬 처리, 구조화된 출력에서 유리하다. 미래의 시스템은 초안 생성은 확산 모델이, 정교한 검토와 수정은 자기회귀 모델이 담당하는 하이브리드 파이프라인으로 발전할 가능성이 높다.

이 관점에서 Mercury 2는 단순히 빠른 모델이 아니라, LLM 인프라 설계 패러다임 자체를 확장하는 존재다. "언어 모델은 순차적으로 생성해야 한다"는 암묵적 전제에 도전하며, 1,000 토큰/초라는 숫자로 그 가능성을 입증했다. Inception Labs가 수년간 연구한 확산 기반 텍스트 생성의 상업화는, 에이전틱 AI 시대에 속도와 비용이 핵심 경쟁력이 되는 지점에서 절묘한 타이밍에 도착했다.