DeepSeek R2, MoE를 버리고 32B Dense로 돌아간 이유

DeepSeek이 2026년 4월 공개한 R2는 32B 파라미터 Dense Transformer 기반의 오픈웨이트 추론 모델이다. AIME 2025에서 92.7%, MATH-500에서 89.4%를 달성하며 수학·논리 추론 영역에서 프론티어 모델급 성능을 입증했고, 단일 RTX 4090(24GB VRAM)에서 구동 가능하다.

MoE 라우팅을 버리고 Dense로 돌아가다

DeepSeek R 시리즈는 "추론 우선(reasoning-first)" 설계를 핵심 철학으로 삼는다. 모델이 최종 답변 전에 확장된 내부 Chain-of-Thought(CoT)를 생성하고, 수학·논리·과학 벤치마크 정확도를 최우선 목표로 최적화하는 구조다.

항목	R1 (2025.01)	R2 (2026.04)
파라미터 규모	671B MoE (37B 활성)	32B Dense
AIME 2025 정확도	~74%	92.7%
MATH-500 정확도	~79%	89.4%
최소 GPU 요구	8× GPU 클러스터	단일 24GB GPU
학습 기법	GRPO + Cold Start	GRPO++ + 자기검증 + 증류
라이선스	MIT	MIT

R1은 671B MoE 구조로 추론 시 37B 파라미터만 활성화하는 방식이었으나, R2는 32B Dense 구조로 전환해 MoE의 expert-routing 오버헤드·로드밸런싱 복잡성·멀티GPU 필수 요건을 완전히 제거했다. 모든 파라미터가 모든 토큰에 대해 활성화되는 Dense 구조로 추론 파이프라인이 단순해졌다.

KV 캐시를 5~10배 압축하는 MLA

R2가 MoE 대신 Dense 32B를 선택한 것은 실용적 배포를 최우선에 둔 설계 결정이다. 추론 워크로드에서 10,00040,000 토큰 분량의 사고 체인을 메모리에 유지해야 하므로, KV 캐시 효율성이 핵심 병목이 된다. DeepSeek-V2에서 도입한 Multi-Head Latent Attention(MLA) 기법을 R2에 계승해, Key-Value 캐시를 잠재 벡터(latent vector)로 압축함으로써 메모리 사용량을 대폭 절감했다. 표준 Multi-Head Attention 대비 KV 캐시 크기가 약 510배 축소되며, 이는 장문 추론 체인 유지에 필수적이다 — 40,000 토큰 CoT도 24GB VRAM 내에서 처리 가능하다.

틀린 경로를 스스로 버리는 자기검증

R2의 핵심 차별화 요소는 추론 과정 중간에 자기검증 단계를 삽입하는 것이다. 모델이 중간 추론 스텝을 자체 점검한 후 최종 답변을 결정하며, 이는 DeepSeekMath V2에서 IMO 2025 금메달을 달성한 동일 기법을 적용한 것이다. 잘못된 추론 경로를 조기 감지·폐기해 최종 정확도를 향상시킨다.

⤢✕

증류·GRPO++·자기검증, 단계별 학습

R2는 원시 스케일링 대신 포스트트레이닝에 지능을 집중하는 전략을 택했다. 핵심은 GRPO(Group Relative Policy Optimization)의 개선 버전인 GRPO++과 대규모 증류(distillation)의 조합이다.

1단계 교사 모델 증류에서는 DeepSeek R1 및 V3.2-Speciale(IMO 금메달 변종)를 교사 모델로 활용해 수학·코드·논리 문제에 대해 수백만 건의 장문 CoT 트레이스를 생성하고, 32B 학생 모델이 이 트레이스를 학습해 추론 패턴을 내재화한다. 2단계 GRPO++ 강화학습에서는 PPO(Proximal Policy Optimization)의 경량화 변종인 GRPO가 별도의 대규모 보상 모델 없이 검증 가능한 보상(Verifiable Rewards)을 쓰는데, 수학 정답 여부·코드 실행 결과 등 프로그래밍적으로 검증 가능한 신호로 학습하며 R1 대비 더 긴 강화학습 포스트트레이닝 기간을 적용한다. 3단계 자기검증 파인튜닝에서는 중간 추론 단계의 자기검증 능력을 별도 파인튜닝으로 강화해, DeepSeekMath V2의 self-verification 기법을 수학뿐 아니라 논리·과학·코드 추론 전반으로 확장한다.

AIME 15문제 중 14문제를 맞히다

AIME(American Invitational Mathematics Examination)는 15문제로 구성된 고난도 수학 시험이다. 92.7%는 15문제 중 약 14문제 정답에 해당하며, 각 문제가 다단계 기호 추론(multi-step symbolic reasoning)을 요구하는 난이도를 감안하면 이는 단순한 패턴 암기가 아닌 진정한 수학적 이해를 반영한다. R1 대비 약 18.7%p 향상된 수치다(74% → 92.7%). 대수학·미적분·기하학·확률 등 광범위한 수학 영역을 포괄하는 500문항 벤치마크 MATH-500에서는 89.4%를 달성해 R1 대비 약 10%p 향상됐고 같은 크기의 공개 모델 중 최상위 성능을 기록했다.

모델	AIME 2025	MATH-500	파라미터	비용(입력/출력, /M 토큰)
DeepSeek R2	92.7%	89.4%	32B Dense	$0.07 / $0.27
GPT-5.4	~90%	~91%	비공개	$2.50 / $15.00
Claude Opus 4.6	~88%	~90%	비공개	$5.00 / $25.00
DeepSeek R1	~74%	~79%	671B MoE	$0.14 / $0.28

GPT-5.4 대비 입력 35배, 출력 55배 저렴

R2의 비용 구조는 AI 산업의 경제성을 근본적으로 재편하는 수준이다. GPT-5.4 대비로는 입력 토큰 약 35배, 출력 토큰 약 55배 저렴하고, Claude Opus 4.6 대비로는 입력 토큰 약 70배, 출력 토큰 약 90배 저렴하며, R1 대비로는 입력 토큰 절반 수준·출력 토큰 동급이면서 성능은 대폭 향상됐다. 저비용 구조의 배경은 MoE 대비 서빙 인프라를 단순화해 단일 GPU 배포로 클러스터 비용을 제거한 32B Dense, 메모리 사용량 절감으로 동시 요청 처리량을 극대화한 KV Latent Compression, 자체 호스팅 시 API 비용을 완전히 제거하는 MIT 라이선스(RTX 4090 한 장으로 운영 가능), 불필요한 추론 경로를 조기 제거해 평균 토큰 소비를 줄이는 효율적 CoT다.

DeepSeek R2 API:    ~$170
DeepSeek R1 API:    ~$210
GPT-5.4 API:       ~$8,750
Claude Opus 4.6:   ~$15,000

자체 호스팅 시 RTX 4090(약 $1,600) 한 장으로 무제한 추론이 가능하므로, 대량 처리 시나리오에서는 비용 격차가 수백 배 이상으로 확대된다.

RTX 4090 한 장으로 돌리는 법

R2가 AI 커뮤니티에서 폭발적 관심을 받는 핵심 요인 중 하나는 소비자용 단일 GPU에서의 구동 가능성이다. 최소 하드웨어 요구사항은 GPU NVIDIA RTX 4090(24GB VRAM) 또는 A6000(48GB VRAM), 시스템 RAM 32GB 이상 권장, FP16 가중치 기준 약 64GB 디스크 공간이다. 배포 옵션으로는 PagedAttention 기반 고효율 서빙으로 MLA와 호환성이 최적화된 vLLM, GGUF 양자화 버전을 지원하는 로컬 간편 배포 Ollama, Hugging Face의 프로덕션 서빙 프레임워크 TGI(Text Generation Inference), 시간당 $0.5~$1 수준의 온디맨드 GPU 클라우드(Spheron, RunPod 등)가 있다.

추론 특화 모델이므로 일상 대화·창작 글쓰기 등에서는 GPT-5.4나 Claude 대비 약세를 보이는 범용 대화 능력, CoT 기반 추론 시 응답 레이턴시가 일반 모델 대비 높은 긴 사고 체인, 중간 검증 단계로 단순 질의에서 불필요한 연산이 발생하는 자기검증 오버헤드, 초대규모 컨텍스트 처리나 극도로 복잡한 멀티태스크에서는 대형 모델 대비 제한되는 32B 한계가 고려사항으로 남는다.

DeepSeek R2는 "거대한 모델이 곧 좋은 모델"이라는 통념을 정면으로 뒤집었다. 32B Dense라는 상대적으로 콤팩트한 아키텍처에 GRPO++ 강화학습, 교사 증류, 자기검증 메커니즘을 결합해 AIME 2025 92.7%라는 수학 추론 성능을 달성했다. 단일 소비자용 GPU에서 구동 가능하고 MIT 라이선스로 완전 공개됐으며, 서방 프론티어 모델 대비 70% 이상 저렴한 비용 구조를 제공한다.