DeepSeek R2: GRPO와 지식 증류로 32B가 프론티어 추론에 도달한 법
DeepSeek R2의 AIME 92.7% 수학 추론 성능, GRPO 강화학습과 지식 증류 파이프라인, 서방 모델 대비 70% 저가 API 설계를 정리한다.
2026-08-14 · 최초 발행 2026-04-19
DeepSeek이 2026년 4월 공개한 R2는 32억 파라미터 밀집(dense) 추론 모델로, AIME 2025 기준 92.7%의 정확도로 OpenAI o3에 필적하는 수학·코딩 추론 성능을 달성했다. 단일 RTX 4090 또는 A6000에서 구동 가능하며, API 가격은 서방 주요 추론 모델 대비 70% 저렴하다.
AIME 92.7%가 뜻하는 것
AIME 2025에서 92.7%는 15문제 중 약 14문제를 정확히 해결한다는 의미다. 각 문제가 수 단계에 걸친 심층적 수학적 추론을 요구하므로, 이 성과는 단순한 패턴 암기가 아닌 진정한 수학적 이해를 반영한다.
MATH-500은 Henderson et al.이 큐레이션한 500개의 수학 문제 모음으로, AMC·AIME·MATH 데이터셋에서 추출한 난이도 높은 문제들로 구성된다. DeepSeek R2는 여기서 89.4%를 달성해 같은 크기의 공개 모델 중 최상위 성능을 기록했다.
| 모델 | AIME 2025 | MATH-500 | 파라미터 | API 가격(입력) |
|---|---|---|---|---|
| DeepSeek R2 | 92.7% | 89.4% | 32B | ~$0.15/M |
| OpenAI o3 | ~93% | ~90% | 미공개 | ~$0.50/M |
| Claude Sonnet Thinking | ~88% | ~86% | 미공개 | ~$0.30/M |
| Gemini Flash Thinking | ~87% | ~85% | 미공개 | ~$0.25/M |
가치 네트워크를 뺀 GRPO
GRPO는 DeepSeek가 R1에서 처음 도입하고 R2에서 더욱 정교화한 강화학습 알고리즘이다. PPO는 정책 네트워크(policy network) 외에 별도의 가치 네트워크(value network)를 훈련해야 하고, 이 가치 네트워크는 현재 상태의 기대 보상을 예측하며 별도의 연산 자원과 복잡한 안정화 기법을 필요로 한다.
GRPO는 이 가치 네트워크를 제거하고, 동일한 프롬프트에 대해 K개의 샘플을 생성한 후 그룹 내 보상의 상대적 비교로 어드밴티지(advantage)를 추정한다. 학습 안정성을 유지하면서 연산 비용을 크게 줄이는 방식이다. 수학 문제에는 최종 답변의 정확성을 이진 보상(0 또는 1)으로 사용해, 풀이 과정의 형식적 아름다움이 아니라 실제 정답 여부만을 보상으로 삼아 모델이 다양한 해결 경로를 탐색하도록 유도한다.
교사 모델의 사고 방식을 옮겨 심다
DeepSeek R2의 핵심 훈련 전략은 대형 교사 모델의 추론 트레이스를 소형 학생 모델에 전달하는 지식 증류다. 교사 모델로는 수학·코딩 추론에 특화된 대형 모델 DeepSeek R1과, 2025년 말 공개된 국제 수학 올림피아드(IMO) 금메달 수준의 수학 추론 모델 DeepSeek-V3.2-Speciale이 쓰였다.
증류 과정은 교사 모델이 수백만 개의 수학·코딩·논리 문제에 대해 장문의 체인오브쏘트 트레이스를 생성하면, 32B 학생 모델이 이 트레이스를 지도 학습으로 모방하고, 이후 GRPO 강화학습으로 추가 최적화하는 순서로 진행된다. 32B라는 상대적으로 작은 파라미터 수로 훨씬 큰 모델과 동등한 추론 성능을 달성하는 것이 증류의 핵심 목적이며, 교사 모델의 "사고 방식"을 학습함으로써 학생 모델은 원래 크기에서 기대할 수 없는 수준의 추론 능력을 발휘한다.
MoE 대신 32B 밀집 구조를 택한 이유
DeepSeek R2는 MoE가 아닌 밀집(dense) 아키텍처를 채택했다. 추론 효율성과 하드웨어 접근성을 극대화하려는 설계 선택이다. 단일 NVIDIA RTX 4090(24GB VRAM) 또는 A6000에서 구동 가능하고, 4비트 양자화 버전으로 소비자급 GPU에서도 실용적 추론 속도를 달성하며, 로컬 배포가 가능해 데이터 프라이버시도 보장된다.
추론 시에는 모델이 문제를 단계별로 분해하고 검토하는 "확장 사고" 모드인 Extended Thinking을 지원한다. 이 모드는 더 많은 추론 토큰을 쓰지만, 어려운 수학·코딩 문제에서 정확도가 크게 향상된다.
70% 저렴한 API가 가능했던 이유
DeepSeek R2는 동급 성능의 서방 추론 모델 API 대비 약 70% 저렴한 가격을 제공한다. 32B 밀집 모델은 동급 성능의 대형 MoE 모델보다 추론 당 연산 비용이 낮은 효율적 추론 아키텍처, DeepSeek가 활용하는 중국 내 상대적으로 저렴한 GPU 연산 비용이 만드는 중국 인프라 비용 우위, 모델 가중치를 공개해 자체 호스팅을 유도함으로써 API 서버 비용을 분산시키는 오픈 가중치 전략이 가격 효율성의 요인으로 꼽힌다.
동일한 추론 작업에 대해 OpenAI o3 API 대비 약 70% 저렴한 비용으로 유사한 수학·코딩 추론 성능을 낸다는 설명이며, 특히 대량의 수학적 계산이나 알고리즘 문제 해결이 필요한 STEM 교육, 과학 연구, 금융 모델링 분야에서 비용 절감 효과가 두드러진다.
벤치마크를 공정하게 읽는 법
AIME는 매년 새로운 문제가 출제되므로 "AIME 2024"와 "AIME 2025"는 서로 다른 문제 세트다. 최신 모델일수록 과거 AIME 문제들을 학습 데이터에 포함해 오염(contamination)이 발생할 수 있어, AIME 2025가 더 신뢰할 수 있는 평가 기준이 된다. 평가 방식도 갈리는데, 한 번의 시도에서 정답을 내는 확률을 보는 엄격한 기준 pass@1과, k번의 시도 중 한 번이라도 정답을 내는 확률을 보는 관대한 기준 pass@k가 있다. DeepSeek R2의 AIME 92.7%는 가장 엄격한 pass@1 기준으로 측정된 결과다.
Codeforces·LeetCode 고난이도 문제를 자동 분석하는 경쟁 프로그래밍 자동 풀이에서는 Extended Thinking 모드로 알고리즘을 설계하고 코드를 작성해 Codeforces Div.1 D-E 수준 문제의 70% 이상을 자동 해결했다는 사례가 있다. 고교·대학 수준 수학 문제를 단계별로 풀이해주는 수학 교육 플랫폼에서는 API 비용 70% 절감으로 대규모 학습자 지원이 가능해졌고, 기업 내부 데이터를 외부에 노출하지 않는 로컬 배포 AI 연구 도구에서는 자체 서버에 배포해 완전 오프라인 추론 환경을 구축하면서 데이터 프라이버시와 고성능 추론을 동시에 달성했다는 사례도 보고된다.
DeepSeek R2는 32B라는 상대적으로 작은 파라미터 수로 AIME 92.7%, MATH-500 89.4%를 달성하며, 규모가 아닌 학습 방법론의 혁신으로 프론티어 추론 성능에 도달할 수 있음을 보여준다. GRPO 강화학습과 대형 교사 모델 기반 지식 증류의 결합은 소형 밀집 모델의 추론 능력 상한선을 끌어올렸고, 서방 모델 대비 70%의 가격 우위는 수학·코딩 추론이 필요한 대규모 서비스의 비용 구조에 영향을 줄 가능성을 보여준다.