DeepSeek R2 추론 모델: AIME 92.7%·MATH-500 달성과 수학·논리 추론 LLM 포스트-트레이닝 전략

2026년 4월, DeepSeek은 추론 모델 R2와 함께 DeepSeek V4 Pro·Flash를 동시 공개하며 다시 한 번 AI 업계를 뒤흔들었다. R2는 32B 밀집(dense) 트랜스포머로 설계되어 단일 소비자용 GPU에서 구동 가능하면서도 AIME 2025에서 92.7%, MATH-500에서 89.4%를 기록했다. 파라미터 규모를 줄이는 대신 포스트-트레이닝 품질을 극단까지 끌어올리는 전략이 이 성과의 핵심이며, 강화학습 기반 Chain-of-Thought 포스트-트레이닝의 새로운 기준점을 제시한다.

R2가 선택한 32B 밀집 구조

DeepSeek R2는 전작 R1(671B MoE)과 근본적으로 다른 설계 철학을 따른다. R1이 규모(scale)로 추론 능력을 확보했다면, R2는 32B 밀집 트랜스포머라는 컴팩트한 구조를 선택하고 포스트-트레이닝에 집중해 성능을 끌어올렸다. MIT 라이선스로 오픈소스 공개되어 RTX 4090 또는 A6000 단일 GPU에서 구동 가능하다.

주요 특징은 32B 밀집 트랜스포머(MoE 불필요) 파라미터, MIT(완전 오픈소스) 라이선스, AIME 2025 92.7% 달성, MATH-500 89.4% 달성, GPQA 78.4%(o3의 75.1% 초과), GRPO 기반 강화학습 포스트-트레이닝이라는 핵심 기법이다.

R2의 포스트-트레이닝 파이프라인은 DeepSeek-R1에서 도입된 GRPO(Group Relative Policy Optimization)를 정제한 버전으로, 별도 크리틱 모델 없이 수학·논리 추론 능력을 극적으로 향상시킨다.

V4 Pro·Flash가 보여주는 1M 컨텍스트의 효율

R2와 동시에 공개된 DeepSeek V4 Pro와 V4 Flash는 100만 토큰 컨텍스트 윈도우를 지원하며, 기존 V3 대비 획기적인 효율성 개선을 달성했다.

항목	V4 Pro	V4 Flash
총 파라미터	1.6T	284B
활성 파라미터	49B	13B
컨텍스트 윈도우	1M 토큰	1M 토큰
아키텍처	MoE	MoE
추론 모드	Thinking/Non-Thinking	Thinking/Non-Thinking

V4 Pro는 1M 토큰 컨텍스트 처리 시 단일 토큰 추론에 V3 대비 27%의 FLOPs만 필요하며, KV 캐시는 10% 수준으로 줄어든다. 이는 토큰 차원 압축 기반 어텐션 메커니즘과 DSA(DeepSeek Sparse Attention)의 결합으로 달성된다.

GRPO가 PPO와 갈라지는 지점

DeepSeek R2의 핵심 기법인 GRPO는 전통적인 PPO(Proximal Policy Optimization)와 어떻게 다를까.

⤢✕

GRPO의 핵심 차별점은 크리틱 모델 제거다. PPO는 정책 모델(policy model)과 별도로 가치 함수(value function)를 계산하는 크리틱 모델을 유지해야 해서 메모리 비용이 2배가 된다. GRPO는 동일 프롬프트에 대해 8~64개의 응답을 샘플링하고, 그룹 내 평균과 표준편차로 각 응답의 어드밴티지(advantage)를 정규화한다.

수식으로 표현하면:

$$A_i = \frac{r_i - \text{mean}(r_1, ..., r_G)}{\text{std}(r_1, ..., r_G)}$$

여기서 $r_i$는 $i$번째 응답의 보상, $G$는 그룹 크기다. 이 방식은 PPO와 동등하거나 그 이상의 성능을 내면서 메모리와 연산 비용을 크게 절감한다.

RLVR, 검증 가능한 보상으로 수학 추론을 강화하다

GRPO와 함께 R2 학습의 핵심 축을 이루는 것은 RLVR(Reinforcement Learning with Verifiable Rewards)이다. 전통적인 RLHF(인간 피드백 기반 강화학습)가 인간 어노테이터의 주관적 선호도에 의존한다면, RLVR은 자동화된 검증기(verifier)로부터 보상 신호를 얻는다.

수학 문제를 예로 들면, 모델이 내놓은 최종 답이 수치적으로 정확한지 프로그램으로 검증하고, 정확하면 양의 보상, 틀리면 0 또는 음의 보상을 준다. 코드 생성에서는 단위 테스트 통과 여부, 정형 논리에서는 증명 검사기(proof checker)가 검증 역할을 한다.

RLVR의 장점은 수백만 개의 수학 문제에 대해 인간 레이블 없이 자동 보상 계산이 가능한 확장성, 주관적 판단 없이 객관적 기준으로 보상을 결정하는 일관성, 모델이 자체적으로 자기 반성(self-reflection)과 역추적(backtracking) 전략을 학습하는 창발성이다.

DeepSeek-R1의 연구에서 이미 확인됐듯, RLVR만으로 학습된 모델은 명시적으로 가르치지 않아도 복잡한 추론 전략을 자발적으로 발전시킨다.

DAPO가 더한 최신 포스트-트레이닝 혁신

2025~2026년에는 GRPO의 한계를 보완하는 여러 기법이 등장했다. ByteDance와 칭화대가 공동 개발한 DAPO(Dynamic Advantage Policy Optimization)는 긴 Chain-of-Thought 시퀀스 학습에서 발생하는 불안정성을 해결한다.

DAPO의 네 가지 핵심 혁신은 비대칭 클리핑으로 엔트로피 붕괴(entropy collapse)를 방지하는 Clip-Higher, 정보가 없는 배치(모든 응답이 맞거나 모두 틀린 경우)를 필터링해 학습 효율을 높이는 Dynamic Sampling, 긴 추론 시퀀스에서 토큰 단위 기울기 계산으로 학습 안정성을 확보하는 Token-level Policy Gradient, 과도하게 긴 출력에 패널티를 부여해 간결한 추론을 유도하는 Reward Shaping for Overlong이다.

DAPO로 학습된 Qwen2.5-32B는 AIME 2024에서 50점을 기록, DeepSeek-R1-Zero를 50% 적은 학습 스텝으로 능가했다.

수학·논리 추론 벤치마크가 쌓아 올린 체계

추론 모델의 성능을 측정하는 벤치마크는 체계적으로 설계되어 있으며, 난이도별로 층위가 나뉜다.

⤢✕

AIME(American Invitational Mathematics Examination)은 미국 수학 경시대회의 2차 관문으로, 전체 AMC 응시자 상위 5%만 참가할 수 있다. 각 연도별로 30문제(AIME I·II 각 15문제)가 출제되며, 답은 0~999 사이의 정수다. 2025년도 시험이 현재 가장 최신 기준점으로 활용된다.

MATH-500은 Hendrycks et al.이 공개한 경시대회 수준 수학 문제 5개 난이도 레벨에서 500개를 엄선한 벤치마크다. 대수, 수론, 기하, 미적분 등 다양한 분야를 포함한다.

OlympiadBench와 OlymMATH는 국제 수학 올림피아드(IMO) 수준의 문제들로 구성되어 현재 최고 모델조차 어려움을 겪는다. OlymMATH-HARD에서 GPT-4o3-mini(high)는 31.2%, Gemini 2.5 Pro Exp는 58.4%에 그쳤다.

긴 컨텍스트를 효율적으로 처리하는 전략

DeepSeek V4 Pro의 1M 토큰 컨텍스트 지원은 단순 메모리 증설이 아닌 정교한 아키텍처 최적화의 산물이다. 긴 컨텍스트를 효율적으로 처리하는 주요 기법들을 살펴본다.

슬라이딩 윈도우 어텐션(Sliding Window Attention)은 모든 토큰 쌍에 대해 어텐션을 계산하는 대신, 각 토큰이 이웃한 $w$개 토큰에만 집중하도록 제한한다. 이를 통해 $O(n^2)$의 어텐션 복잡도를 $O(n \cdot w)$로 줄인다. 일부 레이어에서는 전역 어텐션을 유지해 장거리 의존성도 포착한다.

RoPE(Rotary Position Embedding) 확장은 학습 시 사용한 컨텍스트 길이보다 긴 시퀀스에서도 위치 인코딩이 제대로 동작하게 한다. YaRN(Yet another RoPE extensioN) 등의 기법으로 RoPE의 주파수를 재조정해 외삽(extrapolation) 성능을 향상시킨다.

청킹 전략(Chunking)은 긴 입력을 작은 덩어리로 나누어 순차적으로 처리한다. KV 캐시를 누적하면서 전체 문맥을 유지하므로, 메모리 피크를 낮추면서도 긴 시퀀스 이해력을 보존한다.

DeepSeek이 V4 Pro에 도입한 토큰 차원 압축 어텐션과 DSA는 이러한 기법들의 조합으로, 1M 컨텍스트에서 V3 대비 KV 캐시를 90% 절감한다.

포스트-트레이닝 파이프라인 전체 구조

현대 추론 모델의 학습은 단계별로 정교하게 설계된 파이프라인을 따른다.

⤢✕

1단계 SFT(Supervised Fine-Tuning)에서는 고품질 지시-응답 쌍으로 모델이 사람의 명령을 따르도록 학습한다. 2단계 선호도 최적화에서 DPO나 SimPO로 모델 출력을 인간 선호도에 맞춘다. 3단계부터가 추론 특화 구간으로, RLVR로 수학·코드·논리 분야의 검증 가능한 보상을 활용해 강화학습을 진행하고, GRPO나 DAPO로 긴 Chain-of-Thought 출력을 안정적으로 학습시킨다.

프로덕션 배포에서 필요한 추가 최적화

연구용 추론 모델을 실제 서비스에 배포할 때는 추가적인 최적화가 필요하다. DeepSeek V4 계열이 채택한 주요 전략은 다음과 같다.

Thinking/Non-Thinking 듀얼 모드는 단순한 질의에는 추론 과정 없이 빠르게 응답하는 Non-Thinking 모드를, 복잡한 수학·코드 문제에는 전체 CoT를 펼치는 Thinking 모드를 제공한다. 사용자 요청에 따라 동적으로 전환하면 불필요한 추론 토큰 비용을 절감할 수 있다. MoE 아키텍처의 배포 최적화 측면에서 V4 Pro는 1.6T 전체 파라미터 중 추론 시 49B만 활성화한다. 전문가(expert) 라우팅을 GPU 간에 효율적으로 분산하면 대형 MoE 모델도 합리적인 비용으로 서빙 가능하다. 투기적 디코딩(Speculative Decoding)은 소형 드래프트 모델이 먼저 토큰 후보를 생성하고, 대형 검증 모델이 일괄 수락/거부하는 방식으로 생성 속도를 2~3배 향상시킨다.

DeepSeek R2는 대규모 MoE 모델이 아닌 32B 밀집 트랜스포머로 AIME 2025 92.7%를 달성하며, 규모보다 포스트-트레이닝 품질이 추론 성능의 핵심임을 증명했다. GRPO와 RLVR을 정점으로 하는 강화학습 기반 포스트-트레이닝 기법, DAPO 등 최신 혁신, 그리고 V4 계열의 1M 컨텍스트 효율화까지 — 2026년의 LLM 추론 연구는 단순 스케일업의 시대를 넘어 정밀한 학습 전략과 아키텍처 혁신의 시대로 진입했다. 오픈소스 생태계에서 이러한 기술들이 빠르게 재현·개선되고 있어, 수학·논리 추론 분야의 혁신 속도는 앞으로도 계속 가속될 전망이다.