DeepSeek R2의 AIME 92.7%, 그대로 믿기 전에 확인할 것들
DeepSeek R2의 GRPO 강화학습 설계와 INT4 양자화 엣지 배포, 벤치마크 수치를 비판적으로 검토하는 방법론, 중국 오픈소스 AI 생태계에서의 위치를 정리한다.
2026-08-14 · 최초 발행 2026-04-20
DeepSeek R2는 32B 파라미터 오픈웨이트(open-weight) 추론 모델로, AIME 2025에서 92.7%(약 14/15 문항)를 기록하며 수학·코딩 추론 분야에서 서구 프론티어 모델과 경쟁할 수 있는 수준에 도달했다. 서구 경쟁 모델 대비 약 70% 저렴한 API 가격($0.45~$0.55/M 입력 토큰)을 유지하면서 이런 성과를 달성한 점은, 효율적 강화학습 훈련과 아키텍처 설계의 결합이 만들어낼 수 있는 결과를 보여주는 사례로 평가된다.
벤치마크와 비용을 함께 보면
DeepSeek R2는 DeepSeek 연구팀이 R1을 기반으로 개선한 32B 규모의 추론 특화 오픈소스 모델이다.
R2의 차별화 포인트는 단순히 높은 벤치마크 점수가 아니라, 그 성과를 압도적으로 낮은 비용으로 달성했다는 점이다. GPT-5나 Claude 4.6 수준의 프론티어 모델과 비교하면 입력 토큰 기준 약 6~7배, 출력 토큰 기준 약 7배 저렴한 가격을 유지한다. 모델 크기(32B)와 훈련 방법론, 추론 인프라 최적화가 복합적으로 기여한 결과다.
GRPO, 그룹 안에서 상대적으로 겨룬다
R2의 핵심 훈련 기법은 GRPO(Group Relative Policy Optimization)다. DeepSeek R1에서 처음 도입된 강화학습 알고리즘으로, R2에서 더욱 확장된 RL 훈련 단계를 통해 정교하게 개선됐다.
GRPO는 기존 PPO(Proximal Policy Optimization)의 변형으로, 개별 샘플 대신 그룹 단위의 상대적 보상을 활용한다. 동일한 수학 문제에 대해 여러 응답을 생성하고, 그룹 내에서의 상대적 품질 차이를 보상 신호로 활용한다. 이는 절대적 보상 함수 설계의 어려움을 줄이고, 모델이 스스로 더 나은 추론 경로를 발견하도록 유도한다.
R1 대비 R2의 RL 개선 사항은 세 가지로 정리된다. R1보다 훨씬 긴 사후 훈련(post-training) 단계를 적용해 추론 능력의 상한선을 높인 확장된 RL 훈련 단계, 단순 정답 여부 외에 중간 추론 단계의 논리적 일관성·불필요한 반복 제거 등을 보상 신호에 포함한 보상 함수 정교화, R1 교사 모델로부터 증류된 초기 가중치 위에 RL을 적용함으로써 처음부터 RL을 적용하는 것보다 훨씬 안정적이고 빠른 수렴이 가능해진 증류+RL 시너지다.
저비용 고성능을 만든 파이프라인
R2의 저비용 고성능은 효율적 사전훈련, R1 교사 증류, GRPO 기반 RL, INT4/INT8 양자화 네 단계 파이프라인의 조합으로 달성됐다.
DeepSeek 팀은 대규모 클러스터 대신 상대적으로 적은 GPU 자원으로 32B 모델을 훈련하는 데 최적화된 훈련 파이프라인을 구축했다. 세심한 데이터 큐레이션과 배치 구성을 통해 사전훈련 단계에서 이미 강력한 기반 추론 능력을 확보했다. R1이 생성한 수백만 건의 장문 사고 연쇄 데이터를 학습 데이터로 활용하는 지식 증류는 R2가 더 작은 규모임에도 R1 수준의 다단계 추론 능력을 습득하는 데 결정적 역할을 했다. 32B는 현재 소비자급 GPU(RTX 4090, 24GB VRAM)에서 INT4 양자화 시 실행 가능한 최대 규모에 근접하는데, 이 크기는 성능과 배포 비용의 최적 균형점으로 의도적으로 선택된 것으로 분석된다.
RTX 4090 한 장이면 충분하다
32B 모델의 INT4 양자화는 RTX 4090 단일 GPU에서 30~40 토큰/초의 추론 속도를 가능케 한다. 실용적 사용에 충분한 속도이며, 특히 개인 연구자와 소규모 기업에 대형 모델의 접근성을 크게 높인다.
양자화는 성능 손실을 수반하지만, R2의 경우 GPTQ·AWQ 등의 현대적 양자화 기법을 적용 시 벤치마크 점수 하락이 25% 내외로 제한된다. 수학 추론 태스크처럼 명확한 정답이 존재하는 영역에서 FP16 대비 실용적 성능 차이가 크지 않다는 의미다. 다만 1820GB VRAM 요구사항은 현재 온디바이스 엣지(스마트폰, 소형 IoT 기기)에는 적합하지 않다. 엣지 배포는 GPU가 탑재된 엣지 서버(NVIDIA Jetson AGX Orin 등)나 소형 워크스테이션 수준에서 가능하며, 진정한 온디바이스 추론을 위해서는 추가적인 모델 압축 또는 더 소형 모델(7B~14B)이 필요하다.
92.7%를 그대로 믿기 전에
AIME 92.7%, MATH-500 89.4%라는 수치를 그대로 받아들이기 전에 평가 방법론을 비판적으로 검토하는 것이 중요하다.
데이터 오염(Contamination) 위험은 AIME가 매년 새로운 문제를 출제하지만 훈련 데이터에 과거 AIME 문제가 포함돼 있을 경우 성능이 과대 평가될 수 있다는 점이다. R2가 평가에 사용한 AIME 2025 문제가 훈련 데이터 컷오프 이후의 것인지 확인이 필요하다. Pass@1 대 Pass@k 구분도 중요한데, 단일 시도(Pass@1)와 여러 번 시도 중 최소 하나 성공(Pass@k)은 의미가 전혀 다르다. AIME 92.7%가 Pass@1 기준인지 확인해야 하며, 특히 수학 벤치마크에서 Pass@1 기준 수치가 더 보수적이고 신뢰할 수 있다. Self-reported 평가의 한계도 있다. DeepSeek 팀이 자체 평가한 수치는 독립 기관의 재현 검증이 필요하며, EleutherAI의 lm-evaluation-harness나 Scale AI의 독립 평가 결과와 비교하는 것이 바람직하다. 프롬프트 민감성 역시 검토 대상이다. 추론 모델은 프롬프트 형식에 따라 성능이 크게 달라질 수 있어, 동일한 모델이라도 프롬프트 엔지니어링에 따라 AIME 점수가 10~20% 이상 차이 날 수 있다.
이런 방법론적 검토는 R2의 성과를 과소평가하기 위한 것이 아니라, 다른 모델과의 공정한 비교와 실제 배포 시 기대 성능을 현실적으로 설정하기 위한 필수 과정이다.
중국 오픈소스 진영이 만드는 지형도
DeepSeek R2는 중국 오픈소스 AI 생태계의 성숙도를 보여주는 대표적 사례다. Qwen, Baichuan, InternLM 등과 함께 형성된 경쟁 생태계는 서구 모델의 독점적 지위에 도전하고 있다.
R2의 등장이 시장에 미치는 영향은 단순한 모델 경쟁을 넘어선다. 70% 저렴한 API 가격은 스타트업과 연구자들이 고비용 프론티어 모델 대신 R2를 선택하게 만드는 강력한 유인이 되며, 수학 교육·코드 자동화·과학 연구 보조 등 추론 집약적 응용 분야에서의 대안적 선택지로 부상하고 있다. 다만 오픈소스 모델을 기업 환경에 도입할 때는 라이선스 조건, 안전성 평가, 미세조정(fine-tuning) 지원 여부, 커뮤니티 생태계의 성숙도를 종합적으로 고려해야 한다.
DeepSeek R2는 대규모 언어 모델의 추론 성능이 반드시 막대한 훈련 비용과 비례하지 않는다는 사실을 실증적으로 보여줬다. GRPO 기반 강화학습, R1 교사 모델 증류, INT4 양자화의 조합은 32B 규모에서도 프론티어급 수학 추론 능력을 구현하는 데 성공했으며, 이는 효율적 훈련 방법론의 중요성을 재확인시켜준다. 벤치마크 수치는 비판적 시각으로 검토해야 하지만, R2가 AI 접근성의 민주화라는 측면에서 의미 있는 진전을 이뤘음은 부인하기 어렵다.