Gemini 3.1 Pro는 어떻게 ARC-AGI-2 점수를 두 배로 올렸나 — Dynamic Thinking 안을 들여다본다

전 버전보다 벤치마크 점수가 두 배 뛴 모델이 있다면, 그 도약은 어디서 왔을까. 2026년 2월 19일 공개된 Gemini 3.1 Pro가 ARC-AGI-2에서 기록한 77.1%는 전작 Gemini 3 Pro의 두 배를 훌쩍 넘는 수준이다. 25년간 IT 현장에서 수많은 모델 릴리즈를 지켜본 입장에서도, 단일 버전 업데이트에서 추론 벤치마크 점수가 이렇게 급격히 오른 사례는 드물다. 단순한 파라미터 확장이 아니라면, 이 점수는 어떤 설계 변화에서 나왔을까.

암기로는 풀리지 않는 문제

ARC-AGI-2(Abstraction and Reasoning Corpus for Artificial General Intelligence 2)는 François Chollet이 2019년 제안한 ARC-AGI-1의 후속 버전으로, 2025년 5월 공식 기술 보고서가 발표됐다. 이 벤치마크의 설계 원칙은 하나다. 훈련 데이터에서 본 패턴으로는 절대 풀 수 없어야 한다. 일반적인 AI 벤치마크는 학습 데이터와 유사한 문제가 테스트에 등장하면 모델이 높은 점수를 낼 수 있다. 반면 ARC-AGI-2는 격자 기반의 시각 퍼즐 형태로 구성되며, 각 태스크는 입력-출력 쌍의 예시 몇 가지만 주어지고 모델은 그 규칙을 스스로 추론해 새로운 입력에 적용해야 한다. 각 태스크에 필요한 사전 지식이 최소화되어 있어, 지식의 양이 아닌 순수한 추론 능력이 평가된다.

ARC-AGI-2가 ARC-AGI-1보다 훨씬 어려운 이유는 유동적 지능(fluid intelligence)의 더 높은 수준을 요구하기 때문이다. 단순한 패턴 매칭을 넘어, 기호(symbol)에 시각적 패턴 이상의 의미론적 중요성을 부여하고 해석하는 능력이 필요하다. 인간 테스트 참가자들은 통제된 환경에서 평균 60% 수준의 점수를 기록했으며, 테스트의 모든 문제는 최소 2명의 인간이 2번 이내 시도 안에 풀 수 있는 것들로 구성됐다.

⤢✕

77.1%가 가리키는 위치

Gemini 3.1 Pro는 ARC-AGI-2에서 77.1%를 기록했다. Gemini 3 Pro(전작)는 약 36~38% 수준으로 2배 이상의 격차이며, 확장 추론 모드인 Gemini 3 Deep Think는 84.6%, 일반 인간 참가자 평균은 약 60%, 사고 과정 없는 순수 LLM은 사실상 0%에 가깝다. ARC Prize 2025 Kaggle 최고 점수는 24%(Gemini 3 Pro 기반 Poetiq 솔루션은 54%)였다. 특히 주목할 점은 77.1%가 확장 추론 연산(extended deep thinking mode)을 쓰지 않는 프런티어 모델 기준으로 최고 점수라는 사실이다. 이는 모델 자체의 기본 추론 능력이 향상됐다는 뜻이지, 더 많은 계산 시간을 투입한 결과가 아니다. 인간 평균인 60%를 17%포인트 앞지르는 이 수치는 설계 수준의 근본적 변화를 시사한다.

LOW·MEDIUM·HIGH로 늘어난 사고 수준

Gemini 3.1 Pro의 가장 큰 아키텍처 변화 중 하나는 동적 사고(Dynamic Thinking) 메커니즘의 정교화다. 전작인 Gemini 3 Pro는 LOW와 HIGH 두 단계의 사고 수준만 지원했다. Gemini 3.1 Pro는 여기에 MEDIUM 레벨을 추가했다. API에서는 ThinkingConfig 객체 안의 thinking_level 파라미터로 제어한다.

레벨	적합한 용도	특성
LOW	번역, 분류, 빠른 응답이 필요한 작업	최저 지연, 최저 비용
MEDIUM	대부분의 일상적 추론 작업	균형형 (3.1에서 신규 추가)
HIGH	복잡한 추론, 코드 감사, 전략 분석	가장 높은 추론 깊이, Deep Think Mini 활성화

HIGH 레벨에서 활성화되는 Deep Think Mini가 바로 77.1%의 ARC-AGI-2 점수를 달성하는 핵심 모드다. 모델은 태스크 복잡도를 자동으로 감지해 필요한 경우 체인-오브-쏘트(Chain-of-Thought) 추론을 능동적으로 적용한다. 기본값이 HIGH로 설정되어 있으므로, 비용 최적화가 필요한 개발자라면 반드시 명시적으로 레벨을 지정해야 한다.

Gemini 3.1 Pro는 100만 토큰 컨텍스트 윈도우와 함께 텍스트, 이미지, 동영상, 오디오, 코드 저장소 전체를 아우르는 멀티모달 입력을 처리한다. ARC-AGI-2 자체가 격자 기반의 시각 퍼즐이라는 점을 고려하면, 이미지와 추론을 통합적으로 처리하는 멀티모달 능력의 개선이 점수 향상에 직접 기여했을 가능성이 높다. 토큰 효율성(token efficiency)도 개선돼, 동일한 품질의 출력을 더 적은 토큰으로 생성할 수 있다. 이는 비용 절감을 넘어 추론 과정의 핵심 정보 압축 능력이 향상됐다는 신호로 해석할 수 있다.

다른 벤치마크에서도 확인된 성과

ARC-AGI-2 성과는 Gemini 3.1 Pro의 추론 능력 향상을 가장 극적으로 보여주는 지표지만, 다른 벤치마크에서도 유의미한 성과를 기록했다. 대학원 수준 과학 시험에서 역대 최고 점수를 기록한 GPQA Diamond 94.3%, 실제 코딩 능력을 평가하는 LiveCodeBench Pro Elo 2887, 실제 소프트웨어 엔지니어링 태스크를 평가하는 SWE-Bench Verified 80.6%, 다국어 대규모 언어 이해를 보는 MMMLU 92.6%가 그것이다. 특히 GPQA Diamond 94.3%는 대학원 수준의 물리학·화학·생물학 문제를 다루는 벤치마크에서 나온 결과로, 단순한 언어 패턴 매칭을 넘어선 전문 도메인 추론 능력을 보여준다. SWE-Bench Verified 80.6%는 실제 GitHub 이슈를 해결하는 능력을 평가하는 것으로, 개발자 실무 활용 가능성을 직접 시사한다.

경쟁 모델과 나란히 놓았을 때

VentureBeat를 비롯한 주요 기술 미디어들은 Gemini 3.1 Pro의 출시를 두고 "AI 왕좌 탈환"으로 표현했다. 제3자 평가 기관인 Artificial Analysis의 분석 결과, Gemini 3.1 Pro는 출시 시점 기준으로 다시 한 번 가장 강력하고 성능이 뛰어난 AI 모델로 평가받았다. ARC-AGI-2 기준으로 GPT-5.2는 54%(ARC-AGI-2 기준 IntuitionLabs 분석), Claude Opus 4.5 Thinking(64k 토큰)은 37.6%를 기록했다. 여기서 중요한 맥락이 있다. ARC Prize 2025 결과 기준으로, Kaggle 경쟁에서 Poetiq이 Gemini 3 Pro 인스턴스를 활용한 정제 솔루션으로 54%를 달성했는데, 이는 단일 모델 기준이 아닌 앙상블/파인튜닝 접근법의 결과다. Gemini 3.1 Pro가 단일 모델 기본 추론만으로 77.1%를 기록했다는 사실은 그 의미가 더욱 크다.

추론 신뢰성이 현장에 던지는 함의

정보관리기술사로서 25년간 IT 시스템을 설계하고 운영해온 경험에서 볼 때, ARC-AGI-2 점수 향상은 실무적으로 여러 함의를 갖는다. ARC-AGI-2가 평가하는 새로운 규칙 추론 능력은 에이전트가 예상치 못한 상황에서도 올바른 판단을 내릴 수 있는 능력과 직결된다. 자율 웹 리서치, 장기 멀티스텝 태스크, 터미널 코딩 등 에이전틱 시나리오에서 Gemini 3.1 Pro가 전작 대비 현저히 높은 성과를 보이는 것은 이 추론 능력 향상과 무관하지 않다. 추론 능력의 신뢰성이 높아질수록 인간이 검토해야 하는 오류의 빈도가 줄어든다. 더 적은 반복 시도로 더 높은 정확도를 달성하면 전체 API 비용도 낮아지는데, 토큰 효율성 개선과 맞물려 실질 비용 효율은 단순 토큰 단가 비교 이상으로 개선됐다.

85%까지 남은 간격

77.1%라는 점수가 인상적이긴 하지만, ARC Prize 2026의 그랜드 프라이즈 수령을 위한 목표 점수는 85%다. Gemini 3.1 Pro는 이 기준에 약 8%포인트 부족하다. 또한 ARC-AGI-2 기술 보고서에서 밝혔듯, 프런티어 AI 시스템들은 여전히 기호에 시각 패턴 이상의 의미론적 의미를 부여하는 작업에서 한계를 보인다. 모델들은 대칭 확인, 미러링, 변환 등의 시도는 하면서도 기호 자체에 시맨틱한 중요성을 할당하는 데 실패하는 경향이 있다. 순수 LLM이 ARC-AGI-2에서 사실상 0% 수준에 머문다는 사실은 벤치마크의 설계 의도가 정확히 작동하고 있음을 보여주는 동시에, 현재의 성과가 확장 추론 컴퓨트(extended reasoning compute)에 크게 의존하고 있음을 상기시킨다. 추론 없이 동일한 수준의 성과를 내는 효율적인 방법론은 아직 연구 과제로 남아 있다.

전작 대비 2배 이상의 점수 도약은 단순한 파라미터 스케일링의 결과가 아니라, Dynamic Thinking 메커니즘의 정교화·멀티모달 추론 통합·토큰 효율성 개선이 결합된 질적 변화의 산물이다. 개발자와 기업 입장에서는 thinking_level 파라미터를 전략적으로 활용해 비용과 추론 깊이의 균형을 맞추는 것이 실질적인 과제로 남는다.