Claude Opus 4.7 벤치마크: SWE-bench Pro에서 GPT-5.4를 앞선 이유

SWE-bench Verified는 +6.8%p 올랐는데, 더 어려운 SWE-bench Pro는 +10.9%p 올랐다. 2026년 4월 16일, Anthropic이 Claude Opus 4.7을 공식 출시하며 AI 코딩 에이전트의 성능 한계를 다시 한 번 끌어올렸다. SWE-bench Verified 87.6%, SWE-bench Pro 64.3%라는 수치는 단순한 벤치마크 수치가 아니라, 장기 멀티스텝 소프트웨어 엔지니어링 워크플로를 자율적으로 처리하는 에이전틱(Agentic) AI의 실질적 역량 진화를 상징한다.

무엇이 달라졌는가 — 코딩, 비전, 멀티에이전트

Anthropic은 Claude Opus 4.7을 "에이전틱 소프트웨어 엔지니어링에 최적화된 모델"로 정의한다. 전작 Opus 4.6이 긴 코딩 워크플로에서 중간에 멈추거나 반복 루프에 빠지는 문제를 보였다면, Opus 4.7은 이 약점을 정면 돌파했다. 특히 세 가지 축에서 이전 세대를 크게 상회한다.

코딩 에이전트 역량은 SWE-bench Verified 87.6%(Opus 4.6 대비 +6.8%p), SWE-bench Pro 64.3%(+10.9%p), CursorBench 70%(+12%p)다. SWE-bench Pro에서의 도약폭이 Verified보다 크다는 점은 어렵고 미해결인 실제 엔지니어링 문제에서 더 큰 개선이 이뤄졌음을 시사한다. 비전 및 멀티모달에서는 이미지 최대 해상도가 1,568px(1.15MP)에서 2,576px(3.75MP)으로 3배 이상 확장됐다. 컴퓨터 사용 스크린샷 인식 벤치마크인 XBOW Visual Acuity는 54.5%에서 98.5%로 급등했으며, 이는 화면 기반 에이전트 작업에서 실질적인 신뢰성 향상을 의미한다. 멀티에이전트 조율에서는 MCP-Atlas 벤치마크에서 77.3%를 기록하며 Gemini 3.1 Pro(73.9%)와 GPT-5.4(68.1%)를 앞섰다. 복잡한 멀티에이전트 체인에서의 도구 오류율도 약 14% 감소했다.

⤢✕

SWE-bench를 믿어도 될까

SWE-bench는 GitHub의 실제 이슈에서 추출한 소프트웨어 엔지니어링 문제를 AI 모델이 패치로 해결하도록 요구하는 벤치마크다. 현재 SWE-bench 생태계에는 세 가지 주요 변종이 있다. SWE-bench Verified는 OpenAI가 인간 검수를 통해 정제한 500개 문제 서브셋으로 가장 널리 인용되는 기준이다. SWE-bench Pro는 Scale AI가 개발한 더 어렵고 현실적인 문제셋으로, 데이터 오염(contamination)·단순 문제 편향·테스트 케이스 부족 등 Verified의 한계를 보완하기 위해 설계됐다. SWE-bench Multilingual은 다국어 코드베이스 환경에서의 역량을 측정하며 Opus 4.7은 80.5%를 달성했다.

그러나 SWE-bench를 맹목적으로 신뢰하는 것은 위험하다. 여러 메타 연구에서 확인된 구조적 문제가 있기 때문이다.

⤢✕

SWE-Bench Verified에서 상위 모델들이 70%를 넘어서는 반면, SWE-Bench Pro에서는 동일 모델이 23~64% 수준에 머문다는 사실은 두 벤치마크가 측정하는 능력의 층위가 근본적으로 다름을 보여준다. Claude Opus 4.7의 Pro 64.3%는 이 더 어려운 현실적 척도에서 경쟁 모델을 가장 크게 앞서는 수치다.

컨텍스트가 아니라 예산을 관리한다

장기 멀티스텝 워크플로를 안정적으로 실행하려면 단순히 더 큰 컨텍스트 윈도를 제공하는 것 이상의 설계가 필요하다. Claude Opus 4.7은 이 문제를 세 가지 메커니즘으로 접근한다.

1M 토큰 컨텍스트 윈도와 장거리 추론에서는 Amazon Bedrock을 통해 최대 100만 토큰의 컨텍스트를 지원한다. 하지만 Opus 4.7의 차별점은 단순한 윈도 크기가 아니라, 대규모 컨텍스트 전반에 걸쳐 일관성 있게 추론하는 능력 — 컨텍스트 후반부에서 발생하는 성능 저하를 억제하는 설계 — 다. Task Budgets(태스크 예산, 베타)는 에이전틱 루프가 무제한 토큰을 소비하는 문제를 해결하기 위해 도입된 기능이다. 개발자가 루프 전체에 대한 토큰 목표치를 설정하면, 모델이 남은 예산의 카운트다운을 인식하며 저가치 단계를 스킵하고 예산 소진 전에 작업을 우아하게 마무리한다. 이는 에이전트 오케스트레이션에서 비용 예측 가능성과 신뢰성을 동시에 확보하는 중요한 발전이다. 파일 시스템 기반 메모리는 장기 멀티세션 작업에서 이전 세션의 중요한 메모를 파일 시스템에 유지하고 활용하는 능력이 향상된 것으로, 새로운 태스크를 시작할 때 초기 컨텍스트 설정 오버헤드를 줄이고 연속적인 작업 흐름을 지원한다.

⤢✕

스크린샷을 더 정확히 읽는다

Claude Opus 4.7의 비전 역량 강화는 단순한 해상도 업그레이드 이상의 의미를 가진다. 고해상도 이미지 처리를 위해 이미지당 토큰 소비가 최대 4,784 토큰으로 늘어났다(이전 모델 대비 약 3배). 이는 세밀한 시각 정보를 더 정확하게 표현하는 대신 비용과의 트레이드오프를 수반한다.

XBOW Visual Acuity 벤치마크에서의 54.5% → 98.5% 도약은 특히 주목할 만하다. 이 벤치마크는 컴퓨터 사용 에이전트가 화면 스크린샷에서 UI 요소를 식별하고 상호작용하는 능력을 측정한다. 이 수치의 극적인 향상은 차트와 그래프의 세밀한 정보를 정확히 독해하는 대시보드 및 데이터 시각화 분석, 고밀도 텍스트가 포함된 PDF나 스캔 문서에서의 정보 추출 신뢰도 향상인 문서 처리, GUI 자동화 태스크에서의 실질적 안정성 확보인 스크린 기반 에이전트라는 실용적 의미를 가진다.

⤢✕

xhigh라는 새 손잡이

Claude Opus 4.7은 새로운 추론 노력 수준인 xhigh를 도입했다. 기존에 high와 max 사이의 공백을 채우는 이 설정은, Anthropic 내부 데이터에 따르면 코딩 태스크에서 약 75%의 성능을 보이며 max 설정보다 토큰 소비를 크게 줄인다. 에이전틱 워크플로에서 비용 효율과 품질 사이의 균형을 찾는 개발자에게 중요한 선택지다.

자기 검증(Self-Verification) 메커니즘도 주목해야 한다. Opus 4.7은 에이전틱 코딩 컨텍스트에서 태스크를 완료로 선언하기 전에 스스로 테스트를 작성하고 실행하며 실패를 수정한다. 이는 에이전트 오케스트레이터가 별도의 검증 레이어를 운영해야 하는 부담을 줄이고, 멀티스텝 파이프라인에서의 오류 전파를 줄이는 효과가 있다.

기능	Opus 4.6	Opus 4.7
SWE-bench Verified	80.8%	87.6%
SWE-bench Pro	53.4%	64.3%
XBOW Visual Acuity	54.5%	98.5%
최대 이미지 해상도	1.15MP	3.75MP
Effort 레벨	low/medium/high/max	low/medium/high/xhigh/max
Task Budgets	미지원	베타 지원

경쟁 모델과 나란히 놓으면

SWE-bench Pro에서 Claude Opus 4.7(64.3%)은 GPT-5.4(57.7%)를 6.6%p 앞서며 가장 어려운 코딩 벤치마크에서 명확한 우위를 보였다. Gemini 3.1 Pro와의 비교에서도 MCP-Atlas(다중 도구 에이전트 벤치마크)에서 77.3% 대 73.9%로 우세하다.

그러나 Anthropic 자신도 스스로 개발 중인 Mythos 모델이 Opus 4.7보다 뛰어남을 인정했다는 Axios의 보도는 흥미롭다. 이는 Opus 4.7이 현 시점 최선의 공개 모델이지만, Anthropic 내부에서는 이미 다음 단계의 역량을 개발 중임을 시사한다. AI 역량의 발전 속도가 공개 출시 주기를 크게 앞서고 있다는 업계 전반의 패턴이 여기서도 반복된다.

Claude Opus 4.7은 에이전틱 소프트웨어 엔지니어링에서 단순한 점진적 개선이 아닌 구조적 도약을 보여준다. Task Budgets, xhigh Effort, 자기 검증, 파일 시스템 기반 메모리 등 에이전틱 신뢰성을 위한 설계 원리들은 단순히 더 똑똑한 모델을 만드는 것이 아니라 더 신뢰할 수 있고 비용 예측 가능한 에이전트를 만드는 방향으로 LLM 아키텍처가 진화하고 있음을 보여준다.