Claude Opus 4.7, LMSYS 1위와 SWE-bench 87.6%가 가리키는 것

2026년 4월 16일, Anthropic이 Claude Opus 4.7을 공개하며 에이전틱 AI 코딩 분야의 새로운 기준을 제시했다. LMSYS Chatbot Arena에서 GPT-5.4와 Gemini 3.1 Pro를 제치고 1위를 기록했으며, SWE-bench Verified에서 87.6%라는 점수를 냈다.

실사용자 평가와 벤치마크에서 동시에 1위

⤢✕

Claude Opus 4.7은 단순한 버전 업그레이드를 넘어, 에이전틱 소프트웨어 엔지니어링 작업에서 AI 모델이 어떤 수준까지 자율적으로 동작할 수 있는지를 새롭게 정의하는 모델이다. Anthropic의 이번 릴리스는 코딩 능력·에이전틱 추론·비전 처리 성능에서 동시 도약을 이뤘다는 점이 특징이다.

LMSYS Chatbot Arena는 크라우드소싱 방식의 블라인드 평가 플랫폼으로, 수십만 건의 실사용자 대화를 기반으로 Elo 점수를 산출한다. 학술 벤치마크와 달리 실제 사용 패턴을 반영하기 때문에, 이 순위는 단순 능력치가 아니라 사용자 선호도와 실용성을 종합적으로 측정한다는 점에서 의미가 크다. Claude Opus 4.7이 GPT-5.4와 Gemini 3.1 Pro를 앞선 것은 특히 코딩·수학·추론 카테고리에서 두드러진 우위를 바탕으로 한다. Anthropic은 이번 모델에서 명령어 추종(instruction-following) 정확도를 대폭 개선했고, 장문 작업에서의 지속성(resilience)을 높여 복잡한 실사용 시나리오에서의 만족도를 끌어올렸다.

Verified냐 Pro냐, GitHub 이슈 해결 능력을 재는 법

SWE-bench는 실제 GitHub 이슈를 AI 에이전트가 자율적으로 해결하는 능력을 평가하는 벤치마크다. Verified 버전은 인간이 검증한 고품질 문제들로 구성되고, Pro 버전은 더 복잡하고 장기적인 코드베이스 작업을 요구한다.

⤢✕

모델	SWE-bench Verified	SWE-bench Pro	Terminal-Bench 2.0
Claude Opus 4.7	87.6%	64.3%	69.4%
Claude Opus 4.6	80.8%	55.2%	61.0%
GPT-5.4	82.1%	57.7%	63.5%
Gemini 3.1 Pro	79.3%	53.8%	60.2%

Opus 4.7의 SWE-bench Verified 87.6%는 전작 대비 6.8%p 향상된 수치로, 단순한 점진적 개선이 아닌 구조적 역량 향상을 시사한다. SWE-bench Pro에서의 64.3%는 GPT-5.4의 57.7%를 6.6%p 앞서며, 장기적 코드베이스 이해와 수정 능력에서 실질적 격차가 있음을 보여준다. 터미널 환경에서의 실제 시스템 운영 작업을 평가하는 Terminal-Bench 2.0에서는 패키지 설치, 환경 설정, 빌드 파이프라인 구성, 디버깅 같은 DevOps 친화적 작업이 포함되는데, Opus 4.7의 69.4% 달성은 단순 코드 작성을 넘어 실제 개발 환경 운용 능력에서도 우위를 보여준다.

추론은 14% 빨라지고, 도구 오류는 1/3로

에이전틱 코딩의 핵심 병목 중 하나는 복잡한 작업을 여러 단계로 분해하고 각 단계에서 올바른 도구를 선택하는 능력이다. Opus 4.7은 이 부분에서 이전 버전 대비 14% 향상된 성능을 기록했고, 도구 호출 오류는 1/3 수준으로 줄었다.

⤢✕

이미지 해상도를 3배로 올린 이유

Opus 4.7은 이미지 처리 해상도를 기존 대비 3배로 향상했다. UI 스크린샷 분석, 다이어그램 해석, 코드 스캔 이미지 처리 등 시각적 정보를 활용한 에이전틱 작업의 정확도를 크게 높이는 변화로, 복잡한 UI 테스트 자동화나 레거시 문서 디지털화 작업에서 실질적인 생산성 향상이 기대된다고 알려졌다.

명목 가격은 그대로, 실효 비용은 낮아진다

Claude Opus 4.7은 Anthropic API와 Amazon Bedrock을 통해 제공된다. Anthropic은 이번 모델에서 토크나이저 효율성을 개선해, 동일한 입력 텍스트에 대해 더 적은 토큰을 소비하도록 최적화했다. 명목 토큰 가격이 변경되지 않더라도 실효 비용이 낮아지는 효과가 있다는 설명이다.

Amazon Bedrock을 통한 제공은 AWS 인프라를 쓰는 기업 고객에게 VPC 내 격리된 환경에서의 모델 호출, IAM 기반 접근 제어, CloudWatch 연동 모니터링 같은 엔터프라이즈 보안 요건을 충족하는 방식으로 Opus 4.7을 도입할 수 있게 한다.

벤치마크 점수보다 완료율을 보는 시대로

⤢✕

Opus 4.7의 등장은 프론티어 LLM을 선택하는 기준에 대한 재고를 요구한다. 단일 벤치마크 점수보다 실제 에이전틱 워크플로우에서의 성공률, 도구 오류 빈도, 장기 작업 완료율이 더 중요한 지표로 부상하고 있다. 에이전틱 코딩 파이프라인을 구축하는 팀이라면 단순 코드 생성 능력보다 복잡한 멀티스텝 작업에서의 일관성, 오류 복구 능력, 명령어 추종 정확도를 기준으로 모델을 평가해야 한다는 것이 이 릴리스가 남기는 시사점이다.

Claude Opus 4.7은 LMSYS 1위, SWE-bench Verified 87.6%, Terminal-Bench 2.0 69.4%라는 벤치마크에서 동시에 프론티어 성능을 달성하며 에이전틱 AI 코딩의 새 장을 열었다. 다단계 추론의 14% 향상과 도구 오류 1/3 감소는 실제 개발 워크플로우에서 체감 가능한 생산성 차이로 이어질 것이다. Amazon Bedrock과 Anthropic API를 통한 광범위한 가용성으로, 엔터프라이즈 환경에서의 에이전틱 코딩 자동화 도입이 가속화될 전망이다.