Claude Opus 4.8 에이전틱 코딩 성능과 벤치마크 해석

69.2%라는 점수를 어떻게 읽어야 하는가

Anthropic이 2026년 5월 28일 공개한 Claude Opus 4.8은 Opus 4.7보다 에이전틱 코딩, 도구 사용 추론, 지식업무 평가에서 높은 점수를 기록했다. SWE-bench Pro는 64.3%에서 69.2%로, 도구 사용 다분야 추론은 54.7%에서 57.9%로 올랐다. GDPval-AA 기반 지식업무 Elo도 1753에서 1890으로 상승했다.

벤치마크	Opus 4.7	Opus 4.8	변화
SWE-bench Pro	64.3%	69.2%	+4.9%p
SWE-bench Verified	87.6%	88.6%	+1.0%p
SWE-bench Multilingual	80.5%	84.4%	+3.9%p
도구 사용 다분야 추론	54.7%	57.9%	+3.2%p
지식업무 Elo (GDPval-AA)	1753	1890	+137

SWE-bench Pro는 공개된 레퍼런스 답안이 없는 활성 유지 관리 저장소에서 문제를 가져오며, 단일 파일이 아닌 멀티파일 diff를 요구한다. 사전 학습 데이터에서 해답을 기억하는 방식이 통하기 어려워 SWE-bench 변형 가운데 가장 까다로운 평가로 꼽힌다. 이 조건에서 나온 69.2%는 실제 저장소를 탐색하고 여러 파일을 고쳐 문제를 해결하는 역량을 반영한다.

지식업무 평가에서는 Claude Opus 4.8이 1890점으로 GPT-5.5의 1769점보다 121점 높았다. 같은 기준에서 Gemini 3.1 Pro는 1314점을 기록했다.

⤢✕

하지만 이 순위를 전체 에이전틱 역량의 서열로 받아들이기는 어렵다. Terminal-Bench 2.1에서는 GPT-5.5가 78.2%를 기록해 Claude Opus 4.8의 74.6%를 앞선다. 지식업무, 저장소 코드 수정, 터미널 작업은 서로 다른 능력을 측정한다.

점수는 모델만으로 만들어지지 않는다

에이전틱 코딩 평가는 모델이 코드를 생성할 수 있는지만 확인하지 않는다. 어떤 태스크를 주는지, 어떤 하네스와 도구를 연결하는지, 컨텍스트를 어떻게 관리하는지가 최종 결과에 함께 반영된다.

⤢✕

2026년 벤치마크 분석 연구에서는 동일한 모델도 하네스 선택에 따라 30~50%p의 점수 차이를 보일 수 있다고 지적했다. 따라서 Claude Opus 4.8의 69.2% 역시 특정 하네스 구성에서 얻은 결과로 읽어야 한다. 모델 이름과 점수만으로 실무 성능을 예측하면 태스크 구성, 도구 인터페이스, 재시도 정책 같은 변수를 놓치게 된다.

평가 무결성이 흔들리는 지점

2026년 버클리 RDI 연구는 SWE-bench Verified, Terminal-Bench, WebArena, OSWorld, GAIA, FieldWorkArena를 포함한 8개 주요 에이전트 벤치마크를 조사했다. 그 결과 실제 태스크를 해결하지 않고도 거의 만점에 가까운 점수를 얻을 수 있는 취약점이 발견됐다.

문제는 여러 경로에서 발생한다. 레퍼런스 답안이 학습 데이터에 유출될 수 있고, 비정제된 eval()을 통해 실행 환경에 답안을 직접 주입할 수도 있다. LLM 판별자가 프롬프트 주입에 노출되거나, 채점 함수가 정확성을 확인하지 않고 형식만 검사하는 경우도 있다.

SWE-bench Pro는 활성 유지 관리 저장소에서 실시간으로 가져온 멀티파일 문제를 사용해 사전 학습 데이터 오염을 차단한다. 결과물을 판별자의 판단이 아니라 실제 실행 가능 여부로 채점하므로 판별 LLM을 조작하는 방식도 통하기 어렵다. 이런 설계가 69.2%라는 결과에 의미를 부여한다.

도구를 고르고 결과를 이어 붙이는 능력

도구 사용 다분야 추론은 단순한 코드 생성과 다른 역량을 측정한다. 모델은 먼저 어떤 도구를 어떤 순서로 호출할지 정해야 한다. 이어서 각 도구의 출력을 추론 과정에 통합하고, 여러 단계가 진행되는 동안 작업 맥락을 유지해야 한다.

Claude Opus 4.8의 점수는 54.7%에서 57.9%로 3.2%p 상승했다. 이는 모델이 에이전틱 파이프라인 안에서 도구 오케스트레이터 역할을 수행하는 능력이 개선됐음을 나타낸다. 다만 실무 성능은 모델 점수뿐 아니라 제공한 도구의 수, 도구별 지침, 결과 저장 방식에도 영향을 받는다.

에포트 모드와 Fast Mode의 배치 기준

Opus 4.8에는 이전 버전에 없던 에포트 모드(Effort Mode)가 도입됐다. 태스크 복잡도에 따라 모델이 사용하는 계산 자원을 동적으로 조절해 단순 요청에는 빠르게 응답하고, 복잡한 에이전틱 코딩 작업에는 더 깊은 추론을 할당하는 기능이다.

Fast Mode도 추가됐다. Opus 4.7 대비 약 3배 저렴한 비용으로 빠르게 응답하는 모드다. 표준 모드 가격은 입력 토큰 $5/백만, 출력 토큰 $25/백만으로 Opus 4.7과 같다.

⤢✕

Opus 4.8은 Anthropic이 출시한 가장 정직한 AI 모델로 소개됐다. 다가오는 Mythos 모델의 정렬 기법이 선제적으로 반영됐다는 설명이다. 코딩 에이전트가 불확실성을 정확히 표현할 수 있다면, 후속 검증과 오류 처리 로직도 그 신호를 활용할 수 있다.

실무 파이프라인에서 성능을 끌어내는 구조

배포 설계의 출발점은 작업을 한 모델에 일괄 전달하지 않는 것이다. 단일 파일 수정이나 명확한 스펙이 있는 버그 수정은 Fast Mode로 보내고, 아키텍처 변경이나 멀티모듈 리팩토링은 Deep Mode로 라우팅할 수 있다.

⤢✕

검증 레이어는 이 구조의 안전망이다. SWE-bench Pro가 실제 실행 결과로 채점하듯 실무에서도 단위 테스트, 통합 테스트, 린터를 자동으로 실행해야 한다. 실패한 결과는 재시도 루프로 보내고, 통과한 변경만 PR이나 커밋으로 연결한다.

도구는 태스크에 필요한 범위로 제한하는 편이 낫다. 선택지가 지나치게 많으면 추론 과부하가 생겨 성능이 떨어질 수 있다. 시스템 프롬프트에는 각 도구의 사용 조건과 한계를 적고, 파일 시스템 접근과 코드 실행 도구의 우선순위도 명시한다.

장기 작업의 도구 실행 결과는 컨텍스트 윈도우에만 남기지 않고 외부 저장소에 캐싱할 수 있다. 이렇게 구성하면 토큰 소모를 줄이면서 중단된 작업의 재시작 복구도 지원할 수 있다.

에이전틱 코딩 작업의 약 40~60%는 문서 수정, 단일 함수 버그 수정, 포맷팅처럼 비교적 단순한 태스크가 차지한다. 이 작업을 Fast Mode로 처리하면 표준 모드 대비 약 3배의 비용을 절감할 수 있다.

작업 유형별로 달라지는 모델 선택

2026년 5월의 플래그십 LLM 경쟁에는 모든 평가를 석권한 단일 모델이 없다. Claude Opus 4.8은 SWE-bench 계열과 GDPval-AA에서 앞서지만, Terminal-Bench 2.1에서는 GPT-5.5가 선두다.

평가 항목	1위	점수	2위
SWE-bench Pro (에이전틱 코딩)	Claude Opus 4.8	69.2%	GPT-5.5 58.6%
Terminal-Bench 2.1 (터미널 작업)	GPT-5.5	78.2%	Claude Opus 4.8 74.6%
지식업무 Elo (GDPval-AA)	Claude Opus 4.8	1890	GPT-5.5 1769
SWE-bench Verified	Claude Opus 4.8	88.6%	-
SWE-bench Multilingual	Claude Opus 4.8	84.4%	-

SWE-bench 유형의 코드 생성과 수정이 중심이라면 Claude Opus 4.8이 유리할 수 있다. 터미널 자동화가 주된 작업이라면 GPT-5.5가 더 적합할 수 있다. 하나의 벤치마크를 모델 전체의 우열로 확대하기보다 실제 파이프라인의 태스크 분포에 맞춰 선택해야 한다.

Anthropic은 Opus 4.8의 표준 모드 가격을 Opus 4.7과 같은 입력 $5/백만, 출력 $25/백만으로 정했다. 동일한 가격에서 성능을 높여 기존 Opus 4.7 사용자의 마이그레이션 장벽을 낮추고, 비용을 기준으로 GPT-5.5나 Gemini 시리즈를 검토하던 개발팀에 다른 선택지를 제시한 셈이다.

VentureBeat는 Anthropic이 Opus 4.8을 공개하면서 수 주 내 Mythos 출시를 예고했다고 보도했다. Mythos는 Opus 4.8에 적용된 정직성 개선을 넘어 더 높은 수준의 정렬과 에이전틱 역량을 목표로 하며, 출시 이후 경쟁 구도가 다시 바뀔 가능성이 있다.

앞으로 벤치마크가 풀어야 할 문제

먼저 하네스와 모델 사이의 상호작용을 표준화해야 한다. 동일 모델에서 30~50%p의 차이가 발생하면 결과의 재현성과 모델 간 비교 가능성이 떨어진다. 2026년 학계에서 통일된 에이전트 평가 프레임워크 논의가 진행되는 이유다.

평가 기간도 실제 개발 업무와 거리가 있다. 현재 벤치마크 대부분은 비교적 단기적인 태스크를 다룬다. 수주에 걸쳐 코드베이스를 지속적으로 관리하는 능력을 측정하는 벤치마크는 아직 초기 단계다.

다중 에이전트 협업도 남은 과제다. 단일 에이전트로 SWE-bench Pro 69.2%를 기록한 Claude Opus 4.8이 여러 에이전트를 조율하는 환경에서 어떤 성능을 보일지는 별도의 평가가 필요하다. 이를 측정하는 벤치마크 설계는 2026년 하반기의 주요 연구 과제가 될 것으로 보인다.

벤치마크를 배포 판단으로 연결하려면

Claude Opus 4.8의 SWE-bench Pro 69.2%, 도구 사용 다분야 추론 57.9%, 지식업무 Elo 1890은 에이전틱 코딩 역량의 향상을 보여준다. 에포트 모드와 Fast Mode는 작업 복잡도에 따라 추론 깊이와 비용을 나누는 배포 구조를 가능하게 한다.

다만 점수를 모델 고유의 성능으로만 보면 안 된다. 하네스 선택, 평가 무결성, 도구 구성, 실행 기반 검증이 결과에 함께 작용한다. 실무에서는 벤치마크 순위를 그대로 옮기기보다 작업 유형에 맞춰 모델과 모드를 배치하고, 테스트를 통과한 변경만 후속 단계로 넘기는 구조가 필요하다.