에이전트 벤치마크 점수와 자체 평가셋을 해석하는 기준

43.3%를 채택 결정으로 바로 읽을 수 없는 이유

Claude Opus 5는 에이전틱 터미널 코딩 벤치마크 Frontier-Bench v0.1에서 43.3%를 기록했고, 이전 세대 Opus 4.8의 21.1%보다 두 배 이상 높은 결과가 제시됐다. 세대 간 개선 폭을 보여주는 수치인 것은 맞다. 동시에 절반 이상의 과제에서 실패했다는 뜻이기도 하다.

이 차이는 도입 판단에서 중요하다. 상대적 향상은 모델 발전을 설명하는 데 유용하지만, 자동으로 맡길 업무의 범위는 절대 성공률을 기준으로 정해야 한다. 43.3%는 사람 검토 없는 완전 자동화보다 사람이 검토하는 초안 생성에 더 맞는 신호다.

Frontier-Bench v0.1은 Terminal-Bench 2.1의 후속으로, 소프트웨어 공학·머신러닝·보안·데이터 과학·시스템 관리·웹 개발·파일 조작의 7개 영역, 74개 과제를 다룬다. 다중 파일 변경, 디버깅, 명세 기반 기능 구현처럼 실제 작업에 가까운 유형을 포함한다. 다만 공개 벤치마크의 과제 분포가 조직 저장소의 업무 분포와 같다는 보장은 없다.

에이전트 점수는 모델만의 결과도 아니다. 도구 세트, 하네스 구성, 허용 재시도 횟수, 시간 제한이 바뀌면 동일 모델의 결과도 달라진다. 공개 리더보드 1위라는 이유만으로 도입 모델을 정하거나, 자체 평가를 단 한 번 실행한 결과로 끝내는 방식은 모두 위험하다.

운영 조건을 담는 평가 하네스

평가는 모델·도구 세트·프롬프트·실행 환경을 하나의 하네스 정의로 묶는 데서 시작한다. 하네스에 버전을 부여하지 않으면 점수 변화가 모델에서 비롯된 것인지, 실행 조건 변경의 결과인지 구분할 수 없다.

평가용 구성은 실제 운영 환경과 최대한 같아야 한다. 평가에서만 제공되는 도구는 운영 성능을 예측하지 못한다. 실행 환경도 격리해야 한다. 평가가 실제 저장소를 변경하면 다음 실행의 시작 상태가 오염된다.

태스크는 조직에서 실제 발생했던 일을 바탕으로 만든다. 이슈와 PR 이력은 그 원천이 된다. 각 태스크에는 시작 상태, 목표, 성공 판정 스크립트를 함께 보관한다. 판정 스크립트가 없으면 자동 반복 실행 자체가 어렵고, 판정 코드가 작업 대상에 포함되면 에이전트가 채점 기준을 바꿀 수 있어 평가 의미가 사라진다.

도구 목록도 고정 대상이다. 도구 하나의 추가만으로 점수가 크게 달라지는 일이 흔하므로, 변경이 생기면 하네스 버전을 올린다. 위험한 도구는 평가 환경에서도 제한해야 한다. 평가에서 허용한 행동은 운영에서도 허용될 가능성이 높기 때문이다.

성공 여부는 테스트 통과, 정적 검사 통과, 산출물 형식 준수를 조합해 판단한다. 하나의 조건만 두면 우회 가능한 종료 조건이 된다.

⤢✕

태스크와 실행 결과를 운영 지표로 바꾸기

태스크 스위트의 영역별 비중은 조직 업무 분포를 따라야 한다. 공개 벤치마크의 비중을 그대로 가져오면 대표성이 낮아진다. 표본에는 빈도가 높은 작업뿐 아니라 실패 비용이 큰 작업도 넣는다. 처음부터 큰 스위트를 만들기보다 판단에 필요한 최소 수준에서 출발하고, 결과 편차를 보며 늘리는 편이 유지 가능하다.

각 태스크는 여러 번 실행하고 성공률의 분산을 측정한다. 평균이 같더라도 편차가 큰 구성은 운영 결과를 예측하기 어렵다. 실행이 끝날 때마다 초기 상태를 완전히 복원해야 하며, 잔여 상태가 남으면 다음 실행이 부당하게 유리해진다.

성공률만으로는 성공했지만 열 배 비싼 구성을 선택할 수 있다. 태스크당 토큰 소비, 소요 시간, 재시도 횟수도 함께 기록해야 한다. 실패한 실행의 비용 역시 총비용에 포함한다. 성공률이 조금 높아도 실패 비용이 큰 구성은 전체 비용에서 불리할 수 있다.

결과는 하네스 버전과 모델 버전별로 시계열 비교한다. 절대 점수보다 이전 구성과 비교한 변화가 의사결정에 직접 쓰인다. 실패한 태스크 목록도 함께 보고해야 한다. 어떤 유형에서 실패하는지가 자동 위임 범위를 정하는 근거가 된다.

공개 점수와 자체 검증의 역할을 나누기

구분	공개 리더보드 준용	자체 평가셋 검증
준비 비용	없음	스위트 구축 필요
업무 대표성	낮음	높음
오염 위험	존재	낮음
하네스 일치	불일치	운영 구성 반영
외부 비교	가능	불가
채택 예측력	제한적	높음

공개 리더보드는 준비 비용 없이 다수 모델을 비교할 수 있으므로 후보 축소에 적합하다. 반면 과제 분포와 하네스가 조직의 운영 조건과 다르면, 도입 후 성능을 예측하는 자료가 되기 어렵다. 자체 평가셋은 업무 대표성과 하네스 일치를 확보해 예측력이 높지만, 스위트 구축과 판정 스크립트 작성·유지 비용이 계속 든다.

공개 점수로 후보를 3개 이하로 좁힌 뒤 자체 평가셋에서 최종 결정을 내리는 2단계 구성이 현실적이다. 공개 순위와 자체 결과의 순서가 다르면 그 사실도 기록한다. 이런 불일치가 반복된다면 조직 업무 분포와 벤치마크 과제 분포의 차이를 보여주는 정보다. 벤더 발표 수치는 하네스와 재시도 정책이 같을 때만 비교 대상이 된다.

성공률은 1차 문턱으로 사용하고, 문턱을 넘은 구성 사이에서는 비용과 지연으로 순위를 매길 수 있다. 복합 지표는 운영에 가까운 판단을 돕지만 지표별 가중치가 조직의 선호를 드러내므로 합의가 필요하다. 단계적으로 적용하면 가중치 논쟁을 줄일 수 있다.

실패를 개선 항목으로 분해하는 방식

실패는 계획 오류, 도구 사용 오류, 컨텍스트 부족, 종료 조건 오판으로 나눠 기록한다. 총 성공률만으로는 무엇부터 고쳐야 하는지 알 수 없다. 특히 컨텍스트 부족으로 분류된 실패는 모델 교체보다 컨텍스트 조립 개선의 대상이다.

재평가는 모델 신버전 공개, 하네스 변경, 도구 추가, 저장소 구조의 대규모 변경 시 수행한다. 정기 주기만 두면 변경 직후 발생한 회귀를 놓친다. 정기 실행과 트리거 기반 실행을 함께 둬야 한다.

평가 스위트와 판정 스크립트에는 소유자를 지정하고 변경 이력을 관리한다. 자동 위임 범위도 평가 결과와 연결해 문서화한다. 성공률이 낮은 유형을 자동 실행에 포함한다면 그 판단 근거를 남겨야 한다.

평가 체계에서 확인할 품질 조건

벤치마크는 표본 조사다. 평가 과제가 조직 업무를 대표하지 못하면 결과도 대표하지 못한다. 업무 분포와 과제 분포의 일치가 대표성의 핵심 조건이며, 하네스 버전 관리는 측정 조건을 통제하는 장치다.

판정 스크립트를 피평가 대상과 분리하는 일은 시험 설계의 기본과 같다. 채점 기준을 응시자가 수정할 수 있으면 시험은 성립하지 않는다. 과제 집합의 난이도 분포도 살펴야 한다. 성공률이 0% 또는 100%인 태스크는 변별력을 잃으므로 교체 대상이다.

다회 실행으로 신뢰구간을 확보하고, 두 구성의 신뢰구간이 겹치면 차이가 없다고 판단하는 규칙을 명문화한다. 실패 유형별 집계는 층화 분석에 해당한다. 총 성공률만으로는 개선 우선순위를 도출할 수 없다.

2026년에 달라질 평가 리포트

에이전트 벤치마크는 단일 성공률에서 비용·지연·재시도율을 포함하는 복합 리포팅으로 이동하는 흐름에 있다. 하네스 구성 공개는 결과 신뢰의 전제 조건으로 요구되고, 미공개 결과의 인용 가치는 낮아지는 방향이다.

조직 저장소 기반 자체 평가 스위트 구축을 지원하는 도구가 확산되면서 평가 자체가 자산으로 축적될 수 있다. 절대 성공률이 절반 이하인 구간에서는 완전 자동화보다 사람 검토 배치가 표준 운영 형태로 정착할 전망이다.

43.3%와 21.1%는 같은 결과를 서로 다른 목적으로 읽게 한다. 배수는 세대 개선을 설명하고, 절대값은 자동 위임 범위를 정한다. 공개 점수는 후보를 좁히는 데 쓰고, 채택은 조직 저장소를 반영한 자체 스위트에서 다회 실행 편차와 태스크당 비용을 확인한 뒤 결정해야 한다.