자기개선 AI 하네스의 성능 귀속 분석 설계

Prime Intellect는 RLM 네이티브 자기개선 하네스인 Prime Agent가 Opus 5에서 ARC-AGI-3 RHAE Best@1 95.5%를 기록했다고 밝혔다. 이는 95.4%로 보고된 인간 전문가 기준선을 넘는 수치다. 같은 벤치마크에서 1% 미만이던 성적이 수개월 사이에 올라간 배경은 새 모델 학습이 아니라 스캐폴딩 재설계였다는 데 있다.

에이전트의 결과를 모델 성능으로만 설명하면, 조직이 직접 개선할 수 있는 실행 하네스의 여지를 놓치기 쉽다. 하네스가 도구 호출, 컨텍스트, 서브에이전트, 메모리, 프롬프트를 어떻게 엮는지에 따라 동일 모델의 결과와 비용은 달라진다. 따라서 다음 투자 대상을 정하려면 모델과 하네스의 기여를 나눠 측정해야 한다.

성능 개선분을 하네스와 모델로 나누는 이유

Prime Agent는 Opus 5에서 ARC-AGI-3 RHAE Best@1 95.5%, 183개 레벨 전체 Best@3 99.97%를 기록했다고 제시했다. 또한 네이티브 하네스보다 낮은 전체 토큰 사용량으로 더 높은 점수를 냈다고 밝혔다. 성능 상승과 토큰 효율 개선이 함께 나타날 수 있다는 사례다.

이득이 특정 벤치마크에만 머물지 않는다는 주장도 제시됐다. OOLONG, LongBenchPro, ManyIH Coding, EmulatorBench 등 장문 컨텍스트 벤치마크에서도 경쟁력을 보였다는 내용이다. Prime Agent는 GitHub에 완전 오픈소스로 공개됐으며, 자체 API 키로 무료 사용이 가능하고 오픈·클로즈드 프런티어 모델 모두와 동작한다.

문제는 성능이 올랐다는 결과만으로는 원인을 알 수 없다는 점이다. 모델 교체와 하네스 개편이 같은 시기에 일어났다면 어느 변경이 효과를 냈는지 판정할 수 없다. 이 상태에서 투자하면 모델 교체가 병목이 아닌데도 벤더 업그레이드에 비용을 쓰거나, 반대로 하네스 개선이 필요한 시점에 모델 변경만 반복할 수 있다.

변경 가능한 하네스를 실험 단위로 분해하기

하네스는 하나의 덩어리로 다루기보다 변경 가능한 구성으로 나눠야 한다. 도구 호출 방식, 컨텍스트 관리 방식, 서브에이전트 구성, 프롬프트 조각, 스킬 모듈, 메모리 정책을 각각 분리하고 요소 사이의 의존도 함께 기록한다.

예를 들어 컨텍스트 변수화가 프로그래매틱 도구 호출을 전제로 한다면 두 요소를 완전히 독립된 변경 대상으로 취급할 수 없다. 이 전제 관계를 명시하지 않으면 단위 실험 결과를 잘못 읽게 된다.

실험에서는 한 번에 한 요소만 바꾼다. 모델, 평가셋, 시드, 실행 환경도 함께 고정해 기록한다. 여러 요소를 동시에 바꾸면 개선은 확인할 수 있어도 기여도를 분리할 수 없고, 고정 조건이 빠지면 재현도 어렵다.

점수만 보지 않는 것도 중요하다. 같은 점수를 더 적은 토큰으로 만드는 변경은 운영 비용 측면에서 더 큰 가치가 있을 수 있다. Best@1과 Best@3처럼 시도 횟수가 다른 지표는 별도 항목으로 남겨야 한다. 비결정성이 있는 구성이라면 반복 실행 횟수와 분산도 같이 보고한다.

⤢✕

평가 기준이 바뀌면 이전 성능 수치도 바뀐다

평가셋은 버전 태그로 고정해야 한다. 평가셋이 조용히 바뀐 상태에서 새 결과와 이전 결과를 비교하면, 하네스나 모델의 개선으로 보이는 차이가 평가 조건의 변화일 수 있다. 평가셋을 변경하는 순간 이전 수치와의 비교 가능성이 끊긴다는 점을 운영 규칙으로 분명히 둘 필요가 있다.

공개 벤치마크와 자사 업무 표본도 같은 평가셋으로 섞지 않는 편이 낫다. 공개 벤치마크는 다른 조직의 수치와 비교하고 일반화 여부를 확인하는 데 쓰인다. 반면 자사 업무 표본은 실제 도입 판단에 더 직접적인 근거가 된다.

최소 구성으로는 공개 벤치마크 하나와 자사 업무 표본 하나를 둘 수 있다. 공개 벤치마크만으로는 실무 적합성을 판정할 수 없다. 표본 규모 역시 점수 차이가 통계적으로 구분되는 수준으로 잡아야 하며, 소수 표본에서 나타난 몇 퍼센트 차이는 노이즈일 수 있다.

자기수정 하네스는 측정 중에 멈춰야 한다

프롬프트, 스킬, 메모리를 스스로 수정하는 하네스는 개선 속도를 높일 수 있다. 실행에서 관측한 실패를 즉시 반영하고, 사람이 떠올리지 못한 미세 조정을 찾을 여지도 있다. 최소 변경 단위로 수정하는 파이프라인을 두면 변경 폭도 통제할 수 있다.

반대로 자기수정이 켜진 측정은 실행 중 하네스 버전이 바뀌는 측정이 된다. 평가 지표를 높이는 방향으로만 수렴하면서 지표에 없는 속성이 저하될 수 있고, 결과의 재현성도 깨진다.

측정 구간에서는 자기수정을 끄고 운영 구간에서만 허용하는 이원 정책이 적합하다. 자기수정 결과를 다음 실험의 기준 하네스로 승격할지 여부는 별도 판단 대상으로 남긴다. 승격 절차와 승인 주체를 정해 두면 속도와 통제를 분리할 수 있다.

점수 유지가 회귀가 없다는 뜻은 아니다

하네스 변경은 총점이 유지되더라도 일부 과제군을 악화시킬 수 있다. 따라서 결과는 과제별로 분해해 확인해야 한다. 총점만 통과 조건으로 두면 특정 업무 유형의 성능 저하가 가려진다.

토큰 사용량의 급증도 회귀로 취급해야 한다. 점수만 보는 게이트는 비용 회귀를 통과시킨다. 실험별로 변경 요소, 점수 변화, 토큰 변화, 판정 결과를 쌓아 두면 같은 탐색을 반복하지 않고 실패한 변경도 다음 선택의 근거가 된다.

모델 버전, 하네스 커밋, 도구 버전, 실행 환경 이미지는 실험 식별자에 함께 묶는다. 모델 갱신 주기와 하네스 변경 주기를 분리하고, 주기마다 기준 구성을 다시 측정하면 환경 변화로 생기는 기준선 이동도 감지할 수 있다.

투자 대상에 따라 필요한 통제 방식

구분	하네스 개선 투자	상위 모델 교체 투자
향상폭 확보 방식	구성 재설계	가중치 성능 상승
비용 구조	개발 인력	추론 단가 상승
조직 통제 가능성	높음	낮음 (벤더 의존)
토큰 효율	개선 가능	보통 상승
반복 가능성	누적됨	릴리스 대기
필요 역량	시스템 설계	조달·계약

하네스 개선은 조직이 직접 바꿀 수 있는 영역이다. 개선 시점을 스스로 정할 수 있고, 개선분이 누적된다. Prime Agent 사례처럼 점수와 토큰 사용량을 함께 개선할 가능성도 있다. 대신 시스템 설계 역량과 실험·측정 체계에 대한 선행 투자가 필요하며, 잘못 설계한 하네스는 성능을 떨어뜨릴 수 있다.

상위 모델 교체는 코드 변경 없이 전 과제 성능이 오르는 경우가 많고, 필요한 역량도 조달·계약에 가깝다. 다만 추론 단가가 오를 수 있으며 개선 시점은 벤더 릴리스 일정에 묶인다. 새 모델의 향상분이 자사 업무에도 그대로 나타나는지는 결국 평가 체계로 확인해야 한다.

둘은 배타적인 선택지가 아니다. 모델 교체와 하네스 개선의 효과는 곱해질 수 있다. 먼저 기여도를 분리 측정해 어느 쪽이 현재 병목인지 확인한 뒤 투자 순서를 정하는 편이 낫다.

평가와 운영의 역할을 분리하는 체계

평가셋 관리, 실험 실행, 결과 판정은 서로 다른 담당이 맡는 구성이 필요하다. 변경 제안자가 판정까지 담당하면 낙관 편향이 남는다. 회귀 판정 기준값은 실험 전에 합의로 고정한다.

평가셋 변경, 회귀 판정 기준 변경, 자기수정 허용 범위 확대는 승인 대상으로 둔다. 오픈소스 하네스를 채택했다면 상류 변경을 반영하는 주기와 자체 수정분을 관리하는 방식도 규정해야 한다.

이 구조는 소프트웨어 아키텍처와 성능 평가의 원칙을 에이전트 하네스에 적용한 것이다. 구성 요소와 의존성을 드러내고, 통제 변수를 고정한 단위 실험으로 기여를 판별한다. 실패 실험까지 포함한 이력은 조직의 학습 자산이 되며 탐색 중복을 줄인다.

하네스 성능 보고에서 달라질 기준

에이전트 성능 보고는 모델명만 적는 방식에서 벗어나 모델명과 하네스 버전을 함께 적는 방향으로 갈 수 있다. 오픈소스 하네스가 프레임워크 계층으로 자리 잡으면 조직은 모델과 독립적으로 하네스를 선택하게 된다.

토큰 사용량 역시 성능 지표와 같은 비중으로 보고되고, 효율 회귀가 게이트 항목에 포함되는 흐름이 예상된다. 자기수정 하네스에서는 측정 신뢰성을 위해 실행 중 버전을 고정하는 관행도 중요해질 수 있다.

Prime Agent가 ARC-AGI-3에서 1% 미만에서 인간 전문가 기준선 95.4%를 넘는 95.5%까지 올라간 과정은, 성능 개선의 일부가 조직이 직접 다룰 수 있는 스캐폴딩에 있다는 점을 보여준다. 이 이득을 재현하려면 모델과 하네스의 향상분을 나누는 측정 체계가 먼저 필요하다. 한 번에 한 요소만 바꾸고, 평가셋을 고정하며, 측정 구간에서 자기수정을 끄는 규칙이 그 출발점이다.