검증 가능한 산출물로 설계하는 AI 모델 능력 평가 체계

점수 대신 검증 가능한 답으로 모델 능력을 보이는 방식

OpenAI는 차세대 모델 Astra의 존재를 벤치마크 점수가 아닌 수학·이론전산 미해결 문제 10건의 해답 공개로 알렸다. 해당 문제들은 최소 10년 이상 진전이 없던 문제였고, 외부 전문가는 해답 자체를 두고 옳고 그름을 독립적으로 확인할 수 있다.

벤치마크 점수는 채점 기준의 해석, 하네스 구성, 도구 세트, 학습 데이터 오염 가능성에 영향을 받는다. 반면 검증 가능한 산출물은 결과물을 직접 판정 대상으로 삼는다. 조직 내부의 모델 평가도 이 원리를 가져올 수 있다. 자동으로 정답을 판별할 수 있는 업무를 골라 평가셋을 만들면, 주관적 채점에 기대지 않고 모델 교체를 판단할 수 있다.

다만 자동 채점만 가능한 문제를 모으면 쉬운 과제에 쏠려 변별력이 약해질 수 있다. 판정기, 오염 통제, 난이도 계층, 반복 실행, 이력 보존은 함께 설계해야 한다.

평가 가능한 업무를 먼저 가려낸다

평가셋에는 정답이 유일하거나 기계적으로 검증할 수 있는 업무를 우선 넣는다. 코드 컴파일과 테스트 통과, 스키마 준수, 수치 계산, 형식 변환, 규칙 기반 분류가 여기에 해당한다.

판정이 쉽다는 이유만으로 평가 대상이 되는 것은 아니다. 실제 업무에서 차지하는 비중이 낮다면, 그 결과는 모델 채택 판단을 대표하지 못한다. 판정 가능성과 업무 대표성을 함께 봐야 한다.

문체, 적절성, 맥락 판단처럼 자동 판정이 어려운 업무는 사람 평가 트랙으로 분리한다. 자동화를 위해 기준을 억지로 단순화하면 측정 대상이 바뀌게 된다.

검증기는 답을 만든 모델과 분리한다

검증기는 모델과 독립적으로 동작해야 한다. 동일한 모델이 답변과 채점을 모두 담당하면 검증이 아니라 자기 확인이 된다.

검증기를 운영하기 전에는 오탐·미탐률을 측정해야 한다. 판정기가 틀리면 이후의 모델 비교와 채택 판단도 모두 왜곡된다. 같은 답에 대해 다른 결과를 내지 않도록 결정성도 확보해야 재현성 측정이 가능하다.

부분 점수가 필요한 태스크와 전부 아니면 전무인 태스크도 구분한다. 다항목 추출처럼 각 항목의 정오가 분명한 과제에서는 부분 점수가 변별력을 높인다. 코드 실행 성공 여부처럼 이분법이 자연스러운 경우에는 단일 정답 판정이 맞는다. 부분 점수 산식은 문서화해 고정해야 과거 결과와 비교할 수 있다.

비공개 평가셋과 난이도 계층을 같이 관리한다

평가셋은 비공개로 유지하고, 외부 API 요청에 어떤 내용이 포함되는지도 관리해야 한다. 평가 문제를 그대로 상용 API에 보내는 순간 데이터 오염 통제 범위를 벗어난다.

조직 내부 데이터로 문제를 만들면 공개 코퍼스 오염 가능성은 크게 낮아진다. 이때 개인정보와 기밀 처리 규칙도 함께 적용해야 한다. 특정 문제에서만 비정상적으로 높은 정답률이 반복되면, 데이터 오염이나 문제 자체의 결함을 의심할 신호가 된다.

난이도는 쉬움·보통·어려움으로 나누고 계층별 정답률을 따로 집계한다. 총점만 보면 어려운 구간에서 발생한 개선이나 퇴행이 묻힌다. 기존 모델의 정답률을 계층 경계로 삼으면 주관적 난이도 판정보다 재현 가능한 기준을 만들 수 있다.

⤢✕

반복 실행과 이력이 비교의 기반이 된다

비결정적 모델은 한 번의 실행 결과만으로 비교하기 어렵다. 같은 문제를 여러 번 실행해 정답률의 분산을 측정해야 하며, 분산이 큰 문제는 별도로 표시해야 한다. 평균이 같아도 편차가 큰 모델은 운영에서 다르게 다뤄야 한다.

결과에는 모델 버전, 프롬프트 버전, 도구 세트, 실행 일시, 문제 버전을 함께 남긴다. 어느 하나라도 없으면 성능 변화의 원인을 분리할 수 없다. 원본 응답까지 보관하면 판정 규칙을 나중에 바꿔도 재채점할 수 있다.

사내 검증 가능 태스크를 목록화할 때는 부서별 반복 업무를 조사하고, 업무 빈도와 실패 비용을 같이 기록한다. 이 정보는 평가셋의 비중을 정하는 가중치가 된다. 목록은 자동화 후보 목록과도 크게 겹친다.

판정기 변경 시에는 사람이 채점한 표본과 결과를 대조해 일치율을 확인하고, 과거 표본으로 회귀 검증한다. 판정 기준이 조용히 바뀌면 추세 분석은 무너진다.

공개 벤치마크와 자체 평가는 역할이 다르다

구분	자동 판정 태스크 평가	사람 채점 주관 평가
재현성	높음	평가자 간 편차
회당 비용	낮음	높음
대상 범위	판정 가능 업무로 제한	전 업무
반복 실행	용이	부담 큼
준비 부담	검증기 구현 필요	채점 가이드 필요
결과 신뢰	검증기 품질에 종속	평가자 역량에 종속

자동 판정 평가는 회당 비용이 낮아 다회 실행과 분산 측정이 가능하고, 평가자 간 편차 없이 시계열 비교를 할 수 있다. 대신 판정 가능한 업무에 범위가 제한되며 검증기 결함은 곧 결과 왜곡으로 이어진다. 사람 채점은 문체·적절성·맥락처럼 자동화하기 어려운 축을 다룰 수 있지만, 반복 실행 부담이 크고 평가자가 바뀌면 기준도 흔들릴 수 있다.

두 트랙을 병행하되 모델 교체의 1차 게이트는 자동 판정에 두고, 사람 평가는 최종 확인으로 배치할 수 있다. 이 구성은 비용과 신뢰 사이의 균형점이 된다.

공개 벤치마크는 준비 비용 없이 외부 비교가 가능하고 커뮤니티 검토를 거쳤다는 장점이 있다. 그러나 학습 코퍼스 오염 가능성을 배제하기 어렵고 조직의 업무 분포를 대표하지도 않는다. 비공개 자체 평가셋은 오염 위험이 낮고 업무 대표성이 높지만, 구축·갱신 비용이 들며 외부 결과와 직접 비교하기 어렵다.

공개 벤치마크는 후보를 좁히는 데 사용하고, 채택 결정은 자체 평가셋으로 내리는 구성이 가능하다. 자체 평가셋 보유 여부는 모델 교체 속도를 결정하는 역량이 된다.

평가 기준을 결과보다 먼저 고정한다

평가셋 접근 권한을 제한하고 외부 공유를 막아야 한다. 유출된 평가셋은 다음 세대부터 오염 위험을 안게 된다. 공개용 요약 지표와 비공개 원본을 분리하면 결과는 공유하면서 문제는 감출 수 있다.

문제는 분기 또는 반기 단위로 교체·추가한다. 고정된 평가셋은 시간이 흐를수록 특정 모델에 유리하게 편향될 수 있다. 갱신할 때는 이전 문제 일부를 남겨 시계열 비교 기준을 유지해야 하며, 전면 교체는 추세를 단절시킨다.

벤더 발표 수치와 자체 평가 결과가 다른 방향을 보일 때는 그 차이를 기록한다. 반복되는 불일치는 평가 대표성 문제이거나 하네스 차이의 신호다.

계층별 최소 정답률, 허용 분산, 회귀 금지 항목은 결과를 보기 전에 수치로 정해야 한다. 결과를 확인한 뒤 기준을 만들면 검증은 형식이 된다. 평가셋 소유자와 검증기 소유자도 지정해야 한다. 소유자가 없는 평가 체계는 노후화된다.

평가 체계가 품질 관리와 만나는 지점

정답률이 극단으로 치우친 문항은 모델 간 차이를 드러내기 어렵다. 평가 문항은 난이도와 변별도를 함께 관리해야 하며, 문항 노출은 난이도 하락으로 이어진다. 평가셋 비공개 원칙은 문항 은행 관리의 기본 원리와 닿아 있다.

검증기의 오탐·미탐률 측정은 측정 시스템 분석에 해당한다. 측정 도구를 검증하지 않은 채 측정값을 신뢰할 수는 없다. 채택 기준을 사전에 수치로 정하는 일 역시 합격 판정 기준 사전 설정 원칙의 적용이다.

다회 실행 결과는 분산과 신뢰구간을 확보해야 비교에 사용할 수 있다. 계층별 집계는 층화 분석에 해당하며, 총계만 볼 때 생길 수 있는 심슨의 역설류 오판을 줄인다.

2026년에 보이는 평가 방식의 변화

벤치마크 점수 대신 독립 검증 가능한 산출물로 능력을 제시하는 방식은 프런티어 모델 공개의 한 형태로 자리 잡는 흐름이다. 공개 벤치마크 오염 논란이 반복되면서, 비공개 자체 평가셋 보유는 기업 AI 도입 성숙도의 지표로 인식되는 방향이다.

정답 판정기를 재사용 가능한 사내 자산으로 관리하는 평가 플랫폼 구축도 확산하고 있다. 모델 출시 전 정부 검토 절차가 도입되면서 검증 가능한 능력 증명 자료 요구가 규제 측면에서도 강화되는 흐름이다.

Astra의 사례가 보여 주는 핵심은 특정 문제를 풀었다는 사실보다 능력을 증명하는 형식이다. 조직 내부에서도 정답 판정이 자동화되는 태스크를 중심으로 같은 원리를 적용할 수 있다. 검증기 오탐·미탐률을 먼저 측정하고, 채택 기준을 결과 확인 전에 수치로 정해 두어야 자체 평가 체계가 통과 의례가 되는 일을 막을 수 있다.