길리랩blog

LLM 리더보드 점수와 자체 평가셋으로 모델 선정하기

LLM 리더보드 종합 점수의 한계를 짚고, 도메인 평가셋·회귀 게이트·실사용 피드백으로 모델을 선정하는 방법

2026-08-30 · 최초 발행 2026-07-26

2026년 7월 25일 기준 BenchLM 종합 순위에서는 Claude Opus 5가 85.9/100으로 1위였다. Claude Mythos 5는 83점, Claude Fable 5는 82.8점으로 뒤를 이었다. 295개 모델을 하나의 점수로 정렬한 이 결과는 후보 탐색에는 편리하지만, 실제 업무에서 어떤 모델을 선택할지까지 답해 주지는 않는다.

보도 기준 Claude Opus 5의 점수는 85.88 수준이다. 상위 3개 모델의 격차가 3점 미만인 만큼, 순위만으로 도메인별 성능 우열을 단정하기 어렵다. 모델 선정에는 공개 리더보드의 집계 방식과 조직 내부 평가셋의 역할을 분리해서 볼 필요가 있다.

종합 점수가 만들어지는 방식과 놓치는 영역

BenchLM 종합 점수는 8개 벤치마크 카테고리의 정규화 가중 평균이다. 원점수를 카테고리별로 정규화한 뒤 가중 합산하고, 이를 0~100 스케일의 종합 점수로 제시한다.

가중치는 에이전트 22%, 코딩 20%, 추론 17%, 지식 12%, 멀티모달·그라운딩 12%, 다국어 7%, 지시 준수 5%, 수학 5%로 구성된다. 에이전트와 코딩의 합계가 42%이므로, 이 리더보드는 상당 부분 에이전트형 코딩 모델의 비교에 가까워진다.

정규화는 벤치마크마다 다른 난이도와 분산을 흡수한다. 따라서 종합 점수에서 보이는 동일한 1점 차이가 모든 카테고리에서 같은 실무적 의미를 갖는 것은 아니다. 사내 용어와 스키마 준수, 도메인 문서 이해, 장기 세션의 일관성처럼 실제 도입 시 중요한 태스크도 공개 벤치마크에서는 거의 다뤄지지 않는다.

공개 평가에는 오염과 과적합의 위험도 있다. 벤치마크가 학습 데이터에 유입되면 점수는 모델 능력보다 문제 노출을 반영할 수 있다. 벤더 입장에서는 가중치가 큰 카테고리에 최적화할 유인도 생긴다. 상위권의 3점 미만 차이는 문항 수와 시드에 따라 순위가 바뀔 수 있는 표본 오차 구간이기도 하다.

리더보드에서 후보를 고르고 자체 하네스로 결정한다

공개 점수는 최종 결정을 위한 판정값보다 후보를 3~5개로 줄이는 스크리닝 도구로 두는 편이 맞다. 최종 선택은 사내 업무를 반영한 평가셋 결과로 결정한다.

자체 평가 하네스에는 태스크 정의, 골든 데이터셋, 채점기, 실행 러너, 리포트 저장소가 필요하다. 채점기는 정답 매칭, LLM-as-a-judge, 사람 검수를 조합할 수 있다. 모델·프롬프트·툴 정의가 바뀔 때마다 같은 평가셋을 다시 실행하고, 이전 버전과 델타를 비교한다. 정해 둔 임계값을 넘지 못하면 배포를 막는 구조다.

⤢✕통과미달공개 벤치마크 (8개 카테고리가중 평균)종합 스코어 (예: 85.9)1차 후보 축소 (숏리스트)사내 평가셋 (도메인태스크·골든 데이터)자체 평가 하네스채점: 정답 매칭 + LLM 판정 +사람 검수품질 회귀 게이트 통과?모델 채택·배포후보 탈락 또는 프롬프트 재설계실사용 피드백 지표 수집

도메인별 골든셋은 50~200 문항 수준에서 시작할 수 있다. 이후 실제 실패 사례를 계속 편입해 평가 자산을 키운다. 실패 사례 중심 수집은 상위권 모델 사이의 차이를 가려내는 데 도움이 된다.

평가셋의 태스크 유형, 길이, 난이도 분포는 실제 트래픽 로그에서 추출한 분포와 맞춰야 한다. 내부 평가가 실제 사용과 동떨어지면 공개 벤치마크를 다른 이름으로 한 번 더 수행하는 결과가 된다.

평가 1회 비용은 문항 수 × 평균 토큰 × 모델 단가 + 판정 모델 비용 + 사람 검수 공수로 볼 수 있다. 전체 회귀는 릴리스 게이트에서 실행하고, 일상적인 변경에는 축약 스모크셋을 적용하면 비용을 통제할 수 있다.

모델 교체 전에는 핵심 태스크 성공률 개선폭, 형식 준수율 하한, 지연·비용 상한을 문서화한다. 단일 지표가 좋아졌다는 이유만으로 모델을 교체하지 않고, 회귀 항목 0건을 필수 조건으로 둔다.

평가 결과를 운영 가능한 자산으로 관리하기

평가셋은 일회성 검증 자료가 아니라 모델 조달과 품질관리를 위한 자산이다. 평가셋 버전, 채점 기준 변경 이력, 모델 채택 승인자, 실행 결과 아카이브를 감사 대상으로 관리해야 한다.

판정 모델을 채점에 사용한다면 사람 합치도를 함께 확인해 판정자 신뢰도를 검증한다. 벤더의 벤치마크를 조달 근거로 그대로 받는 방식은 검증 없이 사양을 인수하는 것과 다르지 않다. 자체 평가 결과를 조달 산출물로 요구하고, 모델이 바뀌어도 동일한 하네스에서 재평가할 수 있어야 이식성이 확보된다.

평가셋 자체의 유출과 오염도 통제 대상이다. 접근 통제를 적용하고 홀드아웃을 분리해 운영해야 한다.

구분 공개 종합 스코어 도메인 특화 평가 실사용 피드백 지표
대표성 범용 능력의 광범위 요약 해당 업무에 직결 최종 사용자 체감 반영
신뢰성 위험 오염·과적합·표본 오차 평가셋 편향·규모 부족 지표 지연·교란 변수
구축 비용 없음(무료 참조) 중간(설계·라벨링) 낮음(로그 활용) 그러나 해석 난이도 높음
갱신 주기 벤더 릴리스에 종속 조직이 통제 상시 스트리밍
모델 변별력 상위권에서 급감 높음 중간(노이즈 큼)
활용 위치 후보 스크리닝 최종 선정·회귀 게이트 운영 모니터링

공개 종합 점수는 8개 카테고리를 평균하므로 특정 도메인의 결정적 약점이 희석될 수 있다. 반대로 사내 평가셋은 오염 위험이 낮고 모델 변별력이 높지만, 설계·라벨링 비용과 평가셋 편향을 감수해야 한다.

벤치마크는 배포 전 게이트에, 실사용 피드백 지표는 배포 후 모니터링에 적합하다. 두 축을 연결해 운영 중의 실패 사례를 평가셋으로 되돌리는 폐루프가 모델 품질관리의 핵심이 된다.

공개 순위 이후의 평가 운영

상위권 격차가 좁아질수록 공개 종합 스코어의 모델 선정 기능은 약해지고, 카테고리별·도메인별 세부 점수 공개 요구는 확대될 전망이다. 조직 내부의 평가 하네스도 CI 파이프라인에 편입돼, 모델 릴리스마다 자동 회귀를 수행하는 형태로 정착할 수 있다.

벤치마크 오염 대응에서는 홀드아웃과 비공개 평가셋, 동적 문항 생성 방식의 채택이 확대될 전망이다. 실사용 피드백을 평가셋으로 자동 환류하는 closed-loop 평가는 AI 품질관리의 기본 패턴으로 자리할 수 있다.

Claude Opus 5의 85.9점과 BenchLM 1위는 후보군을 좁히는 데는 유용하다. 다만 3점 미만으로 밀집한 상위권에서 종합 순위 자체를 모델 선정 근거로 삼기는 어렵다. 모델 교체를 협상이 아니라 검증의 문제로 바꾸는 기반은 자체 평가셋과 회귀 게이트다.

Sources

LLM 평가모델 선정평가 하네스회귀 테스트AI 거버넌스