길리랩blog

HLE v2 벤치마크 신뢰성: 오류 검증과 재측정 방법론

HLE v2가 문항과 정답의 오류를 검증·수정하고, LLM 능력 상한을 재현 가능하게 재측정하는 방법론과 활용 기준을 다룬다.

2026-08-14 · 최초 발행 2026-08-02

모델보다 벤치마크를 먼저 의심해야 할 때

Epoch Labs와 Center for AI Safety는 2026년 6월 Humanity's Last Exam v2(HLE v2)를 공개하며 AI 벤치마크의 측정 신뢰성 문제를 전면에 놓았다. 기존 HLE는 2026년 1월 Nature에 게재된 최고난도 LLM 능력 상한 측정 벤치마크였지만, 독립 감사에서 문제 오류와 정답 불일치, 모호한 문항 진술이 확인됐다.

이 결함은 단순한 데이터 정리 문제로 끝나지 않는다. 모델이 올바른 답을 냈는데도 잘못된 정답 키나 불충분한 조건 때문에 오답으로 처리될 수 있기 때문이다. HLE v2는 문항을 검증하고 오류를 수정한 뒤 모델을 다시 평가함으로써 재현 가능하고 비교 가능한 능력 상한 측정 기준을 세우려는 시도다.

HLE가 측정하려는 능력

HLE(Humanity's Last Exam)는 Center for AI Safety와 Scale AI가 공동 제작한 학술 데이터셋이다. 수학, 물리, 화학, 생물, 의학, CS, 인문·사회과학을 포함한 100개 이상 학문 분야에서 2,500개 문항을 다룬다.

출제에는 50개국 500개 이상 기관에 소속된 교수, 연구자, 박사과정 등 약 1,000명의 전문가가 참여했다. 문항의 약 80%는 정확 답 입력(exact-match) 방식이며, 약 20%는 5지선다 이상의 객관식이다. GPT-4o와 Claude 3.5 Sonnet 등 당시 최고 성능 모델이 답을 도출하지 못한 문항만 최종 데이터셋에 포함했다.

목표는 단순 암기나 패턴 인식이 아니라 전문가 수준의 통합 추론 능력을 측정하는 데 있다. MMLU를 비롯한 기존 평가의 포화 문제를 피하기 위해 난도를 극도로 높였고, 2026년 상반기에도 최상위 모델 점수는 60%대에 머물렀다. 인간 전문가 평균인 약 90%와는 25~50%포인트 이상의 차이가 있어 미포화 벤치마크로 기능하고 있다.

원본 HLE에서 발견된 측정 결함

출판 이후 진행된 독립 감사와 커뮤니티 검토에서는 평가 결과를 흔들 수 있는 비자명 오류가 발견됐다. 정답의 범위가 불명확하거나 풀이에 필요한 전제 조건이 빠진 문항이 있었고, 복수의 답을 허용할 수 있는 중의적 표현도 확인됐다.

문제 자체뿐 아니라 정답과 해설에도 결함이 있었다. 명시된 정답 키가 실제 답과 다르거나, 해설이 도달한 논리적 결론과 정답이 일치하지 않는 사례다. 필요한 조건을 충분히 제시하지 않은 미명세(underspecification) 역시 모델의 추론 능력과 무관한 오답을 만든다.

이런 오류가 섞이면 벤치마크 점수에는 측정 오차가 들어간다. 평가 문항의 결함 때문에 발생한 오답을 모델 실패로 기록하면서 LLM 능력 상한이라는 본래 측정 대상이 흐려진다. HLE-Verified(arXiv:2602.13964, 2026년 2월)는 이 문제를 체계적으로 교정하기 위한 방법론을 제시했다.

검증과 수정·재검증으로 이어지는 파이프라인

HLE v2는 전체 문항을 먼저 검증하고, 오류가 확인된 항목을 수정한 뒤 같은 기준으로 다시 확인한다.

⤢✕원본 HLE 문항(2,500개)Stage I: 검증 단계검증 결과검증 완료(668개)오류 발견(수정 필요)불확실(689개)Stage II: 수정·재검증 단계재검증 결과수정 후 검증 완료(1,143개)커뮤니티 정제 대상(689개 불확실 항목)HLE-Verified 데이터셋지속적 커뮤니티 정제8개 최신 LLM 재측정평균 +7~10%p 향상 확인LLM 능력 상한 측정신뢰성 인프라

Stage I에서는 해당 학문 분야의 박사급 이상 전문가가 문제와 정답을 독립적으로 검토한다. 다수의 최신 LLM에도 동일 문항의 답변을 각각 생성하게 한 뒤 불일치를 찾아낸다. 이 결과를 바탕으로 문제·정답 쌍의 유효성을 이진 판정했으며, 668개 항목이 검증을 통과했다.

Stage II는 오류가 발견된 문항을 다룬다. 모호한 표현을 해소하고, 빠진 조건을 보완하며, 잘못된 정답 키를 교정한다. 수정한 항목에는 Stage I과 같은 독립 검증 절차를 다시 적용했다. 이 과정을 거쳐 1,143개 항목이 수정 후 검증을 완료했다.

오류를 분류해야 수정도 일관된다

발견된 오류는 문제, 해설, 정답 수준으로 나뉘며 전체 19개 카테고리로 관리된다.

오류 수준 카테고리 수 주요 유형
문제 수준 5종 모호성, 미명세, 중의성, 전제 오류, 단위 불명확
해설 수준 10종 논리 오류, 계산 오류, 도메인 지식 오류, 참조 오류 등
정답 수준 4종 정답 키 오류, 복수 정답 미처리, 형식 불일치, 부분 정답 처리 오류

분류 체계가 필요한 이유는 같은 유형의 결함을 동일한 원칙으로 처리하기 위해서다. 이는 HLE를 수정하는 기준인 동시에 향후 벤치마크 설계에서 유사한 오류를 사전에 걸러내는 지침으로도 쓰인다.

검증 결과와 남은 정제 대상을 합치면 데이터셋은 다음과 같이 구성된다.

HLE-Verified 최종 구성:
├── 검증 완료 (Stage I 통과): 668개
├── 수정 후 검증 완료 (Stage II 통과): 1,143개
└── 불확실 (커뮤니티 정제 대상): 689개
총계: 2,500개 원본 대비 1,811개 확정 + 689개 진행 중

재측정이 바꾼 점수의 의미

HLE-Verified로 8개 최신 LLM을 다시 측정하자 평균 절대 정확도가 +7~10%포인트 높아졌다. 모델의 능력이 새로 향상된 결과가 아니라, 기존 평가에 포함됐던 측정 오류를 제거하면서 나타난 변화다.

원본 문제나 정답에 결함이 있던 항목만 보면 +30~40%포인트의 극단적 향상도 관측됐다. 일부 문항에서는 모델이 실제 정답을 냈는데도 원본 정답 키 때문에 오답으로 처리된 사례가 다수 확인됐다.

따라서 HLE-Verified는 수정된 데이터셋 이상의 의미를 갖는다. 어떤 버전으로 측정했는지가 모델 비교의 전제 조건이 되며, 기존 HLE 점수에 근거한 모델 순위도 다시 해석할 필요가 있다. 같은 모델이라도 원본과 검증 버전 중 무엇을 사용했는지에 따라 순위가 뒤바뀔 가능성이 존재한다.

리더보드가 보여주는 미포화 상태

2026년 6월 기준 HLE 리더보드의 상위 점수는 다음과 같다.

순위 모델 HLE 점수
1 Claude Mythos 5 64.5%
2 Claude Fable 5 64.5%
3 GPT-5.4 Pro 58.7%
4 Gemini 3.1 Pro Preview 44.7%
5 GPT-5.4 41.6%
참고 인간 도메인 전문가 평균 약 90%

최상위 모델도 인간 전문가 평균과 25~50%포인트 이상의 격차를 보인다. HLE는 2026년 현재 완전히 포화되지 않은 유일한 주요 벤치마크 중 하나이며, LLM 능력 상한을 구분하는 평가 도구로서 유효성을 유지하고 있다.

기업 모델 평가에서 먼저 확인할 조건

벤치마크 점수는 모델 선정의 입력값일 뿐이다. 그 점수가 어떤 문항과 검증 절차에서 나왔는지 확인하지 않으면 비교 결과 자체를 신뢰하기 어렵다.

⤢✕미충족충족AI 모델 선택 요구벤치마크 신뢰성 검증검증 기준 충족?벤치마크 배제또는 가중치 하향복합 평가 조합 설계도메인 특화 평가(실사용 시나리오)표준 벤치마크 조합(HLE + GPQA + SWE)최종 모델 선정대안 벤치마크탐색

첫째, 독립 감사를 통해 문항과 정답의 오류 비율을 공개했는지 확인해야 한다. 둘째, 훈련 데이터에 평가 문항이 포함되는 데이터 오염(contamination)을 검토해야 한다. 정적 벤치마크는 오염율 50% 이상의 위험이 있다.

포화도도 비교력을 좌우한다. 최상위 모델이 95% 이상을 기록한 벤치마크는 모델 간 차이를 드러내기 어렵다. 마지막으로 동일한 조건에서 동일한 결과를 낼 수 있도록 검증 프로토콜이 마련돼 있는지 봐야 한다.

한 번의 측정보다 갱신 체계가 중요하다

HLE v2의 재측정 캠페인은 벤치마크를 고정된 점수표가 아니라 계속 관리해야 할 평가 체계로 다룬다.

주기 활동 목적
분기 최신 모델 대상 동일 벤치마크 재측정 성능 추이 모니터링
반기 벤치마크 문항 오류 재검토 측정 신뢰성 유지
연간 포화도 평가 및 벤치마크 교체 검토 평가 도구 유효성 보장
이벤트 기반 주요 모델 업데이트 시 즉시 재측정 비교 기준 최신화

엔터프라이즈 환경에서는 랩 벤치마크 점수와 실제 배포 성능 사이에 평균 37%의 갭이 존재한다. 표준 평가를 정기적으로 반복하는 것만으로는 충분하지 않으며, 실제 사용 도메인에서의 평가를 함께 운영하는 이중 검증 체계가 필요하다.

언어 모델을 넘어 에이전트 상한 측정으로

HLE 문항의 난도는 다단계 추론 에이전트가 도구를 사용하더라도 달성하기 어려운 수준이다. 이 특성을 활용하면 언어 모델의 단일 응답뿐 아니라 에이전트 시스템의 능력 상한도 평가할 수 있다.

웹 검색이나 코드 실행 도구를 HLE v2 문항과 결합하면 도구 사용 에이전트(tool-use agent)를 측정할 수 있다. 여러 에이전트가 협력할 때 도달할 수 있는 최대 점수를 비교하는 멀티 에이전트 평가에도 적용 가능하다. HLE 문항은 실시간 검색 없이 풀 수 있어야 하는 구조이므로, 실시간 정보 의존성을 배제한 순수 추론 능력 상한 측정에도 맞는다.

다른 AI 벤치마크와 함께 읽기

⤢✕고난도-고신뢰 이상적고난도-저신뢰 개선필요저난도-저신뢰 지양저난도-고신뢰 포화위험AIME 2025MMLUARC-AGI 2SWE-bench VerifiedGPQA DiamondHLE-OriginalHLE-Verified낮은 신뢰성높은 신뢰성낮은 난이도높은 난이도2026년 주요 AI 벤치마크 포지셔닝
벤치마크 용도 2026 현황 신뢰성 수준 권장 용도
HLE v2 (Verified) 최고난도 추론 상한 측정 최상위 모델 60%대, 미포화 높음 (오류 수정 완료) LLM 능력 상한 비교
HLE 원본 (동일) (동일) 중간 (오류 포함) 역사적 비교 참조용
MMLU 전반적 지식 평가 프론티어 모델 88~94% 중간 완전 포화 — 사용 지양
SWE-bench Verified 실제 코딩·소프트웨어 활발 사용 중 중간 (오염 우려) 코딩 에이전트 평가
SWE-bench Pro SWE-bench 후속 2026 신규 높음 코딩 에이전트 대체 표준
GPQA Diamond 과학적 추론 권장 사용 중 높음 과학 추론 평가
ARC-AGI 2 추상 추론 2026 신규 주목 높음 (신규) 추상 추론 능력
AIME 2025 수학 추론 권장 사용 중 높음 수학적 추론 평가

HLE v2는 최고난도 추론의 상한을 다루지만 코딩, 수학, 과학, 추상 추론을 모두 대신하지는 않는다. 서로 다른 능력 축을 측정하려면 다음 조합을 사용할 수 있다.

2026년 권장 복합 벤치마크 조합:
├── 최고난도 추론 상한: HLE v2 (Verified)
├── 과학적 추론: GPQA Diamond
├── 코딩 능력: SWE-bench Verified / Pro
├── 수학적 추론: AIME 2025
└── 추상 추론: ARC-AGI 2

각 벤치마크가 서로 다른 능력을 담당하면 어느 하나가 포화되더라도 전체 평가 체계의 구분력을 유지할 수 있다.

신뢰성·포화도·타당성을 구분해서 보기

HLE v2 방법론은 AI 시스템 평가에서 혼용하기 쉬운 개념을 구분해 보여준다.

개념 정의 HLE v2 적용
벤치마크 신뢰성(Benchmark Reliability) 동일 대상을 반복 측정 시 일관된 결과를 산출하는 능력 2단계 검증으로 측정 오차 최소화
포화도(Saturation) 최상위 모델이 벤치마크 최고 점수에 도달하여 차별화 불가 상태 HLE는 2026년에도 미포화 유지
데이터 오염(Data Contamination) 훈련 데이터에 평가 문항이 포함되어 성능이 과대 측정되는 현상 HLE 문항 외부 유출 최소화 설계
능력 상한(Capability Ceiling) 현재 AI 기술로 달성 가능한 최대 성능 수준 HLE가 측정하는 핵심 지표
측정 타당성(Measurement Validity) 측정 도구가 실제로 측정하려는 능력을 측정하는지 여부 HLE-Verified의 핵심 개선 목표

실제 AI 도입 평가는 3계층으로 나눌 수 있다. 기술 능력 계층에서는 HLE v2와 GPQA Diamond 같은 표준 벤치마크로 모델의 원시 능력을 본다. 실용 능력 계층에서는 SWE-bench Pro와 도메인 특화 평가를 사용해 업무 적용 가능성을 측정한다. 운영 적합성 계층은 비용, 지연시간, 안전성, 할루시네이션율 같은 배포 지표를 다룬다.

HLE v2가 담당하는 영역은 이 가운데 1계층이다. 높은 HLE 점수만으로 실제 AI 시스템의 도입 여부를 결정할 수는 없다.

벤치마크를 신뢰성 인프라로 운영하는 방식

HLE v2가 가리키는 방향은 특정 데이터셋의 오류 수정에 머물지 않는다. 검증, 재측정, 거버넌스와 생태계 연동을 하나의 지속적인 인프라로 묶는 접근이다.

⤢✕벤치마크 신뢰성 인프라검증 표준화도메인 전문가 리뷰 프로토콜모델 기반 교차검증 자동화오류 분류 체계 표준화재측정 자동화정기 재측정 캠페인신규 모델 즉시 평가이력 추적 및 비교커뮤니티 거버넌스개방형 오류 신고 채널전문가 커뮤니티 정제투명한 수정 이력 공개생태계 연동복합 벤치마크 표준 조합기업 도입 평가 기준 연계규제·인증 기준 연동

정적 문항 집합은 지속적으로 갱신되는 동적 벤치마크 생태계로 전환되고 있다. HLE-Verified 방식의 검증 파이프라인을 오픈소스로 공개하고 표준화하는 흐름도 이 방향과 맞닿아 있다. EU AI Act와 국내 AI 기본법 등 규제 기관의 AI 시스템 인증 기준에는 신뢰성 높은 벤치마크 체계를 연동하는 방향이 제시된다.

평가 대상 역시 단순 언어 모델에서 멀티 스텝 에이전트로 확장된다. 성능만 비교하는 대신 비용 효율성도 함께 봐야 한다. 동일 성능 기준으로 최대 50배의 비용 편차가 있기 때문에 비용 대비 성능을 통합한 평가 표준이 요구된다.

기업 AI 팀은 단일 점수로 모델을 고르기보다 HLE v2를 포함한 복합 평가 조합을 구성해야 한다. 발표된 점수를 사용할 때도 HLE 원본인지 Verified인지 구분하고 측정 방법론 원문을 확인해야 한다. 실사용 환경과 랩 환경의 37% 갭을 보정하려면 도메인 특화 평가를 병행하고, 분기별로 최신 모델과 다시 비교해야 한다. 최종 판단에는 성능뿐 아니라 비용과 지연시간도 포함해야 한다.

HLE v2는 2단계 검증·수정 파이프라인과 19개 오류 분류 체계로 원본의 구조적 결함을 교정했다. 재측정에서 확인된 평균 +7~10%포인트의 변화는 모델 평가에서 데이터셋 자체의 품질이 얼마나 큰 영향을 미치는지 보여준다. 능력 상한을 제대로 비교하려면 어려운 문제를 모으는 것만큼 문제와 정답이 유효한지 계속 검증하는 체계가 필요하다.

Sources

HLE v2AI 벤치마크LLM 평가벤치마크 신뢰성데이터 오염