프런티어 LLM 팩트체크의 불일치와 신뢰성 평가 설계

2026년 6월 클레임 검증 플랫폼 Lenz가 발표한 연구에서는 같은 팩트 확인 요청을 받은 프런티어 LLM들이 얼마나 자주 다른 결론에 도달하는지 측정했다. 실제 사용자가 제출한 질의 1,000개를 5개 모델에 동시에 보낸 결과, 전체의 67%에서 적어도 한 모델이 다수 판정과 다른 답을 내거나 명확한 다수 의견이 만들어지지 않았다.

기존 벤치마크를 포화시킬 만큼 모델 성능이 높아졌어도 실사용 환경의 사실성 편차는 해소되지 않았다는 의미다. 팩트체크를 단일 LLM에 맡기는 구조가 왜 위험한지도 수치로 드러났다.

통제된 벤치마크가 놓치는 질문 분포

TruthfulQA, SimpleQA, FACTS Grounding 같은 기존 사실성 벤치마크는 학술 데이터셋이나 전문가가 작성한 질문 세트를 주로 사용한다. 재현성과 실험 통제에는 유리하지만, 현실에서 사용자가 입력하는 질문의 분포와는 차이가 있다.

Lenz는 2026년 3월부터 4월까지 플랫폼에 접수된 팩트 확인 요청 가운데 1,000개를 무작위로 추출했다. 정치, 의학, 과학, 법률, 스포츠, 역사 등 10개 도메인을 포함했으며, 질의 형태도 검색 엔진용 키워드보다 자연어 질문에 가까웠다. 통제 벤치마크를 대체한다기보다 실사용 분포에서 결과를 다시 확인하는 보완적 설계다.

DeepMind의 FACTS 프레임워크도 단일 평가자에서 벗어나는 방향을 택했다. 최대 3만 2천 토큰의 문서를 평가하고 Gemini, GPT-4o, Claude 3.5 Sonnet을 판정 모델로 사용해 평가자 편향을 상쇄한다.

⤢✕

응답 전체가 아니라 클레임 단위로 검증한다

여러 모델에 같은 질문을 보내는 것만으로 교차 검증이 완성되지는 않는다. 응답을 클레임 단위로 나누고, 각 클레임을 다른 모델과 근거 문서에 대조해야 한다. 스팬(span) 수준 검증은 이 과정을 응답의 세부 구간까지 좁힌 방식이다.

REFIND SemEval 2025 벤치마크에서는 생성된 클레임을 검색 근거와 연결한 뒤, 문서가 뒷받침하지 않는 클레임을 표시했다. 응답 전체에 사실 또는 허위 판정을 붙이는 것보다 환각이 발생한 지점을 구체적으로 찾을 수 있다.

평가 지표도 하나의 정확도 점수로 끝나지 않는다.

Faithfulness Score는 생성 응답이 검색 문서로부터 얼마나 지지되는지를 클레임과 근거의 매핑 정밀도로 측정한다.
Factual Precision/Recall은 생성된 팩트 중 검증 가능한 항목의 비율과 알려진 팩트 가운데 정확히 생성된 항목의 비율을 다룬다.
Calibration Error는 모델이 표현한 확신과 실제 정확도의 차이다. ECE(Expected Calibration Error)로 정량화한다.
Consistency Score는 같은 질문을 다른 형태로 다시 입력했을 때 답변이 얼마나 일관되는지 본다.

2026년 37개 모델을 대상으로 한 벤치마크에서 환각률은 태스크에 따라 15%에서 52% 사이의 편차를 보였다. 검색 기반 태스크에서는 2% 미만으로 내려갔지만, 저자원 언어와 멀티모달 태스크에서는 높은 수준이 이어졌다.

정확도와 확신이 함께 맞아야 한다

사실을 맞혔는지만큼 모델의 확신이 실제 정확도와 정렬돼 있는지도 중요하다. 잘 캘리브레이션된 모델이라면 "95% 확신한다"고 표현한 판단이 실제로도 95%의 경우에 맞아야 한다.

2026년 FACTS 벤치마크 스위트의 평가 프로토콜은 Cohen's Kappa로 우연 수준을 넘어선 판정자 간 합의도를 측정한다. Pearson·Spearman 상관계수는 판정자들의 합의 패턴을 분석하는 데 사용한다.

이 정렬 상태는 도메인마다 다르다. 사전학습에서 자주 다뤄진 도메인에서는 과신(overconfidence)이, 희소한 도메인에서는 과소 확신(underconfidence)이 관찰된다. 따라서 전체 정확도만 보고 운영 임계값을 정하면 도메인별 위험을 놓칠 수 있다.

파라메트릭 모델과 검색 보강 모델의 판정 차이

Lenz 연구의 모델 패널에는 순수 가중치에 기반해 추론하는 파라메트릭 모델과 실시간 검색을 활용하는 RAG 보강 모델이 함께 포함됐다.

모델	유형	특징
GPT-5.4	파라메트릭	OpenAI 최신 추론 모델
Claude Opus 4.7	파라메트릭	장문 이해 및 분석 강점
Gemini 3 Pro	파라메트릭	멀티모달, 대용량 컨텍스트
Gemini 3 Pro + Search	RAG 보강	실시간 검색 그라운딩
Sonar Pro	RAG 보강	Perplexity 기반 웹 검색

이 구성은 지식 커트오프에 묶인 모델과 실시간 정보를 검색하는 모델이 동일한 사실성 질의에서 어떤 차이를 보이는지 비교할 수 있게 한다.

67%의 불일치는 모두 같은 형태가 아니다. 가장 심각한 유형은 **극성 역전(Polarity Reversal)**이다. 같은 클레임을 두고 일부 모델은 사실, 다른 모델은 허위로 판정한다.

**부분 확인(Partial Verification)**에서는 한 모델이 조건부 사실로 분류한 내용을 다른 모델이 무조건 사실이나 허위로 단정한다. 세부 맥락이나 적용 시점의 차이가 이런 분기를 만들 수 있다. **무응답 또는 거부(Abstention)**는 일부 모델이 정보 부족을 이유로 판정을 보류하는 동안 다른 모델이 확신을 담아 답하는 경우다.

1,324건의 다중 모델 대화 분석에서는 99.1%에서 첫 번째 응답 모델과 다른 모델 사이에 모순, 수정 또는 유일한 인사이트가 발생했다. 어느 단일 모델도 팩트 검증의 최종 심판자로 삼기 어렵다는 결과다.

높은 벤치마크 점수가 실사용 사실성을 보장하지 않는다

프런티어 모델은 TruthfulQA, MMLU, SimpleQA 같은 정적 벤치마크에서 포화 수준의 점수를 기록한다. 그러나 실사용자 질의 기반 결과는 벤치마크 성능과 실제 사실성 향상이 비례하지 않을 수 있음을 보여준다.

한 원인은 데이터 오염(data contamination)이다. 정적 벤치마크가 사전학습 코퍼스에 포함되면 모델은 실제 이해 없이 패턴을 재현해 높은 점수를 받을 수 있다. Kili Technology의 2026 AI 벤치마크 분석에서는 어노테이션 오류율이 50%를 넘는 경우도 확인됐다. 평가 데이터 자체의 신뢰성을 함께 검토해야 하는 이유다.

분포 이동(distribution shift)도 영향을 준다. 고정된 벤치마크는 특정 시점과 도메인의 질문을 반영하지만, 실제 사용자는 트렌드와 신조어, 최신 사건처럼 계속 변하는 사실을 묻는다.

⤢✕

단일 판정자를 다중 모델 합의로 바꾸기

2026년 환각률 데이터에서 최고 성능 모델도 3.1%에서 19.1%의 환각률 범위를 보였다. 법률, 의학, 금융처럼 오류의 영향이 큰 도메인에서는 단일 모델을 팩트 검증의 유일한 판정자로 두기 어려운 수준이다.

다중 모델 합의(Multi-Model Consensus)는 이 위험을 구조적으로 분산한다. ACL Findings 2025에서 다룬 Best-of-N 재랭킹은 여러 후보 응답을 경량 팩추얼리티 메트릭으로 평가한 뒤 가장 신뢰할 수 있는 답을 선택한다. 단순 다수결이 아니라 모델별 불확실성 추정치를 가중치에 반영하는 방식이다.

합의 임계값도 운영 정책으로 명시해야 한다. 5개 모델 가운데 3개 이상이 동의할 때만 확인된 사실로 처리하고, 나머지는 검증 필요 상태로 보내는 방식이 실무에서 채택되고 있다.

RAG에는 출처 귀속과 검색 품질이 필요하다

RAG(Retrieval-Augmented Generation)는 도메인에 따라 환각률을 30%에서 70%까지 낮추고, 단독 LLM보다 팩트 정확도를 약 40% 개선한다는 2026년 데이터가 축적됐다. 다만 검색 결과를 제공하는 것만으로 사실성이 자동 보장되지는 않는다. 모델은 문서를 오독하거나 과잉 일반화할 수 있고, 근거에 없는 내용을 섞기도 한다.

MEGA-RAG는 FAISS 기반 밀집 검색, BM25 키워드 검색, 도메인 지식 그래프를 결합한 다중 근거 검색을 사용한다. 이 프레임워크는 공중보건 도메인에서 환각률을 40% 이상 줄였다.

운영 가능한 RAG 팩트체크에는 스팬 수준 귀속이 필요하다. 생성 문장의 각 클레임을 출처 문서의 특정 구절과 연결해야 한다. 검색도 단일 엔진이나 하나의 벡터 DB에 고정하지 않고 여러 소스로 교차 검증한다. 지식 커트오프 이후의 변경 사항은 실시간 검색으로 보완하되, 출처 신뢰성과 최신성을 메타데이터로 관리한다.

불일치한 판단은 인간 검토로 넘긴다

다중 모델 합의와 RAG를 함께 사용해도 모든 오류가 사라지지는 않는다. 법적 판단, 의학적 진단, 논쟁적인 역사 해석은 LLM의 판정만으로 처리하기 어려운 영역이다.

Human-in-the-Loop(HITL)는 모든 결과를 사람이 다시 읽는 구조가 아니다. 모델끼리 결론이 다르거나 신뢰도가 낮은 사례만 골라 검토자에게 에스컬레이션해야 처리량과 정확도 사이의 균형을 유지할 수 있다.

⤢✕

2026년 신뢰성 평가는 운영 데이터로 이동한다

평가의 중심은 단일 정확도 점수에서 복합적인 신뢰도 지표로 옮겨가고 있다. 정적 데이터셋을 한 번 통과시키는 방식 대신 실사용 트래픽에서 지속적으로 평가하는 온라인 체계가 등장했다. CI/CD 파이프라인에 LLM 팩트성 평가를 넣고, 실제 사용 트레이스를 토대로 성능을 모니터링하는 방식도 표준화되고 있다.

의학, 법률, 금융 같은 고위험 도메인에는 보편적 팩트성 지표보다 도메인 특화 루브릭이 필요하다. LLM-as-a-Judge를 사용할 때도 전문 루브릭과 인간 전문가의 교정을 병행하는 접근이 강조된다.

모델 선택 기준 역시 최고 정확도에만 머물지 않는다. 확신과 실제 정확도가 잘 정렬된 모델이 운영 환경에서는 더 신뢰할 수 있다. 충분한 근거가 없을 때 판정을 보류하는 기권(abstention) 능력도 사실성 평가에 포함해야 한다.

실사용자 질의 1,000개에서 확인된 67%의 불일치는 벤치마크 고득점과 실전 팩트체크 신뢰성이 별개의 문제임을 보여준다. 실제 시스템에서는 다중 모델 합의, 출처 그라운딩 RAG, 인간 검토를 계층적으로 연결하고, 도메인별 캘리브레이션과 실사용 분포의 변화를 계속 추적해야 한다.