Chain-of-Evidence로 AI 산출물의 근거 무결성 검증하기
Chain-of-Evidence 기반으로 주장과 코드·데이터·문헌을 연결해 AI 산출물의 근거 누락과 인용 오류를 검증하는 아키텍처
2026-09-02 · 최초 발행 2026-08-04
근거가 없는 문장은 표면 평가만으로 걸러지지 않는다
ScientistOne에서 제시한 Chain-of-Evidence(CoE)는 산출물 속 모든 주장을 코드, 데이터, 문헌 가운데 하나로 역추적할 수 있어야 한다는 검증 가능성 요건이다. 모델 출력에서 특히 위험한 것은 명백히 틀린 문장보다, 근거가 없는데도 그럴듯하게 읽히는 문장이다. 문장 품질이나 형식만 평가해서는 이를 판별하기 어렵다.
대표적인 실패는 환각 인용, 재현할 수 없는 점수, 구현과 어긋나는 방법 서술이다. 5개 시스템 75편을 비교한 결과에서 환각 인용률은 최대 21%, 점수 검증 통과율은 최저 42%, 방법–코드 정합은 20~80%였다. CoE를 적용한 시스템만 환각 0건과 점수 검증 12/12를 달성했다.
핵심은 문서 끝에 참고문헌을 모아 두는 방식에서 벗어나는 데 있다. 참고문헌 목록만으로는 특정 문장이 어느 문헌, 데이터, 코드에 기대고 있는지 확인할 수 없다. 반대로 주장마다 증거 식별자를 필수로 두면 비어 있는 근거가 드러나고, 검토는 전수 읽기보다 예외 확인에 가까워진다.
초안을 주장과 증거의 연결망으로 바꾸는 방법
문서를 먼저 검증 가능한 최소 단위의 주장으로 나눈다. 문단 전체를 검증 단위로 삼으면 일부 문장만 근거가 있을 때 어느 부분이 검증됐는지 구분할 수 없다. 사실 주장, 비교 주장, 인과 주장은 필요한 증거의 성격이 다르므로 구분해서 다뤄야 한다.
증거는 코드, 데이터, 문헌으로 한정하고 각 주장에 역추적 경로를 붙인다. 증거 유형이 무한정 늘어나면 자동 검증 범위를 유지하기 어렵다. 문헌은 원문 대조, 데이터는 값 재계산, 코드는 실행 확인으로 검증 방식도 달라진다.
각 주장에는 선택 사항이 아닌 필수 필드로 증거 식별자를 요구한다. 어려운 주장일수록 근거가 비어 있기 쉬우므로 선택 필드로 두면 효과가 약해진다. 문헌 DOI, 데이터셋 버전 해시, 코드 커밋 해시처럼 변하지 않는 참조를 식별자로 사용한다.
식별자가 없거나 존재하지 않는 대상을 가리키면 자동으로 검출하고, 이 결과를 통과 조건에 포함한다. 누락된 주장을 지워 버리기보다 검증되지 않았다는 상태로 남겨야 감사 추적도 유지된다. 인용 원문 대조에서는 해당 문헌이 실제로 주장을 뒷받침하는지 확인한다. 존재하지 않는 문헌보다 존재하는 문헌을 잘못 인용하는 일이 더 흔하다.
원문 대조 자동화는 완전하지 않다. 따라서 신뢰도 점수를 두고 낮은 항목만 사람 검토 대기열로 보낸다. 참조 시점의 문헌 원문과 데이터셋 사본은 보존하며, 참조 링크가 계속 접근 가능한지도 주기적으로 확인한다. 최종 산출물에는 주장별 검증 상태를 함께 표시해 이용자가 신뢰 수준을 판단할 수 있게 한다.
검증 체계를 운영 정책으로 연결하기
주장 하나의 경계를 어디까지 볼지 조직 차원의 기준이 필요하다. 이 기준이 검토자마다 다르면 결과를 비교할 수 없다. 배경 설명과 실제 검증 대상 주장을 나누는 규칙도 함께 정해야 한다.
코드·데이터·문헌 외에 내부 문서나 측정 기록을 허용할지 결정할 때는, 해당 유형을 어떻게 대조할지도 같이 정의해야 한다. 증거 유형을 넓힐수록 자동 검증 범위는 좁아진다.
근거가 누락된 항목을 반려할지, 누락 상태를 표시한 채 통과시킬지는 산출물 등급별로 달라질 수 있다. 외부 공개물과 내부 검토용 산출물에 같은 기준을 적용할 필요는 없다. 문헌 스냅숏, 데이터 버전, 코드 커밋을 다시 참조할 수 있도록 저장소를 구성하고, 유형별 접근 권한과 보존 기간도 정한다.
자동화는 모든 판단을 대체하는 장치가 아니다. 명백한 실패를 먼저 걸러 내고, 판단이 필요한 항목에 사람이 집중하도록 만드는 역할이다. 자동 검증의 오탐률과 미탐률을 측정해 임계값을 조정하며, 승인 권한과 통과 기준, 외부 공개물에 검증 상태를 표시할지 여부를 거버넌스에 명시한다.
참고문헌 목록만으로는 누락을 드러낼 수 없다
| 구분 | 주장별 증거 연결 강제 | 참고문헌 일괄 표기 |
|---|---|---|
| 근거 확인 속도 | 즉시 | 문헌 전수 확인 필요 |
| 누락 탐지 | 자동 | 사실상 불가 |
| 작성 부담 | 큼 | 작음 |
| 도구 요구 | 필요 | 불필요 |
| 부분 검증 | 가능 | 불가 |
| 감사 대응 | 항목 단위 | 문서 단위 |
주장별 연결은 특정 문장의 근거를 바로 확인할 수 있고, 비어 있는 항목도 기계적으로 드러난다. 검토는 예외 확인으로 축소되며 감사 요청에도 항목 단위로 대응할 수 있다. 대신 작성자는 식별자를 붙여야 하고 이를 강제하는 도구가 필요하다.
참고문헌을 일괄 표기하는 방식은 별도 도구 없이 작성할 수 있지만, 어느 문장이 어느 문헌에서 왔는지 확인할 수 없다. 근거 없는 문장이 섞여도 탐지하기 어렵다. 환각 인용률이 최대 21%에 이른 비교 결과를 고려하면, 외부 공개물과 의사결정 근거 문서에는 주장별 연결을 기본으로 두는 편이 합리적이다.
자동 대조 검증은 처리량이 크고 산출물 규모가 늘어도 검증 시간이 선형으로만 증가한다. 누락이나 무효 링크처럼 명백한 실패도 놓치지 않는다. 다만 인용 내용이 미묘하게 어긋나는 경우에는 오탐과 미탐이 생길 수 있다. 사람 검토는 맥락 판단에 강하지만, 문서 하나에 수백 개의 주장이 있으면 전수 확인이 물리적으로 어렵고 후반부 피로가 품질에 영향을 준다. 자동 검증으로 명백한 실패를 제거한 뒤 신뢰도가 낮은 항목만 사람에게 넘기는 배치가 두 방식의 역할을 연결한다.
증거 원본 보존은 참조 시점의 내용을 남기므로 문서가 수정되거나 삭제돼도 검증할 수 있고 장기 감사에도 대응할 수 있다. 반면 문헌 원문과 데이터 스냅숏이 누적되면 저장 비용이 늘고 저작권 처리가 필요할 수 있다. 링크 참조만 유지하면 저장 부담은 거의 없고 최신 내용을 가리키지만, 시간이 지날수록 무효 링크가 늘며 원래 근거를 확인하기 어려워진다. 핵심 주장은 원본 보존 대상으로 지정하고 배경 참조는 링크로 두는 차등 정책이 비용과 확실성의 균형을 맞춘다.
정보 품질과 감사 추적에서 보는 CoE
근거 무결성은 정확성과는 다른 정보 품질 차원이다. 표면 평가만으로 측정되지 않으며, 검증 상태 표기는 이용자가 산출물의 신뢰 수준을 판단하게 하는 품질 메타데이터가 된다.
불변 참조 식별자는 문서 사이 연결을 안정적으로 유지하는 기반이다. 증거 원본 보존 정책은 문서 보존 기간 정책과 함께 설계해야 일관성을 확보할 수 있다.
주장 단위의 검증 기록은 문서 전체가 아닌 항목 단위 감사 대응을 가능하게 하며, 문서 단위 대응보다 소명 비용이 낮다. 누락된 항목을 삭제하지 않고 표기해 남기는 방식도 감사 추적의 완전성 요건과 맞닿아 있다.
2026년 AI 산출물 검증이 향하는 곳
근거 식별자 부착은 AI 생성 산출물의 기본 출력 형식으로 요구되는 흐름에 있다. 인용 원문 대조 자동화 도구는 문서 작성 파이프라인에 기본 편입되는 방향이며, AI 산출물 공개 시 검증 상태 표기를 의무 항목으로 논의하는 흐름도 이어지고 있다. 증거 스냅숏 저장소는 조직 지식 인프라의 표준 구성으로 자리잡는 방향이다.