재현 가능한 연구 산출물을 위한 증거 저장소 연동 설계
코드·데이터·문헌 증거를 생성 시점에 묶어 보존하고, 환경 고정과 재현 점검으로 검증 가능성을 관리하는 저장소 설계
2026-09-02 · 최초 발행 2026-08-04
결과를 만든 조건까지 함께 남겨야 검증이 가능하다
Chain-of-Evidence는 증거를 코드, 데이터, 문헌으로 나누고 각각의 역추적 경로를 명시한다. 코드는 실행으로, 데이터는 값의 재계산으로, 문헌은 원문 대조로 확인한다. 실행 가능한 코드와 확인 가능한 데이터가 빠진 주장은 검증할 수 없다.
재현을 나중의 과제로 미루면 라이브러리 버전과 데이터 상태가 바뀐다. 생성 시점에는 비교적 작고 예측 가능한 비용으로 실행 환경과 데이터 스냅숏을 묶을 수 있지만, 시간이 지난 뒤의 재현 시도는 실패 비용이 커지고 통제하기 어렵다. 점수 검증 통과율이 시스템에 따라 42%까지 떨어졌고, 방법 서술과 코드의 정합도는 20~80%에 걸쳐 분산됐다. 재현 실패를 예외로 보기보다, 산출물 생성 과정에서 증거를 함께 고정해야 할 이유로 봐야 한다.
결과물만 저장하는 방식은 검증 불가능성을 남긴다. 산출물과 실행 환경 명세, 데이터 스냅숏을 하나의 단위로 생산하는 구조가 필요하다. 저장소 링크만 남기고 커밋을 고정하지 않는 방식도 위험하다. 브랜치가 이동하면 같은 링크가 다른 코드를 가리킨다.
증거 묶음은 불변 식별자와 실행 기록으로 구성한다
코드는 커밋 해시로 특정하고, 필요하면 아카이브 사본도 보관한다. 저장소가 비공개로 전환되거나 삭제될 수 있기 때문이다. 의존성 잠금 파일도 함께 보존해야 한다. 코드가 같더라도 의존성이 바뀌면 결과는 달라질 수 있다.
실행 환경에는 언어와 라이브러리 버전, 가속기 종류와 드라이버, 난수 시드를 기록한다. 컨테이너 이미지 다이제스트를 사용하면 여러 명세를 하나의 고정된 환경으로 다룰 수 있다.
데이터는 경로나 테이블 이름이 아니라 데이터 자체의 해시로 식별한다. 원본 데이터가 같아도 전처리 과정이 달라지면 결과가 달라지므로, 전처리 스크립트 역시 증거에 포함한다. 문헌은 참조 시점의 PDF 또는 HTML 사본과 DOI, 접근 일시를 남긴다. 저작권 제약이 있다면 사본 대신 인용 구절과 위치 정보를 보존한다.
코드와 환경 명세는 장기 보존 비용이 낮은 반면, 데이터 스냅숏은 용량 부담이 클 수 있다. 모든 증거에 동일한 보존 기간을 적용하면 저장 비용이 급증한다. 만료 시점에는 삭제할 대상과 요약본으로 남길 대상을 구분해야 한다.
증거를 보관하는 것만으로는 충분하지 않다. 생성 직후와 정기 주기에 재현 스크립트를 실행해 보존물이 실제로 동작하는지 확인한다. 부동소수점 연산처럼 완전 일치가 성립하지 않을 수 있는 경우를 위해 결과 허용 오차도 정의한다. 실패한 경우에는 발생 시점, 실패 단계, 원인 분류를 남긴다. 재현 실패 자체가 환경 변화에 관한 정보가 될 수 있다.
데이터 스냅숏에는 원본 데이터와 동일한 접근 통제를 적용한다. 증거 저장소가 원본의 권한 체계를 우회하는 경로가 되어서는 안 된다.
적용 범위를 정하고 운영 절차에 연결한다
외부 공개물, 의사결정 근거, 규제 대응 산출물부터 재현 요건을 적용할 수 있다. 모든 산출물에 일괄 적용하면 저장 비용을 감당하기 어렵다. 탐색 단계의 임시 실험은 대상에서 제외하되, 정식 산출물로 승격하는 시점에 증거 묶음 요건을 적용한다.
환경 고정 방식은 컨테이너 이미지 기반으로 표준화하고, 예외 상황에서 사용할 대체 명세 형식도 정한다. 가속기 종류에 따라 수치 결과가 달라질 수 있으므로 하드웨어 정보는 환경 명세에 포함한다.
데이터 정책에서는 전량 스냅숏 대상과 참조 위치만 기록할 대상을 데이터 규모와 변경 빈도로 나눈다. 대용량 데이터는 표본 스냅숏과 전체 해시를 함께 남기는 방식을 검토할 수 있다. 문헌은 저작권 조건에 따라 사본 저장, 웹 아카이브 서비스 활용, 인용 구절 보존 중 적절한 방식을 선택한다.
보존 묶음은 분기 또는 반기 단위로 실행한다. 점검 비용이 크다면 표본 추출로 대체할 수 있으나, 이 경우 표본 비율을 기록해야 한다. 재현이 실패하면 산출물의 검증 상태를 갱신하고 이해관계자에게 알린다. 실패 사실을 기록만 하고 상태에 반영하지 않으면 잘못된 신뢰가 유지된다.
접근 권한은 원본 데이터 권한과 연동하고, 보존 기간 만료 처리와 예외 연장 승인 절차도 거버넌스에 포함한다.
보존 시점과 고정 범위에 따른 선택
| 구분 | 생성 시점 증거 동시 보존 | 사후 재현 시도 |
|---|---|---|
| 성공률 | 높음 | 낮음 |
| 비용 발생 시점 | 생성 시 (예측 가능) | 시도 시 (통제 불가) |
| 저장 부담 | 상시 발생 | 없음 |
| 환경 변화 영향 | 차단 | 직접 노출 |
| 복구 가능성 | 확보 | 시점 경과 시 소멸 |
| 도입 난도 | 파이프라인 개조 필요 | 없음 |
생성 시점 동시 보존은 당시의 코드·환경·데이터를 함께 묶으므로 재현 성공률을 높이고, 비용이 예측 가능한 시점에 발생한다. 환경 변화도 차단할 수 있다. 대신 파이프라인 개조와 상시 저장 비용이 필요하다. 사후 재현은 평소 준비 부담이 없지만, 라이브러리 갱신과 데이터 변경이 누적된 뒤 실행하게 된다. 실패했을 때 복구 수단이 남지 않을 수 있다. 대상 산출물을 좁게 지정하더라도 동시 보존을 기본 절차로 두는 편이 위험 대비 효율이 높다.
환경 명세를 고정하면 시간이 지나도 동일 결과를 재현할 수 있고, 결과 차이가 생겼을 때 환경 변수를 제외하며 원인을 좁힐 수 있다. 다만 고정된 이미지는 보안 패치를 받지 않아 취약점이 누적될 수 있고, 오래된 의존성이 새 하드웨어에서 동작하지 않을 수 있다. 최신 환경 실행은 보안 갱신을 반영하고 유지 부담이 작지만, 결과 변화가 환경 때문인지 코드 때문인지 분리하기 어렵다. 재현 검증은 고정 환경에서 수행하고 실제 서비스는 최신 환경으로 운영하며, 두 경로의 결과 차이를 주기적으로 비교하는 이원 구성이 필요하다.
전량 데이터 스냅숏은 원본이 변경되거나 삭제되어도 검증할 수 있고 데이터 변화를 추적하기 쉽다. 그러나 대용량 데이터에서는 저장 비용이 급격히 늘고, 개인정보가 포함됐다면 사본 증가 자체가 위험이 된다. 참조 위치 기록은 저장 부담이 거의 없고 접근 통제를 원본 한 곳에서 관리할 수 있지만, 원본 갱신 뒤에는 같은 위치가 다른 내용을 가리킬 수 있다. 데이터 해시를 남기면 변경 여부는 탐지할 수 있다. 대용량 데이터에는 해시와 표본을 보존하고, 소규모 핵심 데이터에는 전량 스냅숏을 적용하는 차등 정책이 비용과 확실성을 함께 다룬다.
형상관리·데이터 관리·품질보증으로 운영한다
커밋 해시, 환경 이미지 다이제스트, 데이터 해시는 모두 형상 항목이다. 이들을 함께 베이스라인으로 관리해야 재현이 가능하다. 브랜치 참조 대신 불변 식별자를 사용하는 일은 형상 식별의 기본 원칙과 맞닿아 있다.
데이터 관리에서는 증거 저장소의 접근 통제가 원본 데이터와 같아야 한다. 보존 기간은 데이터 규모와 변경 빈도에 따라 차등 적용해 비용을 통제한다.
정기 재현 점검은 보존물의 유효성을 확인하는 검증 활동이다. 보존만으로 품질이 보장되지는 않는다. 재현 실패 기록과 검증 상태 갱신은 결함 관리 절차와 같은 구조로 운영할 수 있다.
2026년에 예상되는 변화
증거 묶음 생성은 실험 관리 도구의 기본 출력으로 통합되며 별도 구축 부담이 줄어드는 흐름이다. 컨테이너 이미지 다이제스트 기반 환경 고정은 재현성 요건의 사실상 표준으로 자리잡는 방향이다. 정기 재현 점검의 결과는 산출물 신뢰도 지표와 함께 공개되는 흐름으로 이어질 수 있다. 데이터 스냅숏의 개인정보 취급 기준도 별도 규범으로 정비되는 방향이다.