자율 연구 에이전트의 증거 사슬과 절차 통제 설계

연구 산출물보다 먼저 검토해야 할 것

Google이 공개한 ScientistOne은 문헌 조사, 해법 탐색, 논문 작성까지의 연구 과정을 연속해서 수행하는 자율 연구 시스템이다. 사람이 확인해야 하는 대상도 개별 답변이 아니라 연구 산출물 전체로 넓어진다.

이런 시스템에서는 최종 결론만으로 신뢰성을 판단하기 어렵다. 연구가 어떤 입력에서 시작됐는지, 어떤 문헌과 데이터를 채택했는지, 어떤 판단을 거쳐 실험과 서술로 이어졌는지를 추적할 수 있어야 한다. 잘 정리된 문장과 검증 가능한 문장은 다르기 때문이다.

ScientistOne은 참고문헌 337건에서 환각 인용 0건, 점수 검증 12/12 통과, 방법–코드 정합 14/15를 기록했다. 5개 시스템 75편 비교에서는 유일하게 체계적 실패가 없었다. 반면 다른 시스템은 환각 인용률 최대 21%, 점수 검증 통과율 최저 42%, 방법–코드 정합 20~80%로 나타났다.

자율 연구를 운영할 때 핵심은 모델이 결론을 생성했다는 사실이 아니라, 생성 과정 전체를 검토 가능한 기록으로 남기는 데 있다.

연구 단계를 통제 가능한 단위로 나누기

연구 프로세스는 문제 정의, 문헌 조사, 가설 수립, 실험 설계, 실행, 결과 해석, 서술로 구분할 수 있다. 단계 경계가 없으면 어디에서 검토하고 개입해야 하는지도 정할 수 없다.

각 단계에는 다음 단계로 넘길 수 있는 종료 조건이 필요하다. 종료 조건이 명확하면 진행 여부를 자동으로 판단할 수 있고, 오류가 발견됐을 때 재실행해야 할 범위도 특정할 수 있다.

단계별 산출물 형식도 고정하는 편이 낫다. 자유 형식의 서술만 남으면 검토자는 매번 다른 구조의 결과를 읽어야 한다. 산출물에 근거 식별자 필드를 포함하면 비어 있는 근거를 기계적으로 찾아낼 수 있다.

문헌 원문, 사용 데이터, 실행 코드는 요청 시점의 스냅숏으로 보존해야 한다. 링크만 기록하면 시간이 지난 뒤 동일한 대상을 확인하지 못할 수 있다. 채택한 자료뿐 아니라 채택하지 않은 후보와 배제 사유까지 남겨야 선택의 맥락을 설명할 수 있다.

⤢✕

승인 게이트는 오류가 멀리 번지는 지점에 둔다

모든 단계에 사람 승인을 넣으면 자동화로 얻을 수 있는 이점이 사라진다. 반대로 전 과정을 자율 실행에 맡기면 문제 정의 단계의 잘못된 전제가 마지막 문장까지 전파될 수 있다.

초기에는 문헌 수집, 데이터 정리, 반복 실험처럼 판단 오류의 하류 영향이 작은 작업부터 자율 수행 대상으로 삼을 수 있다. 문제 정의와 결론 도출은 자율 수행 대상에서 제외하는 것이 안전하다.

문제 정의와 실험 설계 뒤에는 사람 승인 게이트를 둔다. 이 구간의 오류는 이후 단계 전체에 영향을 미치기 때문이다. 승인 게이트의 위치와 검토 항목은 문서로 고정해야 하며, 검토는 결론의 설득력보다 근거가 존재하는지와 산출물 간에 서로 일치하는지에 초점을 맞춘다.

실행 환경과 예산도 연구 이력의 일부다

에이전트가 생성한 코드는 격리 환경에서 실행해야 한다. 자율 실행은 의도하지 않은 부작용으로 이어질 수 있으므로 네트워크 접근, 파일 쓰기 범위, 실행 시간 상한을 환경 수준에서 제한한다.

결과물에는 결과를 다시 만들기 위한 재현 스크립트를 함께 포함시킨다. 사후에 재현 절차를 만들려 하면 실패하기 쉽다. 생성 직후 스크립트를 자동 실행해 실제 동작 여부를 확인하는 과정도 필요하다.

자율 루프는 종료 조건이 불명확하면 계속 실행될 수 있다. 단계별 토큰·계산 예산에 상한을 두고, 초과하면 중단하도록 설계한다. 중단 시점의 상태를 저장해 승인 뒤 재개할 수 있어야 한다.

버전별 산출물, 사용 모델, 프롬프트, 근거 스냅숏은 분리하지 않고 하나의 이력 단위로 보관한다. 오류가 발견됐을 때 어떤 조건에서 결과가 만들어졌는지 확인하고, 원본과 재실행 결과의 변화를 비교할 수 있기 때문이다.

자율 수행과 사람 승인의 선택

구분	전 과정 자율 수행	단계별 사람 승인
진행 속도	빠름	느림
오류 전파 범위	최종 산출물까지	해당 단계에서 차단
검토 부담	사후 전수	단계별 분산
계산 비용	재실행 시 큼	조기 차단으로 절감
인력 투입	낮음	상시 필요
산출물 신뢰도	기록 구조에 의존	상대적으로 높음

전 과정 자율 수행은 대기 시간이 없어 반복 실험을 대량으로 처리하고 인력 투입을 최소화할 수 있다. 다만 초기에 잘못 설정된 전제가 끝까지 이어질 수 있으며, 오류를 발견하면 전 과정을 다시 실행해야 한다.

단계별 승인은 오류를 발생 지점에서 차단하고 재실행 비용을 낮춘다. 검토 부담도 시간에 따라 분산된다. 대신 승인 대기가 병목이 되어 자동화 속도의 이점이 줄어들 수 있다. 따라서 모든 단계에 일률적으로 적용하기보다 하류 영향이 큰 일부 단계에만 게이트를 두는 방식이 적합하다.

에이전트 기반 연구 보조는 단계 간 맥락을 이어서 완결된 산출물을 만들 수 있다. 그러나 중간 판단의 근거가 남지 않으면 검토자는 어디부터 확인해야 할지 알기 어렵고, 사실상 검증도 할 수 없다. 개별 질의응답 방식은 응답마다 방향을 조정하고 오류 누적을 막기 쉽지만, 맥락을 반복해서 제공하고 결과를 사람이 조립해야 한다. 근거 식별자를 강제하는 기록 구조가 있다면 에이전트 기반 방식의 검토 부담은 예외 확인 수준으로 줄어든다.

중간 기록을 전량 보존하면 판단이 어긋난 지점의 추적, 동일 조건 재실행, 감사 요구 대응이 가능하다. 대신 문헌 원문과 데이터 스냅숏이 쌓이면서 저장 비용과 관리 대상이 늘어난다. 최종 결과만 남기는 방식은 단순하지만, 결과가 의심스러울 때 처음부터 다시 실행하는 것 외에는 선택지가 없다. 근거 유형별 보존 기간을 달리 정해 핵심 증거를 장기 보존하는 절충이 필요하다.

연구 관리와 지식관리로 이어지는 설계

자율 연구 시스템의 성과는 산출량보다 근거 무결성과 재현 성공률로 판단해야 한다. 어떤 지표를 선택하느냐가 시스템이 최적화하는 방향을 결정한다. 연구 과제별 계산 자원을 사전에 배정하고 소진 시 자동 중단하는 방식도 R&D 비용 통제의 기본 수단이다.

단계 분해와 종료 조건의 명시는 검토 지점을 만들기 위한 전제다. 경계가 없는 자동화는 통제할 수 없다. 승인 게이트를 선택적으로 배치하는 일은 통제 강도와 처리 속도 사이의 상충을 조정하는 설계 결정이다.

배제한 후보와 그 사유를 기록하면 조직의 탐색 이력이 지식 자산으로 남는다. 근거 스냅숏은 시간이 지난 뒤에도 지식의 검증 가능성을 유지하는 기반이 된다.

증거 사슬을 중심으로 바뀌는 평가 기준

자율 연구 시스템은 산출물 품질만이 아니라 증거 사슬의 무결성으로 평가되는 방향으로 이동하고 있다. 승인 게이트와 개입 지점 설계는 에이전트 프레임워크의 기본 구성 요소가 될 수 있으며, 근거 스냅숏 저장소도 연구 인프라에서 요구되는 구성으로 자리 잡을 수 있다.

자율 생성 산출물의 저자 표기와 책임 소재 역시 학계와 산업계가 정립해야 할 규범이다. 연구 자동화의 신뢰성은 최종 결론의 형태가 아니라, 그 결론에 이르는 과정이 다시 검토되고 재현될 수 있는지에 달려 있다.