AI Scientist-v2: 자율 AI가 처음으로 ML 학회 워크숍 논문 심사를 통과했다

Sakana AI가 개발한 AI Scientist-v2가 ICLR 워크숍에 완전 자율 생성 논문을 제출해 동료 심사를 통과했다. 인간의 개입 없이 가설 수립부터 실험 설계·실행·논문 집필까지 수행한 AI 시스템이 학술 게재 기준을 넘어선 최초 사례로 기록됐다. 이 성과는 학술 커뮤니티에 자율 AI 연구의 가능성과 위험성을 동시에 환기시켰다.

AI Scientist-v2가 하는 일

AI Scientist-v2는 Sakana AI, 브리티시컬럼비아 대학교(UBC), 벡터 연구소, 옥스퍼드 대학교의 협력으로 개발된 완전 자율 AI 연구 파이프라인이다. 연구 주제만 주어지면 문헌 검색, 가설 생성, 실험 설계·실행, 데이터 분석, 논문 작성, 자체 동료 심사까지 전 과정을 독립적으로 수행한다.

v1과의 가장 큰 차이점은 인간이 작성한 코드 템플릿 의존성을 완전히 제거했다는 것이다. v1은 미리 준비된 템플릿에 기반했지만, v2는 다양한 머신러닝 도메인에 걸쳐 처음부터 연구를 수행할 수 있다. 또한 선형적 파이프라인 대신 Best-First Tree Search(BFTS) 알고리즘을 채택해 연구 공간을 병렬로 탐색한다.

2025년 4월 발표된 논문 "The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search"(arXiv:2504.08066)에서 이 시스템의 전체 아키텍처와 평가 결과가 공개됐으며, 원본 AI Scientist 논문은 Nature에 게재되기도 했다.

가설부터 자체 심사까지 이어지는 파이프라인

AI Scientist-v2의 핵심은 실험 관리 에이전트(Experiment Manager Agent)가 전체 흐름을 조율하는 계층적 멀티에이전트 구조다.

⤢✕

가설 생성 단계에서 시스템은 주어진 연구 도메인의 코드와 문헌을 분석해 실험 아이디어를 자유롭게 생성하고, 각 아이디어를 흥미도(interestingness)·새로움(novelty)·실현 가능성(feasibility) 세 축으로 점수화한다. 마치 연구 초록이나 연구 제안서를 구상하듯 개방형 사고를 수행하도록 프롬프트가 설계됐다.

BFTS는 연구 공간을 트리 구조로 표현하고, 가장 유망한 브랜치를 우선 탐색한다. 중간 결과가 기대에 미치지 못하면 다른 경로로 전환하는 동적 탐색 전략으로, v1의 단선적 파이프라인이 가진 비효율을 극복했다.

논문 작성이 완료되면 AI 심사자 에이전트가 학회 채택 여부를 예측하는 자체 리뷰를 수행한다. Sakana AI에 따르면 이 자동 심사자는 인간 심사자와 유사한 수준으로 학회 채택 결정을 예측할 수 있다.

ICLR 워크숍 채택의 세부 사항

AI Scientist-v2는 ICLR 2025 워크숍에 완전 자율 생성 논문 3편을 제출했다. 결과는 다음과 같다.

항목	수치
제출 논문 수	3편
채택 기준 초과 논문	1편
채택 논문 평균 심사 점수	6.33점 (개별: 6, 7, 6)
인간 제출 논문 대비 상위 비율	약 상위 45%
워크숍 전체 채택률	약 70%

채택 기준을 넘긴 논문은 인간이 작성한 논문의 55% 이상을 상회하는 점수를 받았다. 단, 연구팀은 채택된 AI 제출물을 자진 철회하고 IRB 승인을 받아 모든 논문에 AI 생성임을 명시하는 워터마크를 삽입했다.

함께 드러난 신뢰성 문제

이 성과는 자율 AI 연구의 가능성을 실증했지만, 동시에 심각한 신뢰성 문제도 노출했다.

⤢✕

GPTZero가 ICLR 2026에서 수행한 분석에서는 동료 심사를 통과한 논문 50여 편 이상에서 AI 환각이 발견됐으며, NeurIPS 2025 채택 논문 4,841편을 스캔한 결과 수백 건의 환각된 인용이 확인됐다. 이 환각들은 3명 이상의 심사자를 통과했다.

외부 평가에서도 채택된 AI Scientist-v2 논문에서 가짜 결과(fabricated results)와 과대 평가된 신규성이 발견됐다. 실제 배포 전에 해결해야 할 신뢰성 과제가 상당하다는 점이 확인됐다.

저작권과 책임은 누구에게 귀속되는가

자율 AI가 논문을 완성했을 때 저작권과 책임은 누구에게 귀속되는가?

현재 학술 커뮤니티와 출판사들이 채택하고 있는 접근 방식은 지적 기여도와 투명성, 분산 책임을 기준으로 삼는 기여 기반 저자권 모델, 많은 저널이 저자와 심사자에게 AI 사용 여부를 서면으로 제출하도록 요구하는 AI 활용 의무 공시, Sakana AI처럼 AI 생성물임을 명시하는 기술적 표시를 삽입하는 워터마킹이다.

거짓 저자권(false authorship) 문제도 심각하다. 저명한 학자의 이름으로 AI 생성 논문이 무단 발행된 사례가 학술지에 보고됐으며, 연구자들이 자신의 출판 실적을 부풀리기 위해 AI를 활용하는 경우도 확인됐다.

인간과 AI, 어떤 협력 구조가 최적인가

AI Scientist-v2가 제기하는 더 근본적인 질문은 "AI가 연구를 대체할 것인가"가 아니라 "어떤 협력 구조가 최적인가"다.

⤢✕

Google AI Research가 2026년 4월 발표한 PaperOrchestra는 멀티에이전트 프레임워크로 문헌 리뷰 품질에서 AI Scientist-v2를 39~86%p 상회하는 성능을 보였다. 이는 자율 연구 AI 시장 자체가 빠르게 발전하고 있음을 시사한다.

연구자들은 AI를 "연구 가속기"로 활용하되, 가설의 의미 해석, 윤리적 검토, 최종 책임 귀속은 인간이 담당하는 휴먼-인-더-루프(Human-in-the-Loop) 구조를 권장한다. AAAI-26은 AI 보조 동료 심사 파일럿 프로그램을 운영해 심사 효율과 공정성을 평가하고 있다.

AI Scientist-v2의 ICLR 워크숍 채택은 자율 연구 AI의 기술적 가능성을 실증했다. 그러나 환각 인용, 결과 조작 가능성, 저자권 부재, 동료 심사 시스템 과부하라는 근본 과제가 해결되지 않은 채로 남아 있다. 특히 GPTZero와 포춘의 분석은 이미 주요 학회에서 AI 환각이 인간 심사자를 통과하고 있음을 보여주며, 이는 학술 생태계 전반의 신뢰성에 위협이 된다. 학술 커뮤니티가 직면한 과제는 자율 AI 연구의 문을 닫는 것이 아니라, 투명성 의무화·기여 기반 저자권 모델·강화된 검증 파이프라인을 통해 기술 발전의 속도와 학문적 엄밀성을 함께 높이는 것이다.