ICML 2026, LLM 리뷰 정책 파일럿 도입: 학계 동료 심사의 새로운 실험

왜 지금 이 정책인가

머신러닝 분야의 최대 학술 컨퍼런스 중 하나인 ICML이 2026년 대회에서 동료 심사 과정에 LLM 사용을 허용하는 파일럿 정책을 도입하며 학계의 주목을 받고 있다. 단순한 금지나 전면 허용 대신, 저자와 리뷰어 모두에게 선택권을 부여하는 이중 정책 프레임워크는 AI 도구가 학술 생태계에 깊숙이 침투한 현실을 정면으로 마주하려는 시도다. 이 실험의 결과는 향후 학술 커뮤니티 전반의 AI 활용 정책에 결정적인 선례를 남길 것으로 보인다.

동료 심사(peer review)는 학술 연구의 품질을 보증하는 핵심 제도다. 그러나 딥러닝 붐 이후 머신러닝 분야의 논문 제출 수는 폭발적으로 증가했고, 리뷰어들의 부담은 임계점에 달했다. ICML 2026에는 수천 편의 논문이 접수되었으며, 각 논문을 3인 이상의 전문가가 꼼꼼히 검토하는 기존 방식은 질적 저하를 야기하고 있다는 비판이 오랫동안 제기되어 왔다.

이런 상황에서 ChatGPT를 비롯한 LLM의 등장은 두 가지 상반된 반응을 불러일으켰다. 한편에서는 LLM이 리뷰 품질을 끌어올릴 도구가 될 수 있다고 주장하고, 다른 편에서는 AI가 심사를 대체할 경우 학술 신뢰성의 근간이 흔들린다고 우려한다. ICML 2026 프로그램 체어들(Alekh Agarwal, Miroslav Dudik, Sharon Li, Martin Jaggi)은 2025년 11월 두 차례의 커뮤니티 설문을 통해 다양한 의견을 수렴했고, 그 결과로 이중 정책 프레임워크를 설계했다.

Policy A와 Policy B로 나뉘는 리뷰 정책

ICML 2026의 LLM 리뷰 정책은 두 개의 상호 보완적 정책으로 구성된다.

⤢✕

Policy A: Conservative (보수적)

LLM 사용이 엄격히 금지된다. 리뷰어는 오직 자신의 전문 지식과 판단만으로 논문을 평가해야 한다. 이 정책을 선택한 리뷰어에게 할당된 논문의 저자 중 Policy A를 요구한 저자가 있다면, 해당 리뷰어는 반드시 Policy A를 준수해야 한다.

Policy B: Permissive (허용적)

제한적 범위 내에서 LLM 활용이 허가된다. 허용되는 사용 범위는 다음과 같다.

논문과 관련 연구를 이해하는 데 LLM 활용
작성된 리뷰를 다듬고 교정하는 데 LLM 활용
프라이버시 준수 LLM에 논문 내용 입력 허용

반면 다음은 명시적으로 금지된다.

LLM에게 논문의 강점과 약점을 분석하도록 요청
리뷰의 핵심 포인트나 개요를 LLM이 제안하도록 요청
전체 리뷰를 LLM이 작성하도록 요청
저자에게 보낼 질문을 LLM이 제안하도록 요청

Policy B에서 언급하는 "프라이버시 준수 LLM"이란 학습 데이터로 입력 내용을 활용하지 않고 데이터 보존 기간에 제한이 있는 서비스를 의미하며, 기업/기관 구독 LLM API, 학습 사용 거부 옵션이 명시된 소비자 구독, 자체 호스팅 LLM 등이 해당된다.

저자와 리뷰어가 각자 정책을 고르고, 시스템이 맞춘다

이 정책의 핵심은 저자와 리뷰어 모두에게 실질적인 선택권을 보장한다는 점이다.

저자는 논문을 제출할 때 Policy A(LLM 리뷰 완전 금지)를 요구하거나, Policy B(LLM 제한적 허용)를 허용하는 것 중 하나를 선택한다. 이는 AI 도구에 의한 자신의 연구 노출을 원하지 않는 저자의 권리를 보장한다.

리뷰어는 자신이 따르고자 하는 정책을 사전에 선언한다. Policy A를 요구하는 논문의 저자이기도 한 리뷰어는 반드시 Policy A 준수 의사를 밝혀야 한다.

시스템은 저자의 요구와 리뷰어의 선언이 호환되도록 배정한다. 각 리뷰어는 자신에게 배정된 모든 논문에 적용할 실제 정책을 리뷰어 콘솔에서 확인하게 된다.

제출부터 통보까지, 리뷰 일정표

ICML 2026의 전체 리뷰 일정은 다음과 같다.

단계	기간
논문 제출 마감	2026년 1월 28일
입찰(Bidding) 기간	1월 27일 ~ 2월 2일
제출 배정 기간	1월 29일 ~ 2월 11일
리뷰 기간	2월 12일 ~ 3월 12일
저자-리뷰어 토론	3월 24일 ~ 4월 7일
리뷰어-AC 토론	3월 31일 ~ 4월 12일
저자 통보	4월 30일

저자-리뷰어 토론은 리버틀(rebuttal), 리뷰어 후속(reviewer follow-up), 저자 후속(author follow-up)의 세 라운드로 진행되며, 각 라운드는 5,000자로 제한된다.

LLM 정책과 함께 온 심사 무결성 조치

LLM 정책과 함께 ICML 2026은 학술 심사 생태계의 건전성을 높이기 위한 추가 조치들도 도입했다.

얇게 썬 기여(Thinly Sliced Contributions) 규제

같은 주제의 소변형 논문을 대량으로 제출하는 관행을 근절하기 위해, 동일 저자가 ICML 2026에 제출한 모든 논문은 상호 참조가 의무화되었다. 관련 주제의 논문들은 본문에서 서로를 인용하고 논의해야 하며, 익명화된 PDF를 부록에 포함해야 한다. 위반 시 해당 제출물 또는 제출 저자의 전체 제출물이 데스크 리젝(desk rejection)될 수 있다.

프롬프트 인젝션 및 담합 방지

리뷰 프로세스 무결성을 침해하는 프롬프트 인젝션, 담합, 저품질 AI 생성 콘텐츠 제출 등의 행위에 대해 연쇄적 데스크 리젝이 적용된다.

발표 이후 커뮤니티가 마주한 현실의 모순

정책 발표 이후 머신러닝 커뮤니티 내에서 다양한 반응이 나오고 있다. 3월 초 Reddit의 r/MachineLearning 서브레딧에는 ICML 논문을 배정받은 리뷰어가 "Policy A(LLM 완전 금지)로 배정된 논문임에도 논문 자체가 완전히 AI로 작성된 것처럼 보인다"는 글을 올려 주목을 받았다. 해당 리뷰어는 결국 AC에 보고하고 최하점을 부여했다고 밝혔다.

이는 이 정책이 해결해야 할 근본적인 모순을 드러낸다. LLM 사용을 검증하기 위해 LLM 탐지 도구를 사용하는 것 자체도 Policy A 위반이 될 수 있으며, LLM 탐지 도구의 정확도에 대한 신뢰도도 아직 낮다. 리뷰어들이 "논문을 쓰는 데 들인 노력만큼만 리뷰에 노력을 기울인다"는 반응도 나오고 있어, AI 생성 논문과 AI 보조 리뷰 사이의 균형 문제가 새로운 화두로 떠올랐다.

파일럿이 남길 데이터와 다음 정책

ICML 2026이 이 이중 정책 프레임워크를 "파일럿"으로 규정한 점은 중요하다. 이번 대회에서 수집된 리뷰 데이터는 체계적으로 분석되어 향후 정책 수립의 근거 자료로 활용될 예정이다. 연구되는 주요 질문들은 다음과 같다.

Policy A와 Policy B 리뷰 간에 품질 차이가 존재하는가?
저자들은 어느 정책을 선호하며, 그 이유는 무엇인가?
Policy B의 허용 범위가 실제 리뷰 작성 방식에 어떤 영향을 미치는가?
LLM 사용이 리뷰의 다양성(관점, 비판의 깊이)에 영향을 주는가?

이 데이터는 향후 NeurIPS, ICLR 등 다른 주요 학술 컨퍼런스의 정책 결정에도 중요한 참고 자료가 될 것으로 예상된다.

균형을 찾으려는 학계의 실험

ICML 2026의 LLM 리뷰 정책 파일럿은 학술 커뮤니티가 AI 도구와 공존하는 방식을 모색하는 중요한 실험이다. 단순한 금지나 무제한 허용 대신, 저자와 리뷰어 모두의 자율성을 존중하면서도 인간의 판단이 심사의 핵심으로 남아야 한다는 원칙을 지키려는 균형적 접근은 주목할 만하다. 이 실험의 결과가 학술 출판의 미래를 어떻게 형성해 나갈지, 머신러닝 연구자들뿐 아니라 과학 커뮤니티 전체가 지켜보고 있다.