ICLR 2026 Outstanding Papers: 트랜스포머 간결성 이론·ParaRNN 병렬화·SimpleFold 단백질 폴딩

2026년 4월 23일부터 27일까지 브라질 리우데자네이루에서 개최된 ICLR 2026(International Conference on Learning Representations)은 19,525건의 제출 논문 중 27.4%의 수락률로 5,355편을 받아들였다. 이번 학회에서 Outstanding Paper로 선정된 연구들은 기계 학습의 이론적 토대를 재구성하는 작업들이다. 트랜스포머의 표현력을 간결성(succinctness) 개념으로 이론화한 "Transformers are Inherently Succinct", Apple의 ParaRNN이 비선형 RNN의 병렬 훈련으로 기존 대비 665배 속도 향상을 달성한 연구, 그리고 AlphaFold의 복잡한 아키텍처 없이도 경쟁력 있는 성능을 달성한 단순화된 단백질 폴딩 모델 SimpleFold가 대표적이다.

ICLR 2026, 역대 최저 수락률로 걸러낸 연구들

ICLR 2026은 수락률 27.4%로 최근 3년 중 가장 낮은 수락률을 기록했다. 19,525건의 유효 제출 중 13,763건이 수락·거절 결정을 받았으며, 총 5,355편이 최종 수락됐다. Outstanding Paper는 수천 편의 수락 논문 중 극소수만이 선정되는 최고 영예로, 이번에 선정된 논문들은 각각 이론, 아키텍처, 응용 분야에서 패러다임 전환적 기여를 인정받았다.

⤢✕

Outstanding Paper: Transformers are Inherently Succinct

Pascal Bergsträßer, Ryan Cotterell, Anthony Widjaja Lin이 공동 저술한 "Transformers are Inherently Succinct"는 트랜스포머 아키텍처의 표현력을 간결성(succinctness) 관점에서 이론화한 연구다. 기존 트랜스포머 연구가 "무엇을 표현할 수 있는가"에 집중했다면, 이 논문은 "얼마나 효율적으로 표현할 수 있는가"라는 새로운 질문을 제기한다. 간결성이란 같은 개념을 표현하기 위해 필요한 표현 크기(모델 파라미터 수, 레이어 수 등)의 효율성을 의미한다. 더 간결한 모델은 동일한 크기로 더 복잡한 개념을 표현할 수 있거나, 동일한 개념을 더 작은 크기로 표현할 수 있다.

이 논문의 핵심 주장은 트랜스포머가 표준적인 형식 언어 표현 방식들에 비해 지수적으로 더 간결하다는 것이다. 구체적으로, 트랜스포머는 선형 시제 논리(LTL, Linear Temporal Logic)와 RNN에 비해 지수적(exponentially)으로 더 간결하며, 유한 오토마타(finite automata)에 비해서는 이중 지수적(doubly exponentially)으로 더 간결하다. 이 결과는 트랜스포머가 왜 상대적으로 적은 파라미터로 복잡한 언어 패턴을 학습할 수 있는지에 대한 이론적 근거를 제공한다. 동시에 이 논문은 트랜스포머의 특성 검증이 EXPSPACE-완전(EXPSPACE-complete) 문제임을 증명하여, 트랜스포머의 행동을 형식적으로 검증하는 것이 계산 복잡도 관점에서 원천적으로 어렵다는 사실도 밝혔다.

⤢✕

이 이론적 결과는 트랜스포머 아키텍처 설계에서 논쟁이 되어온 깊이(depth) 대 너비(width) 트레이드오프 문제에 새로운 시각을 제공한다. 간결성 관점에서 트랜스포머의 표현력은 특정 구조적 특성에서 비롯되며, 단순히 파라미터 수를 늘리는 것 이상의 아키텍처 효율성이 존재함을 시사한다. 실용적 함의로는 트랜스포머 기반 모델이 왜 효율적인 스케일링 법칙을 따르는지, 그리고 왜 압축된 지식 증류(knowledge distillation)가 가능한지에 대한 이론적 설명을 제공한다는 점이 있다.

Outstanding Paper: ParaRNN — 비선형 RNN의 병렬 훈련

순환 신경망(RNN)은 시퀀스 데이터 처리에 이론적으로 강력한 모델이지만, 치명적인 한계가 있었다. 각 시간 단계의 계산이 이전 단계의 결과에 의존하는 순환 구조 때문에, RNN 훈련은 본질적으로 순차적일 수밖에 없었다. 이는 GPU의 병렬 처리 능력을 제대로 활용하지 못하게 만들어, 대규모 언어 모델 훈련에서 트랜스포머에 비해 수백 배 느린 속도를 감수해야 했다. 선형화된 RNN(Mamba, SSM 계열)은 이 문제를 선형 점화식을 통해 병렬 처리가 가능하게 함으로써 해결했지만, 선형화라는 제약이 비선형적 시퀀스 의존성을 모델링하는 능력을 제한한다는 단점이 있었다.

Apple 연구팀이 개발한 ParaRNN(Parallel RNN)은 비선형 RNN을 선형화 없이 병렬로 훈련할 수 있는 새로운 프레임워크다. 핵심 아이디어는 비선형 점화 관계들의 시퀀스를 단일 연립방정식 시스템으로 변환한 뒤, 뉴턴 반복법(Newton's iterations)과 병렬 접두 합(parallel prefix sums)을 조합하여 해를 구하는 것이다. 이 접근법은 비선형성을 포기하지 않으면서도 GPU의 대규모 병렬 연산을 활용할 수 있게 해준다. 결과적으로 전통적인 순차적 RNN 훈련 대비 665배의 속도 향상을 달성했다.

⤢✕

ParaRNN이 활성화한 가장 주목할 만한 성과는 70억 파라미터(7B) 규모의 고전적 RNN(GRU, LSTM) 훈련이 처음으로 가능해졌다는 점이다. 이 규모에서 적응된 GRU와 LSTM 모델은 트랜스포머 및 Mamba2와 경쟁하는 수준의 언어 모델링 퍼플렉시티(perplexity)를 달성했다. 이는 단순한 속도 향상을 넘어, 지난 수년간 트랜스포머의 그늘에 가려져 있던 RNN 계열 아키텍처가 대규모 언어 모델 분야에서 실질적인 경쟁자로 부상할 가능성을 열어준다. Apple은 ParaRNN 코드베이스를 오픈소스로 공개하여 연구 커뮤니티가 이를 자유롭게 활용할 수 있게 했다.

주목 논문: SimpleFold — 단순화된 단백질 폴딩 모델

DeepMind의 AlphaFold2는 단백질 구조 예측 분야를 혁신했지만, 그 아키텍처는 높은 복잡성을 가진다. Evoformer 블록, 다중 시퀀스 정렬(MSA) 처리, 등변 구조 모듈(equivariant structure module) 등 특화된 구성 요소들이 복잡하게 결합된 구조로, 재현·확장·수정이 어렵다는 한계가 있다.

Apple 연구팀이 ICLR 2026에 발표한 SimpleFold("Folding Proteins is Simpler than You Think")는 이 복잡성에 도전한다. SimpleFold는 텍스트-이미지나 텍스트-3D 모델에서 사용하는 범용 트랜스포머 블록만으로 구성된 단백질 폴딩 모델로, AlphaFold2의 특화 구성 요소들을 모두 제거하고도 경쟁력 있는 성능을 달성했다.

⤢✕

SimpleFold는 플로우 매칭(flow matching) 기반 최초의 단백질 폴딩 모델이다. 플로우 매칭은 확산(diffusion) 모델의 개선된 변형으로, 노이즈에서 데이터로의 변환 경로를 더 직선적으로 학습하는 방법이다. 이를 단백질 구조 생성에 적용함으로써, 복잡한 특화 모듈 없이도 단백질의 3차원 구조를 효과적으로 예측할 수 있음을 입증했다. 이 결과가 시사하는 바는 단순하지만 심오하다. 단백질 폴딩이 특수 목적의 아키텍처를 요구하는 것처럼 보였지만, 실제로는 충분히 강력한 범용 아키텍처와 올바른 학습 목표 설정만으로도 유사한 성능을 달성할 수 있다는 것이다.

연구들을 관통하는 질문: 이것은 정말 필수인가

ICLR 2026의 Outstanding Papers는 표면적으로 서로 다른 주제를 다루지만, 공통된 연구 철학을 공유한다.

복잡성의 이론적 분해가 첫 번째 공통점이다. "Transformers are Inherently Succinct"는 트랜스포머의 성능을 직관이 아닌 수학적 개념(간결성)으로 설명한다. 이는 경험적 관찰을 이론적 토대 위에 올려놓는 작업이다. 두 번째는 가정된 필수 복잡성의 제거다. ParaRNN은 RNN의 순차적 실행이 불가피하다는 가정을 깨뜨렸고, SimpleFold는 단백질 폴딩에 특화 아키텍처가 필수적이라는 가정을 반박했다. 두 연구 모두 "이것은 반드시 이렇게 해야 한다"는 분야의 암묵적 전제에 도전했다. 세 번째는 범용성의 승리다. SimpleFold는 범용 트랜스포머 블록이 도메인 특화 아키텍처를 대체할 수 있음을 보였고, ParaRNN은 범용 수치 최적화 기법(뉴턴 반복)이 딥러닝 훈련 병렬화에 적용될 수 있음을 보였다. 이는 딥러닝 연구에서 범용성과 특수성 사이의 균형에 대한 재고를 촉구한다.

ICLR 2026의 수락 논문들을 거시적으로 살펴보면, 몇 가지 두드러진 트렌드가 보인다. 이론적 기반 연구의 부활이 가장 눈에 띈다. 경험적 결과만으로 주도되던 AI 연구에서, "왜 작동하는가"를 설명하는 이론적 연구가 다시 주목받고 있다. 또한 효율성 연구의 다양화도 주목된다. 단순히 더 큰 모델을 더 많은 데이터로 훈련하는 방식에서 벗어나, 기존 아키텍처의 근본적인 한계를 해결하는 방향의 연구들이 높은 평가를 받고 있다. 생물학과 AI의 교차점에 대한 관심도 지속된다. SimpleFold를 포함한 여러 단백질 및 생체 분자 관련 연구들이 ICLR에서 중요한 위치를 차지하며, 과학적 발견 도구로서의 AI 역할이 더욱 강조되고 있다.

ICLR 2026은 트랜스포머 표현력의 수학적 근거를 밝힌 이론 연구, 수십 년간 해결되지 않았던 RNN 병렬화 문제를 665배 속도 향상으로 돌파한 엔지니어링 연구, 그리고 복잡한 도메인 특화 설계 없이도 단백질 구조를 예측하는 범용 아키텍처 연구를 함께 인정했다. 이 연구들의 공통점은 분야의 기성 가정에 수학적·실험적으로 도전했다는 것이다. 기계 학습 연구가 성숙해질수록, "왜 작동하는가"와 "정말 그래야만 하는가"라는 질문이 더욱 중요해진다.