얀 르쿤의 JEPA와 월드 모델: LLM 대안으로 체화 에이전트를 설계하는 법

자기회귀적 언어 모델이 AI 발전의 주류로 자리 잡은 가운데, 튜링상 수상자 얀 르쿤은 이 방향이 진정한 지능으로 향하는 길이 아니라고 주장해왔다. 그가 핵심으로 내세우는 것은 Joint Embedding Predictive Architecture(JEPA)를 기반으로 한 월드 모델 패러다임이다. 2026년 초 르쿤은 Meta를 떠나 AMI Labs(Advanced Machine Intelligence)를 설립하고 10억 달러 이상의 시드 투자를 유치하며, 강화학습 없이 환경 상호작용만으로 스스로 기술을 습득하는 에이전트 실현에 본격적으로 나서고 있다.

자기회귀 LLM은 어디서 막히는가

르쿤이 지속적으로 지적해온 LLM의 문제는 단순한 성능 문제가 아니라 구조적 한계다. 첫째는 토큰 예측의 빈곤함이다. LLM은 다음 토큰을 예측하는 방식으로 학습하는데, 이 과정에서 언어의 표면적 패턴은 학습하되 세계의 인과적 구조나 물리적 법칙을 내재화하지 못한다. 인터넷 텍스트 분포에서 다음 토큰을 정확히 예측하는 능력이 아무리 뛰어나도, 임의 길이의 시퀀스를 그 분포에서 생성하는 능력을 의미하지는 않는다.

둘째는 감각적 기반의 부재다. LLM은 주로 텍스트로 훈련돼 물리적 세계를 진정으로 이해하지 못한다. 로봇이 어수선한 공간을 탐색하거나 자율주행 차량이 보행자의 행동을 예측하려면 물리 법칙과 인과성에 대한 내부 모델이 필요하다. 셋째는 계층적 계획의 불가능이다. LLM은 장기적 목표를 여러 단계로 분해하는 능력이 부족한데, 이는 복잡한 실세계 태스크 수행에 결정적 장애물이 된다. 넷째는 할루시네이션 문제다. 패턴 매칭과 기억에 의존하는 구조는 의료·산업 제어처럼 안전이 중요한 환경에서 치명적 오류를 낳을 수 있다.

⤢✕

JEPA: 픽셀이 아니라 잠재 공간을 예측한다

JEPA는 르쿤이 2022년 논문 "A Path Towards Autonomous Machine Intelligence"에서 제안한 아키텍처다. 핵심은 원시 데이터(픽셀, 단어)를 직접 재구성하는 대신 추상적 표현 공간에서 예측을 수행한다는 데 있다. 기본 JEPA는 세 요소로 구성된다. 입력 x와 y를 각각 추상 표현으로 변환하는 인코더, 한쪽 표현으로부터 다른 쪽 표현을 예측하는 예측기, 예측된 표현과 실제 표현의 불일치를 측정하는 에너지 함수다.

중요한 점은 JEPA가 비생성적(Non-generative) 구조라는 것이다. 픽셀이나 단어를 직접 생성하지 않고 잠재 공간에서의 예측만 수행한다. 이 덕분에 실세계 센서 데이터가 포함하는 예측 불가능한 노이즈와 무관한 엔트로피는 무시하고 의미 있는 표현만 학습하게 된다.

⤢✕

Meta AI는 JEPA를 이미지와 비디오 영역에 순차적으로 적용해왔다. I-JEPA(2023)는 이미지 패치의 일부를 마스킹하고 나머지 컨텍스트로부터 마스킹된 영역의 잠재 표현을 예측한다. 픽셀 재구성이 아닌 의미적 표현 예측으로 더 풍부한 특징을 학습하는 방식이다. V-JEPA(2024)는 비디오의 시공간 패치를 마스킹하고 예측해 동적 세계 이해로 확장했고, V-JEPA 2(2025)는 100만 시간 이상의 인터넷 비디오로 사전학습된 최초의 비디오 월드 모델로 시각적 이해와 예측에서 최신 성능을 달성하며 제로샷 로봇 제어를 가능하게 했다. 여기서 파생된 V-JEPA 2-AC는 액션 조건부 사후 훈련 방법론으로, 단 62시간의 무레이블 로봇 영상만으로 실제 로봇 팔을 제로샷으로 제어하는 데 성공했다. Cosmos 월드 모델 대비 16배 빠른 계획 속도(16초/액션 vs 4분/액션)를 냈다.

계층적 예측과 체화 인지의 결합

단순 JEPA를 확장한 Hierarchical JEPA(H-JEPA)는 여러 시간 스케일과 추상화 수준에서 동시에 예측을 수행하는 계층 구조다.

⤢✕

H-JEPA의 강점은 복잡한 태스크 분해에 있다. "커피 한 잔 만들기"라는 고수준 목표는 "컵 집기 → 물 채우기 → 커피 머신 작동" 같은 서브태스크로, 다시 각 서브태스크는 구체적 모터 명령으로 분해된다. 각 계층은 독립적으로 예측을 수행하면서 상위 계층의 목표 제약을 받는다.

르쿤의 비전은 여기서 한발 더 나아가 체화 인지(Embodied Cognition)의 원리를 AI 설계에 통합한다. 체화 인지란 지능이 추상적 계산이 아니라 몸과 환경의 상호작용을 통해 발생한다는 인지과학적 관점이다. 자연에서 유아가 반복적인 감각-운동 상호작용을 통해 세계 모델을 구축하듯, JEPA도 레이블 없이 입력의 일부에서 다른 부분을 예측하는 자기지도 방식으로 세계 구조를 학습한다. 르쿤은 자기지도 학습을 사용할 때는 중복성이 필요하고, 그 중복성이야말로 학습할 수 있는 대상이라고 설명한다.

보상 없이 기술을 습득하는 에이전트

AMI Labs가 목표로 하는 에이전트는 강화학습의 보상 신호 없이 환경 상호작용만으로 기술을 습득한다. 여기에는 몇 가지 이유가 있다. 실세계 태스크에서 적절한 보상 함수를 정의하기는 극히 어렵고, 전통적 강화학습은 인간이 수초에 배우는 것을 익히는 데도 수백만 번의 시도가 필요할 만큼 샘플 비효율적이며, 보상 해킹은 예기치 않고 위험한 행동을 유발할 수 있다. 대신 JEPA 기반 에이전트는 모델 기반 계획을 사용한다. 내부 세계 모델로 행동의 결과를 시뮬레이션하고, 목표에 도달하는 최적 행동 시퀀스를 찾는다.

⤢✕

JEPA 기반 에이전트는 원시 감각 데이터를 그대로 저장하지 않는다. 인코더는 환경의 핵심 구조적 특성만 담은 컴팩트 상태 표현을 만드는데, 이 표현은 미래 예측에 필요한 정보를 충분히 담으면서(충분성) 불필요한 노이즈는 제거하고(압축성) 에이전트의 행동과 그 결과를 표현할 수 있어야 한다(행동 연관성). LeWorldModel(LeWM) 연구는 이를 구체화해, 다음 임베딩 예측 손실과 가우시안 분포 강제 정규화 항 두 가지만으로 픽셀에서 안정적으로 훈련되는 최초의 JEPA를 제시했다.

LLM 기반 에이전트가 언어적 추론으로 계획을 세우는 것과 달리, JEPA 기반 에이전트는 모델 예측 제어(MPC)로 행동한다. 목표 상태를 잠재 공간에서 정의하고, 액터 모듈이 여러 후보 행동 시퀀스를 제안하면, 월드 모델이 각 시퀀스의 결과를 시뮬레이션하고 크리틱 모듈이 목표 달성 비용을 평가한 뒤, 최저 비용 시퀀스의 첫 번째 행동을 실행하고 새 관측으로 계획을 갱신하는 과정을 반복한다. 이 방식은 사전에 정의된 보상 함수 없이도 임의 목표에 대한 계획을 가능하게 하며, V-JEPA 2-AC가 처음 보는 환경에서 제로샷 물건 집기에 성공한 것도 이 원리를 따른다.

AMI Labs: 파리에서 시작된 10억 달러 베팅

2026년 1월 설립된 AMI Labs는 르쿤이 Meta를 떠난 후 세운 스타트업으로, 2026년 3월 유럽 역사상 최대 시드 라운드인 10억 3천만 달러를 35억 달러 기업가치로 유치했다. 본사는 파리에 두고 몬트리올·뉴욕·싱가포르에 사무소를 운영하며 글로벌 연구 거점을 구축하고 있다.

AMI가 LLM 대비 강조하는 기술적 차별점은 다음과 같이 정리된다.

특성	자기회귀 LLM	JEPA 기반 월드 모델
예측 공간	토큰 시퀀스	잠재 표현 공간
학습 방식	지도학습 (next token)	자기지도 학습
추론 방식	순차적 토큰 생성	잠재 공간 최적화
물리적 이해	텍스트 패턴 기반	환경 동역학 내재화
GPU 효율	기준	초기 벤치마크 2~10배 효율
주요 응용	텍스트 생성, 질의응답	로보틱스, 산업 제어, 의료

AMI Labs의 기술 팀 구성은 로보틱스와 체화 AI, 할루시네이션이 치명적인 의료, 지속적 상태 추적과 인과 추론이 필요한 산업 공정 제어 세 분야를 강하게 시사한다.

학계의 반론과 절충 지점

르쿤의 비전이 모든 연구자에게 수용되는 것은 아니다. LessWrong의 "Contra LeCun on Autoregressive LLMs are Doomed" 같은 반론도 제기된다. 반론의 핵심은 GPT-4 같은 LLM이 이미 일부 물리적 추론 능력을 보이며 스케일링이 많은 문제를 해결해왔다는 것이다. 다만 르쿤의 주장은 LLM이 완전히 무용하다는 것이 아니라, 언어 모델링만으로는 체화 지능에 도달할 수 없다는 것이다. AMI Labs의 35억 달러 기업가치와 세계적 투자자들의 베팅은 이 비전에 실질적 무게를 더하고 있다. 실제로 LLM-JEPA(2025) 같은 연구는 두 패러다임을 결합하는 방향을 탐색하며, JEPA의 구조적 표현 학습 능력과 LLM의 언어 이해 능력을 상보적으로 활용하는 하이브리드 접근도 주목받고 있다.

르쿤의 JEPA와 월드 모델 패러다임은 학문적 제안을 넘어, AMI Labs라는 실체와 V-JEPA 2-AC의 실증적 성과로 구체화되고 있다. 자기회귀 LLM이 언어의 표면을 학습한다면 JEPA는 세계의 구조를 학습한다는 차이는 로보틱스·의료·산업 AI의 미래 방향을 결정할 핵심 분기점이 될 것이다.