게임 영상으로 물리를 학습하는 월드 모델과 로봇 전이

게임 화면과 로봇 카메라를 같은 문제로 다루는 모델

게임 플레이 영상에서 화면 변화와 버튼 입력의 관계를 학습한 에이전트가 있다. 이 모델은 Fortnite를 100시간 연속 플레이하고, 같은 가중치로 4족 보행 로봇을 구동한다. 거리에서 수집한 8분 분량 데이터로 파인튜닝한 사례도 제시됐다.

월드 모델(World Model)은 센서나 화면 관측에서 환경의 동역학, 즉 운동·힘·공간 관계를 익힌 뒤 다음 상태를 예측하는 모델이다. 사람이 행동하기 전 머릿속에서 결과를 가늠하듯, 에이전트도 내부 세계 모형으로 다음에 일어날 일을 추론한다.

이 구조에서는 실제 환경에서 반복 시행착오를 하지 않고도 내부 시뮬레이션에서 계획과 검증을 수행할 수 있다. 표본 효율과 안전성을 함께 확보하려는 이유다. 언어 토큰의 분포를 예측하는 LLM과 달리, 월드 모델은 시각 정보와 동역학 구조를 통해 행동이 물리적으로 어떤 결과를 낳는지 다룬다.

2026년에는 General Intuition의 $2.3B 밸류에이션, Yann LeCun의 AMI Labs가 JEPA 기반으로 받은 10억 달러 시드, Fei-Fei Li의 World Labs, NVIDIA Cosmos의 200만 다운로드가 이 흐름을 드러냈다. General Intuition은 Medal 플랫폼의 게임 클립과 버튼 입력 시점이 라벨링된 행동(action label) 데이터를 학습에 사용하며, 영상만으로 행동을 추론하는 경쟁사보다 우위가 있다고 주장한다.

General Intuition은 Khosla Ventures 주도로 3.2억 달러를 유치했고 누적 규모는 4.54억 달러다. Jeff Bezos, Eric Schmidt, Google DeepMind, MIT 연구진이 참여했다. Google DeepMind Genie 3는 초당 24프레임으로 탐색 가능한 3D 월드를 생성한다.

텍스트 중심 처리에서 영상 생성, 물리 시뮬레이션, 체화 추론(embodied reasoning)으로 컴퓨팅의 중심이 이동하는 신호로 볼 수 있다. 월드 모델은 환경을 직접 시뮬레이션하는 반면, LLM은 언어로 잘 포착되는 과제에서 시뮬레이션을 모방한다. 인과와 물리 추론을 구조적으로 담기 어렵다는 점은 LLM의 한계로 남는다.

이 접근은 게임 에이전트에만 머물지 않는다. 자율주행 시뮬레이션, 공장 자동화, 휴머노이드 보행 제어처럼 물리적 상호작용이 중심인 영역으로 확장되고 있다. 합성 물리 인지 학습 데이터, 시뮬레이터, GPU 인프라도 경쟁 축이 된다.

미래 상태를 예측해 정책을 훈련하는 경로

게임플레이 영상 코퍼스에서 미래 상태를 예측하고, 그 예측을 바탕으로 행동 정책을 학습한 뒤, 실세계 로봇으로 전이하는 흐름이다.

프레임과 입력을 함께 학습하는 상태 예측

화면 프레임 시퀀스는 시각 토큰으로 인코딩하고 행동 라벨과 정렬한다. 학습 목표는 자기회귀 비디오 예측과 역동역학(inverse-dynamics) 기반 행동 예측을 결합한 joint prediction objective다.

영상은 세계 변화가 조밀하게 담긴 표현이므로, 비반복적이고 개방형인 데이터에서 물리 사전지식(physics prior)을 학습할 수 있다. World Action Model(WAM) 계열인 DreamZero 14B는 image-to-video 디퓨전 백본 위에서 행동과 미래 시각 상태를 동시에 예측한다.

비디오와 행동을 같이 예측하면 세계의 물리 사전지식을 상속할 수 있다. 이 방식은 영상 전용 데이터만으로도 개방형 일반화와 신규 로봇의 소수샷 적응을 목표로 한다. 고차원 픽셀은 잠재 공간(latent space)으로 압축해 예측 비용을 낮추고, 긴 롤아웃에서 누적되는 오차를 억제한다.

내부 환경에서 정책을 시험하는 방식

월드 모델은 내부 훈련 환경, 즉 “the gym”으로 쓸 수 있다. 에이전트는 실제 환경을 반복해서 건드리지 않고 상상(imagination) 속에서 정책을 훈련한다.

모델 기반 강화학습(model-based RL)은 예측된 미래에서 보상 신호를 만들고 표본 효율을 높인다. 부분 관측, 센서 노이즈, 지연이 있는 상황에서도 LLM보다 견고한 행동을 산출하는 것이 목표다. Dreamer 계열은 잠재 공간의 상상 롤아웃으로 여러 제어 과제를 마스터했고, 4족 로봇 정책 전이에도 활용된다.

예측된 미래 상태에서 보상을 도출하므로, 실세계 보상 센서가 없는 상황에서도 정책 학습을 설계할 수 있다. 위험한 행동 역시 실제 장비 대신 내부 시뮬레이션에서 시도하고 폐기할 수 있어 물리적 손상 없이 정책을 개선한다.

게임에서 배운 구조를 다른 몸체로 옮기기

시각-동역학 구조를 먼저 학습하면 새로운 환경에 필요한 과제별 시행 횟수를 줄일 수 있다. 크로스 임바디먼트(cross-embodiment)는 게임 캐릭터와 로봇처럼 서로 다른 몸체 사이로, 영상 전용 데이터에서 얻은 표현을 옮기는 문제다.

신규 로봇이나 환경에는 8분 수준의 데이터로 미세조정하는 소수샷 적응(few-shot adaptation)이 제시된다. 과제 불변(task-invariant) 속성을 분리해 학습하면 게임 화면과 로봇 카메라 사이의 시각적 차이를 흡수할 수 있다. 시각-동역학 사전학습은 신규 도메인별 라벨링과 시행 비용을 줄이는 기반이 된다.

실시간 관측과 제어를 잇는 배포 경로

로봇에서는 카메라·센서 관측, 월드 모델의 상태 예측, 정책 네트워크의 행동 출력, 액추에이터 제어가 실시간 루프로 연결된다. sim-to-real의 핵심은 시뮬레이션이나 디지털 트윈에서 학습한 정책을 실세계 로봇에 무선으로 전개하는 데 있다.

엣지 추론에서는 지연을 줄이고 임베디드 디바이스에 맞춰 양자화와 경량화를 고려해야 한다. 공장 디지털 트윈에서 정책을 사전 검증한 뒤 로봇에 무선 배포하면 안전성과 실패율을 미리 측정할 수 있다. RGB 카메라, 깊이 센서, 관성 측정 데이터를 함께 사용하면 부분 관측 환경에서도 상태 추정 정확도를 확보할 수 있다.

⤢✕

물리 제어 과제에서의 선택 기준

행동 결과를 예측해야 하는 물리·게임·UI·로보틱스·물류에는 월드 모델을 우선 적용할 수 있다. 반대로 언어로 잘 포착되는 추론, 계획, 지식 검색은 LLM이 맡고 두 모델을 하이브리드로 구성한다.

부분 관측, 연속 제어, 실시간 피드백이 요구되는가가 판단 기준이다. 이 조건이 강하면 월드 모델이 적합하고, 자연어 인터페이스와 문서 처리가 중심이면 LLM이 맞는다.

시뮬레이션 학습을 실세계로 옮길 때는 공장 floor나 창고 디지털 트윈에서 로봇 정책을 먼저 학습하고 검증한다. 시각-동역학 구조 사전학습과 소량의 실세계 데이터를 결합해 reality gap을 보정한다. 유해·재난 환경에서 4족 로봇이 자율 탐색을 수행하는 과제처럼 인간 대체 가치가 큰 영역이 우선 대상이 될 수 있다.

게임 에이전트, 휴머노이드, 4족 로봇을 공통 월드 모델로 운용하면 단일 두뇌 표준화로 유지보수를 단순화할 수 있다. General Intuition은 2026년 여름 API 공개를 예고했고, 이를 통해 사내 로봇 플릿에 외부 모델을 결합하는 구성을 생각할 수 있다. CoreWeave, NVIDIA Cosmos 등 물리 인지 학습 데이터와 GPU 파트너십도 선결 조건이다.

비반복적이고 개방형인 영상 코퍼스는 물리 사전지식 학습의 전제다. 단일 게임이나 단일 환경에 치우치면 일반화가 떨어진다. 프레임과 입력의 동기화 오차를 최소화해야 역동역학 예측 품질을 유지할 수 있으므로 자동 라벨링 파이프라인 구축도 권장된다.

LLM과 강화학습 사이에서 맡는 역할

구분	월드 모델 (WAM)	LLM	전통 강화학습 에이전트
학습 데이터	게임/실세계 영상 + 행동 라벨	대규모 텍스트 코퍼스	환경 직접 상호작용 보상
핵심 표현	시각-동역학 상태 예측	언어 토큰 분포	상태-행동 가치/정책
실세계 일반화	강함 (물리 사전지식 내재)	약함 (언어 매개 한정)	환경 종속, 전이 취약
표본 효율	높음 (상상 롤아웃)	해당 없음	낮음 (대량 시행 필요)
부분 관측·노이즈	견고	취약	설계 의존
대표 사례	General Intuition, DreamZero, Cosmos	GPT 계열	DQN, PPO 단일 환경
한계	학습 효율 1자릿수 개선 과제	물리·인과 추론 부재	환경 간 일반화 어려움

월드 모델은 물리 세계 작업에서 LLM과 전통 강화학습을 보완하는 통합 패러다임으로 부상하고 있다. 셋은 하나가 다른 것을 완전히 대체하는 관계라기보다 역할을 나누는 구조에 가깝다.

자연어 목표 해석은 LLM이 맡고, 환경 동역학 예측과 제어는 월드 모델이 맡으며, 보상 기반의 미세 정책 최적화는 강화학습이 담당하는 계층형 아키텍처가 현실적인 해법이다.

AI 에이전트 거버넌스에서는 관측-예측-행동 루프의 추적성, 검증성, MLOps 통합이 새로운 통제 과제가 된다. 디지털 트윈에서의 사전 검증은 위험 관리 체계의 핵심이며, 모델 버전·학습 데이터 출처·실세계 배포 이력의 형상관리(SCM)와 모델 카드 기반 책임추적성은 감리와 인증의 점검 항목으로 부상한다.

2026년에는 월드 모델, 에이전틱 AI, 로보틱스의 수렴이 이어질 전망이다. LLM 수준의 도메인 일반화에 도달하려면 학습 효율을 한 자릿수 이상 개선해야 하며, VLA와의 우열 논쟁은 데이터 규모에 따라 계속될 것이다. 체화 AI 월드 모델에는 2026년 60억 달러 이상이 유입되고, LeCun AMI Labs(JEPA), World Labs, NVIDIA Cosmos가 인프라와 아키텍처 경쟁을 주도한다.