Seoul World Model, 서울의 도로를 그대로 옮긴 3D 비디오 시뮬레이션

강남 교차로, 한강변 도로, 서울 도심 골목 — 실제 서울의 거리 환경에서 수집된 영상 데이터로 학습된 Seoul World Model이 현실적인 3D 비디오 시뮬레이션을 생성하는 능력을 선보이며 국내외 AI 연구 커뮤니티의 주목을 받고 있다. 입력 프롬프트에 따라 동적으로 변화하는 도시 환경을 물리적으로 일관된 3D 비디오로 생성하는 이 모델은, 자율주행 데이터 증강부터 도시 계획 시뮬레이션, 로봇 훈련 환경 생성까지 여러 분야에서 응용 가능성을 열어가고 있다.

서울의 도로 위에서 태어난 모델

Seoul World Model은 국내 대학 및 연구기관 협력 프로젝트로, 서울 도시 환경에 특화된 비디오 생성 기반 월드 모델을 개발하는 것을 목표로 한다. 기존 글로벌 월드 모델 연구들이 북미와 유럽 도시 환경 데이터에 편향된 문제를 해결하고, 아시아 도시 특유의 복잡한 교통 패턴, 좁은 골목, 다양한 이동 수단이 혼재하는 환경을 정확히 시뮬레이션하기 위해 시작됐다. 서울 전역 도로망에서 수집된 수천 시간 분량의 다중 카메라 영상 데이터와 LiDAR 포인트 클라우드로 구성된 서울 특화 데이터셋, 단순한 2D 영상 합성을 넘어 3D 공간적 일관성을 유지하는 3D 일관성 비디오 생성, 차량·보행자·자전거·오토바이 등 교통 참여자의 현실적인 행동을 다루는 동적 객체 모델링, 맑은 날·비·눈·야간·일출 등 다양한 조건을 다루는 날씨 및 조명 제어가 프로젝트의 핵심 기여다.

월드 모델이 하는 일

월드 모델(World Model)은 AI 시스템이 세계의 동작 방식을 내부적으로 표현하고, 이를 바탕으로 미래 상태를 예측하거나 가상의 시나리오를 시뮬레이션하는 모델이다. 인간이 눈을 감고도 공이 어디로 굴러갈지 예측할 수 있는 것처럼, 월드 모델을 가진 AI 시스템은 실제 환경과 상호작용하지 않고도 다양한 행동의 결과를 상상하고 계획할 수 있다. 월드 모델이 AI 연구에서 중요한 이유는 샘플 효율성(sample efficiency)에 있다. 실제 환경에서 데이터를 수집하는 것은 비용·시간·안전 문제로 제한적인 반면, 월드 모델 기반 시뮬레이션은 무한히 다양한 시나리오의 훈련 데이터를 생성할 수 있다.

⤢✕

2018년 Ha와 Schmidhuber가 제안한 초기 월드 모델부터, 2022년 Wayve의 GAIA-1이 자율주행을 위한 현실적인 드라이빙 비디오를 생성하는 데 성공하면서 비디오 기반 월드 모델의 가능성이 열렸다. 2025-2026년에는 NVIDIA Cosmos, Google Genie 2 등 범용 물리 시뮬레이션 능력을 갖춘 대형 월드 모델이 등장하면서, Seoul World Model 같은 도메인 특화 모델 연구도 활성화됐다.

카메라 영상에서 3D 장면으로, 훈련 데이터 파이프라인

서울 전역 주요 도로와 이면 도로에 설치된 다중 카메라(전방·후방·좌우 사이드) 차량으로 다양한 시간대(출퇴근·심야·새벽)와 계절에 걸쳐 영상 데이터를 수집해 다양한 조명·날씨 조건을 커버했다. Structure-from-Motion(SfM)과 Neural Radiance Field(NeRF) 기술로 다중 카메라 영상에서 3D 장면을 재구성하고, 각 훈련 샘플에 깊이 정보와 카메라 포즈를 연계하는 3D 재구성 단계를 거친다. 정적 배경(건물·도로·신호등)과 동적 객체(차량·보행자)를 분리하고 각 동적 객체의 궤적과 속도 정보를 레이블링하는 동적 객체 분리, 악천후로 인한 가시성 저하·카메라 흔들림·센서 오류 등으로 품질이 낮은 데이터를 자동 필터링하는 데이터 품질 필터링이 뒤따른다.

3D 공간 일관성을 지키는 확산 아키텍처

Seoul World Model의 핵심 아키텍처는 3D 인식 비디오 확산 모델(3D-Aware Video Diffusion Model)이다.

⤢✕

핵심 혁신은 3D 공간 일관성 모듈이다. 일반 비디오 생성 모델이 프레임 단위로 2D 이미지를 예측하는 반면, Seoul World Model은 잠재 공간에서 3D 장면 표현을 유지하며 각 프레임을 이 3D 표현에서 렌더링하는 방식을 쓴다. 이를 통해 카메라 시점을 자유롭게 바꿔도 장면의 3D 구조가 일관되게 유지된다.

자율주행이 서울 데이터를 필요로 하는 이유

서울의 교통 환경은 글로벌 자율주행 데이터셋(KITTI, nuScenes 등)이 주로 커버하는 북미·유럽 환경과 여러 면에서 다르다. 서울의 극도로 혼잡한 교차로와 끼어들기 패턴, 좁은 골목과 불규칙한 주차 환경이 있는 이면도로, 전동킥보드·배달 오토바이·버스 전용 차로가 복잡하게 얽히는 다양한 교통 수단, 통계적으로 빈번한 무단횡단 패턴이 그렇다. Seoul World Model을 활용하면 이런 서울 특화 엣지 케이스를 포함한 수만 시간의 합성 훈련 데이터를 생성해 자율주행 AI의 한국 도로 적응력을 높일 수 있다.

도시 계획과 로봇, 그리고 디지털 트윈

서울시와의 협력을 통해 도시 계획 시뮬레이션 도구로 활용할 가능성을 검토 중이다. 특정 도로에 신호등을 새로 설치하거나 차선을 재배치하거나 보행자 구역을 확장할 경우 교통 흐름에 미치는 영향을 시뮬레이션해 정책 결정을 지원하는 방향이다. 도로 공사·행사·재해 발생 시 교통 흐름 변화를 시뮬레이션하는 교통 영향 평가, 다양한 신호 타이밍 시나리오를 비교하는 최적 신호 체계 설계, 횡단보도·보행로 설계 변경의 효과를 사전 검증하는 보행 환경 개선이 검토 대상이다.

배달 로봇·서비스 로봇·순찰 로봇 등 도시 환경에서 운용되는 로봇의 훈련 환경으로도 활용할 수 있다. 실제 서울 환경과 유사한 가상 환경에서 로봇이 다양한 시나리오를 경험하고 학습하면, 실제 배포 시의 현실 격차(sim-to-real gap)를 최소화할 수 있다. 관광객이 서울 방문 전 주요 명소와 거리를 가상으로 체험하거나, 서울시의 디지털 트윈 구축을 위한 기반 데이터로 활용하는 것도 가능하다. 실시간으로 업데이트되는 도시 환경과 연계하면 현재 서울의 실시간 상태를 반영한 동적 디지털 트윈 구현도 가능해진다.

드리프트와 비현실적 동작이라는 기술적 난제

30초 이상의 장기 비디오 시퀀스를 생성할 때 건물 외관, 도로 표면 텍스처 등이 점진적으로 변화하는 "드리프트" 현상이 발생했다. 이를 해결하기 위해 생성 과정에서 초기 프레임의 핵심 특징을 앵커로 유지하는 "특징 앵커링(Feature Anchoring)" 기법을 도입했다. 생성된 차량과 보행자의 움직임이 물리 법칙을 위반하는 경우(차량이 순간이동하거나 벽을 통과하는 현상 등)도 초기 모델에서 빈번했는데, 물리 시뮬레이터를 확산 모델의 가이던스로 활용하는 "Physics-Guided Diffusion" 접근법으로 이 문제를 완화했다. 신호등 준수, 차선 변경 규칙, 교차로 우선순위 같은 교통 규칙은 일반 물리 시뮬레이션만으로는 자연스럽게 학습하기 어려워, 실제 서울 교통 데이터에서 이런 규칙적 패턴을 추출해 모델의 행동 사전(behavior prior)으로 통합하는 방법을 개발했다.

국내 AI 연구 생태계가 얻는 것

Seoul World Model은 기술적 기여를 넘어 국내 AI 연구 생태계에 의미를 갖는다. 글로벌 빅테크가 주도하는 범용 AI 모델 경쟁에서 차별화된 경쟁력은 특정 도메인과 지역에 특화된 데이터와 최적화에서 나올 수 있음을 보여주는 도메인 특화 연구의 가능성, 서울시·교통연구원·대학·AI 스타트업이 협력해 데이터 수집부터 응용까지 전 과정을 분담하는 산학 협력 모델, 서울 도시 데이터가 해외 기업의 서버에 종속되지 않고 국내에서 관리되며 이를 기반으로 한 AI 모델이 국내 연구 커뮤니티의 자산으로 개방되는 데이터 주권이 그것이다.

글로벌 월드 모델과 무엇이 다른가

프로젝트	개발 주체	특화 분야	공개 여부
GAIA-1	Wayve (영국)	자율주행, 일반 도로	비공개
Cosmos	NVIDIA	물리 AI, 로봇	일부 공개
Genie 2	Google DeepMind	게임, 인터랙티브 환경	비공개
UniSim	Stanford	범용 물리 시뮬레이션	연구 공개
Seoul World Model	국내 컨소시엄	서울 도시 환경	부분 공개

글로벌 월드 모델 연구가 범용성을 추구하는 방향으로 발전하는 반면, Seoul World Model은 특정 도시 환경에 대한 깊은 특화로 차별화를 꾀한다. 이 접근법은 한국 도로에서 실제 서비스되는 자율주행과 로봇 시스템에 있어 더 즉각적인 실용적 가치를 제공한다. 국내 산학 협력을 통해 구축된 서울 특화 AI 인프라는 향후 한국의 자율주행, 스마트시티, 서비스 로봇 산업의 경쟁력을 높이는 기반 자산으로 성장할 잠재력을 가진다.