Kimodo, 문장 한 줄로 3D 모션을 만드는 NVIDIA의 실험

"공을 힘차게 던지다", "계단을 조심스럽게 오르다" 같은 문장을 입력하면 물리적으로 타당한 관절 움직임과 전신 동작이 담긴 3D 모션 데이터가 나온다. NVIDIA가 GTC 2026에서 공개한 Kimodo는 수백만 달러의 모션 캡처 장비와 전문 배우 없이도 다양하고 정확한 동작 데이터를 생성할 수 있게 하며, 로봇공학·게임·영화·헬스케어 산업의 근본적인 변화를 예고한다.

Kimodo가 하는 일

Kimodo는 NVIDIA Research의 물리 AI(Physical AI) 연구 부문에서 개발된 대형 생성 모델이다. 모델명은 빠르고 정확한 움직임을 생성하는 능력을 상징적으로 표현한다. 자연어 텍스트를 입력받아 60fps 이상의 고해상도 3D 모션 시퀀스를 생성하고, 인간형 신체 구조와 휴머노이드·사족보행 로봇 등 다양한 로봇 아키텍처의 모션을 동시에 지원한다. 중력·마찰·관절 각도 제한 같은 물리 법칙을 준수하는 현실적인 모션을 만들며, 속도·에너지 수준·개성(노인의 걸음걸이 대 운동선수의 걸음걸이 등) 같은 스타일 파라미터도 조절할 수 있다. 개별 동작 시퀀스를 자연스럽게 연결해 장시간의 복합 모션을 만드는 것도 가능하다.

인간과 로봇을 같은 틀로 표현하다

Kimodo는 모션을 시간 축에 따른 관절 각도와 위치의 시퀀스로 표현한다. 인간 모션은 표준 SMPL(Skinned Multi-Person Linear Model) 또는 SMPL-X 형식을 쓰고, 로봇 모션은 해당 로봇의 URDF(Unified Robot Description Format) 구조에 맞게 표현된다. 텍스트 이해에는 CLIP 또는 더 큰 멀티모달 언어 모델을 활용해 동작의 의미론적 특성을 추출하고, 이를 모션 공간으로 변환하는 확산(diffusion) 기반 생성 모델을 통해 최종 모션 시퀀스를 만든다.

⤢✕

핵심 혁신은 물리 제약 조건 레이어다. 기존 텍스트-모션 모델들은 시각적으로 그럴듯한 모션을 만들어도 실제 물리 환경에서 구현 불가능한 동작을 포함하는 문제가 있었다. Kimodo는 생성 과정 전반에 물리 시뮬레이터를 통합해, 생성된 모션이 실제 로봇이나 캐릭터에 즉시 적용 가능한 수준의 물리적 타당성을 갖추도록 보장한다.

로봇 훈련 데이터의 병목을 겨냥하다

로봇 훈련 데이터 생성은 자율 로봇 개발의 최대 병목 중 하나였다. 실제 로봇 시연 데이터를 수집하려면 물리적 하드웨어, 안전 환경, 전문 운영 인력이 필요하며 수천 시간의 수작업이 요구된다. Kimodo는 텍스트로 원하는 행동을 기술하면 해당 로봇의 물리적 제약을 준수하는 훈련 데이터를 대량으로 생성할 수 있게 하고, NVIDIA Isaac Lab과 통합되어 생성된 모션 데이터가 즉시 시뮬레이션 훈련 파이프라인에 투입된다. 동일한 작업의 다양한 변형 동작을 자동 생성하는 훈련 데이터 다양성, "불안정한 표면에서 균형 잡기"처럼 현실에서 수집하기 위험한 상황을 다루는 에지 케이스 커버리지, 한 로봇 플랫폼에서 생성한 모션 전략을 다른 로봇에 적응시키는 크로스 로봇 전이가 이 병목 해소의 구체적인 방식이다.

모션캡처 예산이 걸림돌이었던 게임과 영화

AAA 게임 개발에서 모션 캡처는 전체 개발 예산의 상당 부분을 차지하는 고비용 작업이다. Kimodo를 활용하면 텍스트 기반으로 NPC(Non-Player Character)의 다양한 행동 시퀀스를 생성하고 NVIDIA Omniverse를 통해 게임 엔진에 직접 적용할 수 있다. 동일한 적 캐릭터가 수백 가지 다른 공격 패턴과 이동 스타일을 갖도록 설정하는 무한 NPC 다양성, 지형·플레이어 행동·물리 환경에 반응하는 절차적 애니메이션 강화, 대규모 모션 캡처 예산 없이도 풍부한 캐릭터 애니메이션을 구현하는 인디 개발자 접근성이 게임 쪽의 활용 방식이다.

VFX 스튜디오에서는 군중 장면, 배경 캐릭터, 위험한 스턴트 장면의 사전 시각화에 Kimodo가 쓰일 수 있다. 감독이 원하는 장면을 텍스트로 기술하면 다양한 캐릭터 동작의 초안을 신속히 생성해 창의적 탐색 속도를 높인다.

보행 분석과 재활 훈련 데이터로

헬스케어와 재활의학에서는 환자의 비정상적 보행 패턴을 텍스트로 기술하고, 정상 보행 패턴과의 차이를 3D 모션으로 비교 분석하는 도구로 활용할 수 있다. 재활 운동 훈련 데이터를 생성해 AI 기반 물리치료 시스템의 학습 데이터로 쓰는 것도 가능하다.

전통 모션캡처와 무엇이 다른가

구분	전통 모션 캡처	Kimodo
비용	수천만 원~수억 원	API 호출 비용
시간	수일~수주	수초~수분
필요 장비	캡처 슈트, 카메라 배열	GPU 서버
인력	배우, 기술 팀	없음
데이터 다양성	촬영 시간에 비례	텍스트로 무한 변형
물리적 위험 동작	안전 제약으로 제한	제한 없음
수정 용이성	재촬영 필요	텍스트 수정으로 즉시 재생성

물리 인식 확산이라는 핵심 혁신

기존 확산 기반 모션 생성 모델은 외관상 현실적이지만 물리적으로 불가능한 모션(발이 지면을 뚫고 들어가는 현상 등)을 생성하는 문제가 있었다. Kimodo는 확산 과정에 물리 시뮬레이터를 직접 통합한 "시뮬레이션 인지 확산(Simulation-Aware Diffusion)" 방식을 채택한다. 인간의 모션 시퀀스에서 학습한 운동 패턴을 구조적으로 다른 로봇 플랫폼에 이전하는 "형태학적 적응(Morphological Adaptation)" 기술, 수십 초에 걸친 복잡한 모션 시퀀스에서 동작의 스타일과 에너지 수준이 일관되게 유지되도록 하는 장기 의존성 모델링도 함께 갖췄다.

아직 남은 한계

캐릭터가 도구를 사용하거나 다른 캐릭터와 복잡하게 상호작용하는 모션은 여전히 품질이 낮으며, 특히 손-물체 접촉 모델링이 주요 개선 과제다. 특정 문화권의 고유한 동작 방식(전통 무용, 의례적 동작 등)은 훈련 데이터의 편향으로 정확도가 떨어진다. 현재 버전은 고품질 모션 생성에 수 초에서 수 분이 소요돼 게임 내 실시간 생성에는 아직 적합하지 않으며, 차세대 버전에서 실시간 생성 지원이 목표로 제시된다.

NVIDIA 물리 AI 생태계에서 Kimodo의 자리

Kimodo는 NVIDIA의 물리 AI(Physical AI) 전략의 핵심 구성 요소다. NVIDIA는 로봇 시뮬레이션을 담당하는 Isaac Lab, 월드 모델인 Cosmos, 디지털 트윈인 Omniverse, 그리고 모션 생성을 맡는 Kimodo를 통합해 자율 로봇과 디지털 인간 개발의 완전한 파이프라인을 구축하고 있다. 이 생태계에서 Kimodo의 역할은 텍스트로 기술된 행동 의도를 물리적으로 실행 가능한 모션 명령어로 변환하는 "행동 언어"다. 자연어로 로봇에게 지시하면 Kimodo가 해당 지시를 물리적 동작 시퀀스로 변환하고, 이를 실제 로봇 제어 시스템에 전달하는 end-to-end 파이프라인이 가능해진다.