NVIDIA Cosmos 3 Edge와 온디바이스 물리 AI 월드모델

NVIDIA는 2026년 7월 16일 로보틱스와 온디바이스 물리 AI를 겨냥한 40억(4B) 파라미터 오픈 월드 파운데이션 모델 Cosmos 3 Edge를 발표했다. 클라우드에 연산을 되돌리지 않고 엣지 장비에서 물리 시뮬레이션과 행동 예측을 수행하는 모델이다. 발표와 함께 젠슨 황(Jensen Huang) CEO는 일본의 산업·로보틱스 기업 20여 곳이 참여하는 오픈 Cosmos 연합(Coalition)도 공개했다.

Cosmos 3 Edge는 데이터센터급 추론 역량을 로봇 등급 하드웨어에서 다루려는 시도다. 로봇과 자율주행, 비전 AI 에이전트가 주변 상태를 읽고 다음 상황을 가늠한 뒤 물리 행동으로 이어지는 흐름을 단일 모델 안에서 구성한다.

세계를 읽고 다음 행동으로 연결하는 모델

Cosmos 3 Edge는 현재 세계 상태를 이해하고(understand), 가능한 미래를 시뮬레이션하며(simulate), 그 결과를 행동으로 연결하는(act) 월드 파운데이션 모델(World Foundation Model, WFM)이다. 세 단계는 분리된 파이프라인이 아니라 공유 표현(shared representation)을 통해 이어진다.

전체 규모는 40억 파라미터이며, 이 가운데 20억(2B) Nemotron 기반 리즈너(reasoner)를 포함한 경량 백본을 사용한다. NVIDIA Jetson Thor에서 15Hz 로봇 제어를 제시했고, 추론마다 32개 행동(action)을 생성하며 640×360 관측 해상도를 사용한다. 4B급 모델 가운데 비전 분석 VANTAGE-Bench 1위와 로봇 정책 학습(robot policy learning) 선두 성능도 제시됐다.

배포 대상은 NVIDIA RTX GPU, DGX Spark·DGX 시스템, Jetson Thor, T2000·T3000 모듈이다. Hugging Face의 nvidia/Cosmos3-Edge로 공개됐으며, 특정 로봇과 환경에 맞추는 데 약 1일이 소요된다. 적용 범위는 로보틱스, 자율주행(AV), 공장·창고·병원 같은 스마트 스페이스다.

리즈닝과 확산 생성기를 함께 쓰는 구조

모델은 자기회귀(Autoregressive) 리즈너 타워와 확산(Diffusion) 생성기 타워를 공유 멀티모달 어텐션(shared multimodal attention)으로 묶은 Mixture-of-Transformers 설계다.

자기회귀 타워는 2B Nemotron을 기반으로 현재 세계 상태와 장면을 추론한다. 확산 타워는 미래 프레임과 행동 시퀀스를 만들며, 가능한 미래를 물리적으로 시뮬레이션하는 역할을 맡는다. 두 경로가 하나의 표현 공간을 공유하므로 이해, 예측, 시뮬레이션, 행동 사이의 모달 정보 손실을 줄이는 방식이다.

카메라 모션(9D), 자율주행(9D), 에고센트릭 모션(57D), 단일 암 로봇(10D), 듀얼 암 로봇(20D), 휴머노이드(29D)처럼 서로 다른 행동 공간도 지원한다. 4B 경량 백본은 Jetson Thor·T2000·T3000 같은 로봇 등급 장비에서 로컬 실행을 목표로 하며, 클라우드 왕복 지연을 없앤다.

⤢✕

이 구조의 제어 루프는 관측, 추론, 32개 행동 생성, 15Hz 액추에이터 제어로 닫힌다. 물리 환경에서 쓰이는 모델인 만큼, 미래 예측 결과가 곧바로 실제 장치의 동작으로 이어질 수 있다는 점이 운영 설계의 출발점이다.

배포 전에 함께 정해야 할 운영 경계

하드웨어는 Jetson Thor의 15Hz 제어를 기준으로 산정하고, 지연과 전력 예산에 따라 T2000 저전력 모듈 또는 T3000 고성능 모듈을 선택한다. 온디바이스 추론은 네트워크 왕복을 제거하며, 정밀도 축소(양자화)와 배치 튜닝은 프레임 지연 및 소비 전력 절감에 활용할 수 있다.

도메인 적응은 오픈 Cosmos 프레임워크로 로봇, 차량, 센서, 환경에 맞춰 약 1일 내 파인튜닝하는 방식이다. 배포 전에는 Isaac 로보틱스 플랫폼, Omniverse NuRec 라이브러리, Newton 물리 엔진, 디지털 트윈을 사용해 sim-to-real 검증을 수행한다. Cosmos WFM은 합성 데이터(synthetic data)를 생성·스코어링해 실물 데이터가 부족한 구간을 보완하는 데도 쓰인다.

안전성은 모델 자체의 성능과 별도 층으로 다뤄야 한다. 가드레일(guardrails)로 위험 행동을 걸러내고, 폐루프 제어에는 안전 정지(fail-safe)와 감시 계층을 이중화한다. 온디바이스 추론 로그와 행동 이력은 감사(audit) 대상으로 남기며, 모델 버전과 데이터 계보(lineage)는 함께 관리한다. 도입은 PoC(단일 셀)에서 라인 확장, 다중 사이트로 넓혀 가며 리스크를 통제하는 흐름을 따른다.

클라우드 모델과 규칙 제어 사이의 선택

비교 항목	온디바이스 4B 월드모델(Cosmos 3 Edge)	클라우드 대형 모델	규칙 기반 제어
지연(Latency)	15Hz 로컬 실시간, 네트워크 왕복 없음	수십~수백 ms 왕복, 네트워크 의존	결정적·즉시, 예측 없음
전력·비용	로봇 등급 저전력, 고정 하드웨어 비용	고성능 GPU 상시 과금, 대역폭 비용	최저 연산, 최저 비용
예측 능력	미래 시뮬레이션 기반 선제 행동	대형 모델 고정밀 예측 가능	미래 예측 불가, 사전 정의 규칙
적응성	약 1일 파인튜닝, 신규 환경 대응	재학습·재배포 부담 큼	규칙 수작업 재작성 필요
오프라인 동작	완전 자율, 통신 단절 무관	연결 필수	완전 자율
비정형 상황	월드모델로 일반화 대응	일반화 우수하나 지연 발생	예외 상황 취약
적합 영역	실시간 물리 AI·로봇 폐루프 제어	배치 학습·대규모 시뮬레이션	단순·정형 반복 작업

언어 중심 LLM이 텍스트 토큰 예측에 초점을 둔다면, Cosmos 3 Edge는 물리 상태와 행동을 예측하는 월드모델이다. 따라서 공간·물리 추론과 액추에이터 제어에 맞춰져 있다.

규칙 기반 제어는 정형 작업에서 결정적이지만, 비정형적이고 동적인 환경에서는 예외를 다루기 어렵다. 월드모델은 미래 시뮬레이션을 통해 선제 대응과 일반화를 노린다. 반대로 대규모 학습과 데이터 생성에는 클라우드가 유리하다. 실시간 폐루프 제어와 통신 단절 환경은 온디바이스가 맡고, 대규모 연산은 클라우드가 맡는 상호보완 구조가 된다.

물리 AI를 정보시스템에 편입할 때의 과제

물리 AI 추론이 데이터센터에서 엣지로 이동하면, 엣지 컴퓨팅 용량 산정과 실시간 제약(real-time constraint), 안전 무결성(safety integrity) 설계가 정보시스템 기획의 핵심 요소가 된다.

MLOps·EdgeOps는 온디바이스 모델의 버전, 데이터 계보, 행동 로그를 통합 관리해야 한다. 모델 드리프트(drift)를 감시하고 재검증 절차를 마련하는 일도 포함된다. 물리 세계에 직접 작용하는 자율 행동에는 안전성과 책임성(accountability)이 요구되므로, 가드레일·페일세이프·인적 감독(human oversight) 계층을 둔다.

산업 안전의 기능안전 IEC 61508, 스마트 스페이스 영상과 관련된 개인정보, AI 규제 요건은 아키텍처 단계부터 반영할 대상이다. NVIDIA 스택(Isaac·Omniverse·Jetson)을 중심으로 형성되는 벤더 종속(lock-in) 위험과 오픈 모델의 개방성도 함께 평가해야 한다. 전사 아키텍처(EA)와 정보화 전략계획(ISP)에는 물리 AI 도입을 반영하고, 디지털 트윈과 sim-to-real 검증을 품질보증 게이트로 편입할 수 있다.

엣지 물리 AI 생태계가 향하는 방향

Cosmos 연합은 FANUC·Fujitsu·Hitachi·Kawasaki·NEC·SoftBank·Sony·Yaskawa 등을 포함한 일본 20여 사를 축으로 공유 스택 기반의 산업 생태계 확대를 목표로 한다. 언어 중심 LLM 경쟁은 물리 AI와 월드모델 영역으로 넓어지고, 엣지에서의 실시간 추론이 차별화 요소로 부상한다.

4B급 이하 모델의 경량화와 양자화가 진전되면 엣지 성능과 전력 효율이 개선돼 저가 로봇과 소형 디바이스로도 물리 AI가 확산할 수 있다. 디지털 트윈, 합성 데이터, Newton 물리 엔진의 결합은 배포 전 검증을 산업 표준 프로세스로 정착시키는 기반이 된다. 자율 물리 행동의 안전·책임·감사 프레임워크 역시 규제와 산업 표준에서 구체화되는 흐름에 있다.

Cosmos 3 Edge의 의미는 세계 이해, 미래 시뮬레이션, 행동 생성을 하나의 온디바이스 폐루프로 구현했다는 데 있다. 자기회귀와 확산 타워의 공유 어텐션 구조, 15Hz 제어, 약 1일의 도메인 적응은 산업 현장의 적용 문턱을 낮추는 조건이다. 이 모델을 실제 시스템에 넣으려면 엣지 추론 인프라 산정, sim-to-real 검증 게이트, 자율 행동의 안전·거버넌스 체계를 함께 준비해야 한다.