OM1과 Qwen-RobotWorld로 설계하는 임바디드 AI 런타임

로봇 제어의 중심을 런타임으로 옮긴 OM1

로봇마다 별도의 AI 제어 소프트웨어를 만드는 방식은 센서와 미들웨어, 추론 모델이 바뀔 때마다 통합 작업을 반복하게 만든다. OpenMind의 OM1(OpenMind 1)은 이 연결부를 Python 기반 플러그인 아키텍처로 분리한 모듈형 AI 런타임이다. 휴머노이드와 사족 보행 로봇을 포함한 여러 플랫폼에 같은 에이전트 구조를 적용하고, 자연어를 로봇 행동 인터페이스로 사용한다.

OM1의 입력부는 RGB·Depth 카메라, LiDAR, GPS, IMU 같은 이종 센서뿐 아니라 웹 데이터와 소셜미디어 스트림도 받아들인다. 새로운 센서 유형은 플러그인으로 확장한다.

추론부에는 LLM과 VLM 엔진이 자리한다. OpenAI, Gemini, DeepSeek, xAI 등의 모델을 플러그-앤-플레이 방식으로 교체할 수 있으며, Google ASR 기반 STT와 Riva·ElevenLabs 기반 TTS를 연결해 음성 인터페이스를 구성한다.

행동부는 ROS2, Zenoh, CycloneDDS 플러그인을 통해 로봇 플랫폼과 통신한다. Nav2 기반 자율 내비게이션과 SLAM 맵핑, 장애물 회피도 이 레이어에서 연결된다. 입력과 추론, 행동을 분리한 구조 덕분에 센서나 모델을 바꾸더라도 전체 제어 파이프라인을 다시 만들 필요가 줄어든다.

FABRIC이 맡는 로봇 간 조율

OM1의 FABRIC(Federated Autonomous Robot Blockchain Integration and Coordination) 프로토콜은 중앙 오케스트레이터에 의존하지 않고 이기종 로봇의 보안 신원과 상호운용성을 관리한다. 각 로봇은 신원을 검증하고 컨텍스트를 공유하며, 필요한 스킬을 실시간으로 교환한다. 로봇을 위한 보안 소셜 네트워크에 가까운 역할이다.

실시간 처리는 오프체인에서 수행한다. 로봇 하드웨어에서 실행되는 OM1, 센서 데이터 처리, LLM 추론과 의사결정, 물리적 액션, 멀티모달 데이터 퓨전, SLAM 맵핑이 여기에 포함된다. FABRIC은 이 로컬 실행 영역을 대체하기보다 여러 로봇이 서로를 식별하고 협업하도록 연결하는 계층이다.

자연어가 모터 명령으로 바뀌는 경로

⤢✕

자연어 명령은 STT와 NLU 전처리를 거쳐 LLM이 해석할 수 있는 입력이 된다. 추론 엔진이 행동 계획을 만들면 로봇 종류에 맞는 미들웨어 플러그인이 이를 실제 제어 명령으로 전달한다. 이후 센서 데이터를 다시 수집하고 SLAM과 경로 계획에 반영하면서 폐루프 제어를 이어간다.

OM1이 사전 구성된 에이전트로 지원하는 대상은 다음과 같다.

Unitree G1 휴머노이드
Unitree Go2 사족 보행 로봇
TurtleBot 4 교육용 로봇
UBTech 미니 휴머노이드
Gazebo 시뮬레이터
NVIDIA Isaac Sim

Qwen-RobotSuite가 역할을 나눈 방식

알리바바 Qwen 팀이 2026년 6월 발표한 Qwen-RobotSuite는 조작과 월드 모델링, 내비게이션을 독립된 파운데이션 모델로 다룬다.

Qwen-RobotManip은 Qwen3.5-4B 기반 비전-언어-액션(VLA) 모델이다. 로봇 데이터를 80차원 액션 벡터로 정렬하며, RoboChallenge Table30-v1에서 1위를 달성했다. 모델은 공개 GitHub 저장소와 함께 제공된다.

Qwen-RobotWorld는 언어 조건부 비디오 세계 모델이다. 약 20B 파라미터를 가진 60레이어 이중 스트림 MMDiT(Multimodal Diffusion Transformer)와 프리즌(Frozen) Qwen2.5-VL 인코더로 구성되며, EWMBench 종합 1위를 달성했다. 현재는 연구 논문으로만 공개되어 있다.

Qwen-RobotNav는 Qwen3-VL 기반 내비게이션 모델로 2B, 4B, 8B 크기를 제공한다. VLN-CE RxR에서 76.5% 성공률을 기록했으며, 제어 가능한 토큰 예산 인터페이스를 노출한다.

미래 장면을 만드는 이중 스트림 MMDiT

Qwen-RobotWorld에서는 의미 이해와 영상 생성이 별도의 스트림에서 진행된다. 이해 스트림은 프리즌 Qwen2.5-VL 인코더가 추출한 시맨틱 피처를 처리하고, 생성 스트림은 비디오 호환 VAE의 시각적 레이턴트를 다룬다. 두 스트림은 매 레이어의 조인트 어텐션에서 만나며, 노이즈 제거 과정 전체에 걸쳐 양방향 크로스모달 퓨전을 수행한다.

훈련에 사용한 EWK(Embodied World Knowledge) 코퍼스는 8.6M 비디오-텍스트 쌍과 200M+ 프레임으로 구성된다. 데이터 범위에는 20개 이상의 로봇 유형과 500개 이상의 액션 카테고리가 포함된다. 모델은 로봇 조작, 자율 주행, 실내 내비게이션, 인간-로봇 전환 장면에서 현재 관측을 바탕으로 물리적으로 근거 있는 미래 시각 궤적을 예측한다.

EWMBench에서 Qwen-RobotWorld는 모션 피델리티(HSD) 0.566을 기록해 2위 대비 33% 향상된 결과를 보였고, 장면 일관성은 0.914를 달성했다. 이는 오픈소스 모델 중 최고 성능이다.

자연어를 공통 행동 인터페이스로 쓴다

관절 각도나 속도 벡터를 직접 지정하는 저수준 제어와 달리, Qwen-RobotWorld는 “테이블 위의 컵을 집어서 선반에 놓아라” 같은 자연어 지시를 물리적으로 근거 있는 시각 궤적 예측으로 바꾼다.

이 방식은 OM1의 자연어 처리 경로와 맞물린다. OM1이 STT와 LLM으로 명령을 해석하고, Qwen-RobotWorld가 미래의 시각 상태를 예측한 뒤, Qwen-RobotManip 같은 VLA 모델이 예측 결과를 구체적인 모터 명령으로 변환하는 구조다. 자연어는 사람과 로봇 사이의 입력 형식에 머무르지 않고 런타임, 월드 모델, 행동 모델을 잇는 공통 인터페이스가 된다.

실제 로봇에 올리기 전 분리해야 할 검증 단계

물리적 로봇에 곧바로 에이전트를 배포하기보다 Gazebo나 Isaac Sim에서 행동을 먼저 검증하는 편이 안전하다. OM1은 같은 에이전트 코드를 시뮬레이터와 실제 하드웨어에서 실행할 수 있어 시뮬레이션과 현실 사이의 간극을 줄이는 데 유리하다.

센서 퓨전은 입력 모듈의 결합도를 낮추는 방향으로 설계한다. 카메라, LiDAR, IMU 전처리를 독립된 모듈로 구현하고 OM1 런타임에서 조율하면 센서 구성 변경에 대응하기 쉽다.

자연어 명령을 첫 번째 프로그래밍 인터페이스로 두면 전통적인 로봇 프로그래밍의 진입 장벽도 낮출 수 있다. OM1은 음성 명령과 텍스트 명령, 시각적 제스처를 함께 처리할 수 있어 비전문가가 로봇 행동을 지시하는 경로를 제공한다.

제한된 엣지 자원에서 VLA를 실행하는 법

2026년 엣지 AI 배포의 주요 과제는 제한된 컴퓨팅 자원으로 VLA 모델을 실시간 실행하는 것이다. CES 2026에서 발표된 NVIDIA Jetson T4000은 1,200 TFLOPS와 40-70W 사양으로 이런 엣지 실행을 뒷받침한다.

배포 단계에서는 INT8/INT4 모델 양자화와 TensorRT 추론 가속을 적용할 수 있다. NITROS(NVIDIA Isaac Transport for ROS)를 이용한 제로-카피 GPU-GPU 데이터 파이프라인은 노드 사이의 데이터 이동을 최적화한다.

모든 추론을 엣지에 넣을 필요는 없다. OM1의 모듈형 구조를 이용하면 복잡한 reasoning은 클라우드에서 처리하고, 지연에 민감한 실시간 제어는 엣지에 남기는 하이브리드 구성이 가능하다.

OM1·ROS2·NVIDIA Isaac의 역할 차이

세 플랫폼은 같은 문제를 두고 경쟁하기보다 로보틱스 AI 스택의 서로 다른 지점을 맡는다.

구분	OM1	ROS2 + Isaac	NVIDIA Isaac
목표 사용자	AI 개발자, 비전문 로봇 개발자	전문 로봇 공학자	고성능 산업용 로봇
AI 통합 방식	플러그-앤-플레이 LLM	수동 통합 필요	TensorRT 최적화
하드웨어 종속성	비종속적 (Python 플러그인)	ROS2 호환 하드웨어	NVIDIA GPU 필수
실시간 성능	클라우드-엣지 하이브리드	NITROS 제로-카피 파이프라인	<30ms 레이턴시
분산 조율	FABRIC 프로토콜	중앙집중식	중앙집중식
오픈소스 여부	오픈소스 (GitHub)	오픈소스	일부 상용
학습 곡선	낮음 (Python, 자연어)	높음 (C++, 전문 지식)	높음 (NVIDIA 생태계)

OM1의 강점은 빠른 프로토타이핑과 자연어 인터페이스, 하드웨어 비종속적 배포, FABRIC 기반 멀티로봇 조율이다. 신생 스타트업이나 연구소가 AI 로봇 시제품을 빠르게 만드는 상황에 맞는다.

ROS2와 Isaac의 조합은 생산 환경에서 검증된 안정성과 큰 오픈소스 생태계를 제공한다. Isaac ROS 4.0의 NITROS를 적용하면 처리량을 3-5배 높일 수 있어 산업용 생산 로봇에 적합하다.

NVIDIA Isaac은 Omniverse의 물리 기반 시뮬레이션과 합성 데이터 생성, TensorRT 기반 성능 최적화에 강점이 있다. GPU 인프라를 보유한 대기업에 맞는 선택지다.

레이어드 스택으로 수렴하는 로보틱스 AI

2026년 로보틱스 AI 생태계는 하나의 플랫폼이 전체 스택을 독점하기보다 각 계층을 조합하는 구조로 수렴하고 있다. OM1 같은 AI 런타임은 ROS2 미들웨어 위에서 동작하고, NVIDIA Isaac Sim 같은 시뮬레이터가 아래에서 검증 환경을 제공한다. Qwen-RobotSuite 같은 파운데이션 모델은 필요한 계층에 플러그인된다.

임바디드 AI 분야의 12개 예측(2026)은 이 시기에 엣지 AI 배포 병목이 드러나고, VLA 모델의 엣지 압축과 도메인 특화가 핵심 과제가 될 것으로 본다.

이 스택을 검토할 때는 RTOS와 AI 추론의 통합, 엣지-클라우드 하이브리드 아키텍처, 칼만 필터·상보 필터 기반 센서 퓨전, SLAM 원리를 함께 다뤄야 한다. AI 측면에서는 비전-언어-액션 정렬, 파운데이션 모델의 도메인 적응, Diffusion Transformer의 비디오 생성 응용, 지식 증류와 모델 경량화가 연결된다. 시스템 설계에서는 플러그인 아키텍처, FABRIC의 탈중앙화 조율, ROS2의 미들웨어 추상화, DDS(Data Distribution Service) 기반 실시간 통신이 주요 검토 대상이다.

OM1은 여러 로봇에 AI를 배포하는 런타임 문제를 맡고, Qwen-RobotWorld는 물리 세계를 이해해 미래 상태를 예측하는 월드 모델링 문제를 맡는다. 여기에 Jetson T4000 같은 엣지 하드웨어와 Qwen-RobotSuite의 행동 모델을 결합하면 자연어 입력부터 시각적 미래 예측, 실제 모터 제어까지 이어지는 임바디드 AI 파이프라인을 구성할 수 있다.