로봇 추론과 제어를 분리하는 응답 주기 설계

계획과 관절 제어는 같은 속도로 움직일 수 없다

Gemini Robotics 2는 실제 관절 명령을 만드는 VLA 본체 모델과, 물리 공간 이해·객체 관계 파악·작업 계획을 맡는 Gemini Robotics ER 2를 분리해 공개됐다. ER 2는 Google AI Studio에서 제공되고 Gemini Enterprise Agent Platform에서는 비공개 프리뷰로 운영된다.

이 구성의 출발점은 응답 주기 차이다. 무엇을 할지 판단하는 추론은 수백 밀리초를 사용해도 되지만, 균형 유지와 관절 제어는 훨씬 짧은 주기로 계속 실행돼야 한다. 두 일을 하나의 실행 경로에 묶으면 느린 추론이 제어 루프를 멈추게 한다.

계층을 나누면 각 모델을 다른 빈도로 실행할 수 있다. 추론 모델만 더 큰 모델로 교체하거나 클라우드에 배치하는 선택도 가능하다. 대신 두 계층 사이의 인계 형식, 추론이 늦을 때의 제어 동작, 더 이상 유효하지 않은 계획을 폐기하는 기준을 명확히 정해야 한다.

제어 루프를 기다리게 하지 않는 계층 경계

제어 계층은 고정 주기로 돌아가고, 추론 계층은 비동기적으로 새 계획을 만든다. 제어 주기가 추론 완료를 기다리는 구조는 성립하지 않는다. 일반적으로 추론 1회 동안 제어는 수십~수백 회 실행되며, 이 비율은 지연을 흡수할 버퍼 크기와 직접 연결된다.

각 계층은 평균 실행 시간이 아니라 최악 실행 시간을 기준으로 예산을 관리해야 한다. 간헐적인 지연도 제어 안정성에 영향을 주기 때문이다.

추론 결과는 자유 텍스트가 아니라 고정된 인계 스키마로 받아야 한다. 최소한 목표 대상, 목표 자세, 접근 제약, 유효 시간이 포함돼야 한다. 스키마 버전을 관리하고 하위 호환을 유지하면, 추론 모델을 바꾸더라도 제어 계층을 동시에 교체하지 않을 수 있다. 형식 검증에 실패한 출력은 제어로 넘기지 않고 폴백 경로로 보낸다. 이 검증 단계가 상위 계층의 오류가 하위 계층으로 번지는 것을 막는 경계가 된다.

최근의 유효한 계획은 버퍼에 유지한다. 새 계획이 도착하기 전까지 제어 계층은 해당 계획을 추종할 수 있고, 버퍼가 없다면 추론 지연은 곧 동작 정지로 이어진다. 다만 버퍼된 계획에는 잔여 유효 시간을 함께 둬야 한다. 그렇지 않으면 이미 상황과 어긋난 계획이 계속 실행될 수 있다.

⤢✕

계획이 낡았음을 판단하는 조건

대상 물체 이동, 사람 진입, 자세 이탈, 유효 시간 만료는 계획을 무효화하는 트리거로 정의할 수 있다. 트리거가 발생하면 즉시 안전 동작으로 전환하고 재계획을 요청해야 한다. 무효화만 선언하고 대체 동작을 두지 않으면 제어 계층은 공백 상태에 빠진다.

추론 실패, 통신 두절, 스키마 위반에 대한 기본 동작도 사전에 결정해야 한다. 대부분의 경우 안정 자세 유지는 안전한 기본값이 될 수 있다. 폴백에 진입하는 조건뿐 아니라 정상 경로로 복귀하는 조건까지 명시해야 수동 개입 없이 재개할 수 있다. 사람이 근처에 있을 때는 무인 환경의 기본 동작과 별도의 안전 동작을 둔다.

추론 계층이 어떤 상태를 근거로 계획을 세웠는지 판단하려면 상태 스냅숏에도 시각을 포함해야 한다. 스냅숏 주기와 추론 주기를 맞추지 않으면 사용되지 않는 데이터만 늘어난다.

인터페이스와 운영 기준을 함께 고정한다

응답 시간이 한 자릿수 배 이상 차이 나는 기능은 계층 분리 후보가 된다. 반대로 상태를 지나치게 많이 공유해야 하는 기능은 인계 데이터가 커져 분리 이득이 줄어든다.

인계 스키마는 문서화하고 두 계층 담당 조직이 함께 소유해야 한다. 한쪽만 임의로 바꾸면 다른 쪽이 조용히 깨질 수 있다. 스키마 변경에는 버전 증가와 병행 지원 기간이 따라야 한다.

추론 응답이 정해 둔 지연 상한을 넘으면 해당 계획은 폐기하고 기존 버퍼를 유지한다. 늦게 도착한 계획은 이미 현장 상태와 맞지 않을 수 있다. 상한 초과 빈도는 별도 지표로 관찰한다. 빈도가 높아지면 모델 크기나 배치 위치를 다시 검토할 신호가 된다.

추론 지연, 제어 주기 지터, 폴백 진입 횟수는 계층 분리 설계의 상태를 보여 주는 운영 지표다. 추론 입력·출력과 제어 명령은 각자 다른 주기로 기록하되 공통 시각 기준을 사용해야 사후 분석에서 서로 정렬할 수 있다. 제어 로그는 양이 크므로 보존 기간과 샘플링 정책을 별도로 정한다. 모델 버전과 스키마 버전의 조합도 형상으로 관리해야 재현이 가능하다.

분리 구조가 감수하는 것과 얻는 것

구분	추론·제어 계층 분리	단일 모델 통합 처리
제어 응답성	고정 주기 보장	추론 지연에 종속
설계 복잡도	높음	낮음
계층별 교체	독립 가능	불가
배치 유연성	클라우드·로컬 분산	단일 위치
실패 격리	계층 단위	전체
인계 손실	스키마 제약 존재	없음

분리 구조는 제어의 고정 주기를 지켜 균형과 안정성을 확보하고, 추론 모델 교체나 클라우드 배치를 독립적으로 선택할 수 있다. 반면 인계 스키마 설계, 버퍼 관리, 계획 무효화 조건을 추가로 다뤄야 하며, 스키마가 표현하지 못하는 정보는 손실될 수 있다.

통합 처리 방식은 인계 손실이 없고 구조가 단순하다. 그러나 추론 지연이 곧 제어 지연이 되므로 실시간 제약을 만족하기 어렵고 계층별 최적화 여지도 작다. 실시간 균형 제어가 필요한 이동형 로봇에서는 분리가 사실상 필수이며, 제어 주기 여유가 큰 고정형 조작 로봇에서만 통합 처리가 선택지가 된다.

재계획 빈도도 별도의 선택지다. 고빈도 재계획은 환경 변화에 빠르게 적응하고 계획이 낡을 가능성을 줄이지만, 추론 호출 비용과 연산 부하가 커지며 계획 변경이 잦아져 동작이 불안정해질 수 있다. 저빈도 계획 후 추종은 비용이 낮고 동작이 일관되지만, 변화 감지와 무효화 조건 설계에 더 크게 의존한다. 저빈도 계획을 기본으로 두고 무효화 트리거가 발생했을 때만 재계획하는 사건 기반 혼합은 비용과 적응성을 함께 다루는 방식이다.

클라우드 추론은 더 큰 모델을 쓸 수 있고 업데이트를 즉시 반영하며 로봇 측 연산 자원을 절약한다. 네트워크 지연과 단절이 계획 공백으로 이어지고 데이터가 외부로 나간다는 제약도 있다. 로컬 추론은 지연이 안정적이고 통신이 끊겨도 동작하며 데이터가 현장에 머무르지만, 모델 크기 제한과 배포·갱신 관리 부담이 따른다. 온디바이스 모델이 함께 제공되는 경우에는 로컬을 기본 경로로 두고 복잡한 계획만 클라우드로 승격하는 이중 배치가 가용성과 능력을 함께 취할 수 있다.

배포 전에 실패 경로를 재현한다

검증 시나리오에는 추론 지연 주입, 통신 두절, 스키마 위반, 계획 무효화가 각각 포함돼야 한다. 각 시나리오의 통과 여부를 배포 전 필수 관문으로 두면 문서에만 존재하는 폴백을 걸러낼 수 있다.

하드 실시간 제약이 있는 제어 루프는 평균 지연이 아니라 최악 실행 시간을 기준으로 설계해야 한다. 지연 흡수 버퍼와 유효 시간 관리는 비동기 결합에서 데이터 신선도를 다루는 방식이며, 계층 경계의 스키마 검증은 방어적 프로그래밍을 적용하는 지점이다.

2026년에는 임바디드 추론 모델과 제어 모델을 분리 제공하는 구성이 로봇 플랫폼의 표준 형태로 정착하는 흐름이 나타나고 있다. 계획·제어 인계 스키마의 사실상 표준이 형성되면 이종 제어기를 조합할 가능성도 열린다. 온디바이스 추론 제공이 확대되면서 로컬 기본·클라우드 승격 이중 배치가 일반화되고, 추론 지연·제어 지터·폴백 진입 횟수를 묶은 관측 지표도 로봇 운영 대시보드의 항목으로 편입되는 방향이다.