Gemini Omni의 대화형 영상 편집과 네이티브 멀티모달 아키텍처

2026년 5월 19일 Google I/O에서 Google DeepMind CEO Demis Hassabis는 Gemini Omni를 세계 모델(world model)로 소개했다. 텍스트·이미지·오디오·비디오를 단일 토큰 공간에서 처리하고, 사용자가 자연어로 영상을 만들거나 고칠 수 있도록 설계한 네이티브 멀티모달 LLM이다.

비디오 생성에 집중했던 기존 Veo 라인업과 달리 Gemini Omni는 여러 모달리티를 한 시스템 안에 묶는다. Gemini Omni Flash는 공개와 함께 Google AI Plus·Pro·Ultra 구독자, YouTube Shorts Remix, YouTube Create 앱을 통해 전 세계 사용자에게 제공되기 시작했다.

모달리티를 한 잠재 공간에서 처리한다

Gemini Omni의 출발점은 비디오와 오디오, 텍스트를 각각 다른 모델에 통과시킨 뒤 결과를 결합하지 않는다는 데 있다. 이미지 패치와 비디오 프레임, 오디오 스펙트로그램, 텍스트를 하나의 토큰 시퀀스로 바꾸고 공유 Transformer 백본에서 함께 처리한다.

이 구조에서는 모달리티 사이의 어텐션이 의미 관계를 학습한다. 공유 잠재 표현을 만든 뒤에는 텍스트, 이미지, 비디오, 오디오에 맞는 전용 생성 헤드가 각 출력을 맡는다. 물리 법칙과 운동, 공간 관계에 대한 표현도 같은 세계 모델 안에 임베딩된다.

⤢✕

단일 패스 처리는 별도 모델을 연쇄 호출할 때 생기는 모달리티 정렬 손실을 줄인다. 편집 전후로 캐릭터와 장면, 물리적 속성을 유지하기에도 유리하다. “이 음악에 맞는 영상 리듬감으로 편집”처럼 소리와 영상을 함께 이해해야 하는 지시도 교차 모달 추론으로 다룬다. 이미지·비디오·텍스트를 동시에 참조해 같은 스타일을 이어가는 레퍼런스 기반 생성 역시 이 구조에 포함된다.

Gemini Omni와 Veo 3.1은 역할이 다르다. Omni가 언어와 논리, 멀티모달 추론을 맡는 브레인이라면 Veo 3.1은 시네마틱 품질의 비디오를 합성하는 핸즈에 가깝다. Omni가 편집 의도를 해석해 Veo 합성 엔진을 구동하는 계층 구조다. 프로덕션 품질을 우선한다면 Veo 3.1 via Vertex AI가 안정적인 엔터프라이즈 경로로 제시된다.

편집 명령이 영상으로 반영되는 과정

대화형 편집은 자연어 명령을 곧바로 실행하는 기능에 그치지 않는다. 편집 의도를 분류하고, 대상 구간과 요소를 찾은 뒤 타임라인·클립·오디오를 수정한다. 결과의 일관성을 검사하고 사용자에게 프리뷰를 돌려주는 단계까지 하나의 에이전트 파이프라인으로 이어진다.

⤢✕

타임라인에서는 “3초에서 7초 사이 구간만 카메라를 왼쪽으로 이동”처럼 범위를 지정한 비선형 편집을 지원한다. 영상·오디오·자막 트랙 사이의 의존성을 인식해 함께 수정하며, 편집 구간 전후의 물리 상태와 움직임은 연속성을 유지하도록 보간한다. 참조 이미지나 색상, 스타일은 레이어 기반 합성으로 기존 영상에 비파괴적으로 적용한다.

캐릭터 일관성을 지키기 위해 얼굴·의상·체형 특성을 담은 임베딩을 고정한다. 중력·마찰·운동량 법칙을 어긴 결과는 물리 엔진 기반 검증으로 수정하고, 멀티턴 대화가 이어지는 동안에는 장면 상태를 캐시에 보존한다. “조각상을 비눗방울로 만들기”라는 요청이라면 물질 속성을 바꾼 뒤 빛의 굴절과 투명도에 관한 물리를 다시 계산하는 식이다.

오디오도 별도 후처리가 아니라 편집 대상에 포함된다. 스펙트로그램 분석으로 BPM과 리듬 패턴을 추출하고, 비트 이벤트에 맞춰 영상 컷을 정렬한다. 영상이 바뀌어도 원본 대화 오디오는 분리해 보존한 뒤 다시 합성한다. 물이 유리로 변하는 장면처럼 소재가 달라지면 그 변화에 맞는 음향 효과도 생성한다.

생성 품질보다 편집 경험에 둔 차별점

Veo 3.1은 전용 비디오 생성 모델이고 Gemini Omni는 텍스트·이미지·오디오·비디오를 통합한 네이티브 멀티모달 아키텍처다. 두 모델의 위치를 나란히 놓으면 차이가 분명해진다.

항목	Gemini Omni	Veo 3.1
아키텍처	네이티브 멀티모달 통합	전용 비디오 생성 모델
입력 모달리티	텍스트+이미지+오디오+비디오	텍스트+이미지
대화형 편집	Yes (멀티턴 지원)	No
시네마틱 품질	Omni Flash 수준	최고 수준
API 접근	제한적 (예정)	Vertex AI 안정 제공
엔터프라이즈 경로	Gemini 앱 우선	Vertex AI 우선
캐릭터 일관성	멀티턴 유지	단일 생성 기준

순수 시네마틱 품질만 비교하면 Seedance 2.0과 Sora 2가 Gemini Omni Flash보다 프레임 품질에서 앞선다. Artificial Analysis Video Arena의 2026년 5월 평가에서는 Seedance 2.0이 텍스트→비디오 Elo 1,269, 이미지→비디오 Elo 1,351을 기록했고 Kling 3.0, Veo 3.1, Sora 2가 뒤를 이었다.

Omni가 노리는 자리는 화질 순위의 정상보다 대화형 편집 경험에 가깝다. 멀티턴 지시를 이어가면서 캐릭터와 물리 상태를 유지하는 기능은 경쟁사가 구현하지 못한 차별화 영역이다.

크리에이터의 작업 화면이 달라진다

기존 영상 제작에서는 Premiere Pro나 DaVinci 같은 비선형 편집 소프트웨어를 직접 다뤄야 했다. 특수 효과 플러그인도 별도로 익혀야 했고, 렌더링과 수정, 재렌더링이 반복되면서 비용이 커졌다.

Gemini Omni를 이용하는 흐름에서는 편집 의도를 자연어로 전달한다. 프리뷰를 확인하고 승인하거나 다시 수정해 달라고 요청할 수 있으며, 소재와 물리적 표현, 스타일도 대화로 바꾼다. 전문 편집 소프트웨어를 다루지 않는 크리에이터까지 영상 편집에 접근할 수 있는 형태다.

기업 콘텐츠 제작에서도 쓰임새가 나뉜다. 마케팅에서는 제품 영상의 소재를 바꾸거나 지역별 스타일 현지화를 자동화할 수 있다. 교육 영상은 설명에 맞는 시각 표현을 대화로 바로 고칠 수 있고, 미디어 제작에서는 드라마·영화 프리비즈 비용을 대폭 절감하는 방향으로 활용할 수 있다. 기업 커뮤니케이션에서는 임원 발표 영상의 배경과 스타일 편집을 자동화할 수 있다.

Google 서비스와의 연결도 이미 시작됐다. Google Flow는 Omni 기반 크리에이터 영상 편집 워크스페이스이며, YouTube Shorts Remix는 다른 크리에이터의 영상을 바탕으로 Omni 편집 결과를 만든다. YouTube Create는 모바일 환경에서 대화형 편집을 제공한다. 개발자가 이용할 Gemini API 접근은 추후 공개될 예정이다.

Gemini Omni는 이미지와 음악을 입력하고 말로 편집을 지시하는 과정을 단일 모델 안에 구현했다. 순수 시네마틱 화질에서는 Seedance 2.0이나 Sora 2보다 뒤처지지만, 멀티턴 편집과 캐릭터·물리 일관성은 별도의 경쟁 축을 만든다. 개발자용 API 일반 공개와 프로덕션 급 화질 향상이 뒤따라야 하며, 2026년 하반기 Vertex AI를 통한 엔터프라이즈 접근 경로 확보가 시장 침투의 분수령이 될 것이다.

모달리티를 한 잠재 공간에서 처리한다

편집 명령이 영상으로 반영되는 과정

생성 품질보다 편집 경험에 둔 차별점

크리에이터의 작업 화면이 달라진다

Sources

함께 읽기