Google Veo 3.1의 4K 영상·동기화 오디오 생성 아키텍처

영상과 소리를 분리하면 어긋남이 생긴다

2026년 1월 Google DeepMind가 출시한 Veo 3.1은 최대 3840×2160(4K) 해상도와 60fps를 지원하는 첫 번째 AI 비디오 생성 모델이다. 영상과 동기화된 오디오를 단일 패스에서 함께 생성한다는 점도 이전 파이프라인과 다르다.

기존 모델은 먼저 프레임 시퀀스를 만든 뒤 별도의 오디오 모델이 결과물을 분석해 소리를 합성했다. 영상과 오디오를 순차 처리하면 두 모달리티의 의미론적 연결이 약해진다. 발이 지면에 닿는 시점과 충격음이 미묘하게 벌어지거나, 대화 장면에서 입술 움직임과 음성이 맞지 않는 식이다.

Veo 3.1은 영상과 오디오를 하나의 확산 과정에서 나오는 두 출력으로 다룬다. 영상을 완성한 뒤 소리를 덧붙이는 대신 생성 단계부터 두 모달리티를 연결한다.

⤢✕

공동 잠재 공간에서 시각과 청각을 연결한다

이 구조의 중심에는 공동 잠재 공간(Joint Latent Space)이 있다. 영상과 오디오를 서로 분리된 저차원 표현으로 압축하는 대신 하나의 통합 잠재 공간에 함께 인코딩한다. 그 안에서 시각 정보와 청각 정보는 서로 참조할 수 있는 형태로 배치된다.

확산 트랜스포머는 시공간 비디오 패치(spatiotemporal video patches)와 시간 오디오 정보(temporal audio information)를 동시에 처리한다. 발이 지면에 닿는 비디오 패치와 같은 순간 발생하는 충격음 오디오 패치가 동일한 어텐션 메커니즘 안에서 상호 조건화된다. 립싱크뿐 아니라 충격음과 환경음도 영상 이벤트에 맞춰 프레임 단위로 정렬되는 구조다.

학습 과정에는 시간 정렬 손실(Temporal Alignment Loss)이 별도로 적용된다. 입 움직임이나 충격, 폭발 같은 시각적 이벤트와 대응하는 오디오 이벤트 사이의 시간 오프셋을 줄이는 역할을 한다. 기존 생성 품질 손실과 이 시간 정렬 손실을 함께 조정하는 것이 Veo 3.1의 주요 설계 선택이다.

4K 처리를 감당하는 메모리 전략

3840×2160 해상도와 60fps를 함께 처리하면 1080p보다 4배 많은 픽셀 데이터를 다뤄야 한다. Veo 3.1은 이 메모리 압박을 세 가지 방식으로 분산한다.

먼저 원시 픽셀 대신 저차원 잠재 표현을 처리하는 3D 잠재 확산 아키텍처를 사용한다. U-Net 내부의 3D 합성곱 레이어는 채널·시간·높이·너비(C×T×H×W)를 동시에 다룬다.

계층적 업스케일링(Hierarchical Upscaling)은 저해상도에서 생성을 시작한 뒤 단계적으로 해상도를 높인다. 초기 단계의 메모리 사용량을 낮추고, 각 업스케일 과정에서 고주파 디테일을 추가하는 방식이다.

최종 4K 프레임은 겹치는 타일로 나눠 병렬 생성한 뒤 경계가 드러나지 않도록 합성한다. 프레임 전체를 한 번에 처리하지 않고 공간 단위로 작업을 분할하는 접근이다.

고프레임 영상에서 객체를 놓치지 않는 법

60fps 영상은 개별 프레임의 품질만 높다고 자연스러워지지 않는다. 물체의 위치와 형태가 프레임 사이에서 이어져야 하며, 갑작스러운 점프나 변형이 없어야 한다.

Veo 3.1은 네 가지 어텐션 메커니즘을 이용해 시간 일관성(Temporal Consistency)을 유지한다.

⤢✕

크로스-프레임 어텐션(Cross-Frame Attention)은 한 프레임의 토큰이 인접 프레임 토큰을 참조하게 한다. 메모리 뱅크에는 시퀀스 전체에서 유지해야 할 주요 시각 특징을 저장한다. 시간 임베딩은 각 프레임의 위치를 인코딩하고, 모션 벡터는 객체가 자연스러운 궤적을 따르도록 안내한다.

24fps 영상을 60fps로 변환할 때는 광학 흐름(optical flow)을 바탕으로 중간 프레임을 보간해 움직임을 매끄럽게 만든다.

API 출력과 장편 클립 연결

Veo 3.1은 Google AI Studio와 Vertex AI에서 API로 제공된다. 가격은 Standard가 $0.40/초, Fast가 $0.15/초다.

Scene Extension은 이전 클립의 마지막 프레임을 다음 생성의 조건으로 사용한다. 이 방식으로 클립 사이를 자연스럽게 연결하며 최대 1분 이상의 장편 영상도 지원한다.

Ingredients to Video에는 최대 4장의 참조 이미지를 입력할 수 있다. 참조 이미지의 캐릭터와 스타일을 유지하면서 영상을 생성하기 때문에 브랜드 캐릭터나 특정 인물의 외형을 여러 장면에 걸쳐 일관되게 표현해야 하는 프로덕션 작업에 쓰인다.

경쟁 모델과 갈리는 지점

Veo 3.1의 차별점은 해상도만이 아니라 오디오를 생성 파이프라인 안에 포함했다는 데 있다.

모델	최대 해상도	오디오 생성	립싱크	최대 클립 길이
Google Veo 3.1	4K (3840×2160)	네이티브 동시 생성	정확한 립싱크	1분+ (Scene Extension)
OpenAI Sora 2	1080p	없음 (별도 필요)	해당없음	20초
Runway Gen-4.5	1080p	별도 오디오 레이어	제한적	16초
Kling 3.0	1080p	별도 처리	미지원	30초

Runway Gen-4.5는 영화적 카메라 제어와 고품질 모션에 강점이 있지만 4K와 네이티브 오디오는 지원하지 않는다. Kling 3.0은 한국어·중국어 콘텐츠에 최적화됐으나 해상도와 오디오 측면에서는 Veo 3.1보다 뒤처진다.

제작 워크플로우가 짧아진다

⤢✕

기존 콘텐츠 제작에서는 영상 생성, 오디오 생성, 동기화 편집이라는 3단계를 거쳐야 했다. 단계마다 별도의 도구와 작업 기술도 필요했다. Veo 3.1은 프롬프트 하나로 영상과 오디오가 결합된 완성본을 출력해 이 과정을 단축한다.

TikTok, YouTube Shorts, Instagram Reels 같은 Short-form 콘텐츠를 위한 네이티브 9:16 세로 형식도 지원한다. 크리에이터 이코노미에서 가장 빠르게 성장하는 포맷을 기본으로 제공하며 B2C 크리에이터 시장의 채택을 겨냥한다.

고해상도와 네이티브 오디오가 기준이 된다

Veo 3.1의 등장은 4K 이상의 고해상도와 네이티브 오디오 통합을 차별화 기능이 아닌 기본 요건으로 끌어올리는 전환점이다. Sora 2가 오디오 없이 1080p를 제공하는 상황에서 Veo 3.1은 4K와 오디오를 함께 제시하며 경쟁 기준 자체를 바꿨다.

다음 세대 모델의 경쟁 영역은 현재 수분이 걸리는 생성 시간을 수십 초로 줄이는 것, 5분 이상의 클립 생성, 실시간 스트리밍 생성, 생성된 클립의 특정 객체나 장면을 선택적으로 바꾸는 인터랙티브 편집으로 이동할 전망이다. Veo 4 로드맵에도 이 방향들이 포함된 것으로 알려져 있다.

공동 잠재 공간 학습과 크로스-프레임 어텐션, 계층적 업스케일링은 Veo 3.1이 4K 60fps 영상과 동기화 오디오를 단일 확산 과정에서 생성할 수 있게 한 핵심 축이다. 영상과 소리를 분리하던 파이프라인을 생성 단계부터 통합했다는 점이 이 모델의 기술적 위치를 결정한다.