Google Veo 3.1의 4K 영상과 네이티브 오디오 생성 구조

영상과 소리를 별도 공정으로 나누지 않는다

2026년 1월 Google DeepMind가 공개한 Veo 3.1은 영상과 사운드를 단일 패스에서 함께 만든다. 주변음과 대화, 효과음을 영상 생성 뒤에 덧붙이는 방식이 아니라 하나의 확산 모델이 두 출력을 공동 생성한다. 최대 해상도는 3840×2160이고 프레임률은 60fps까지 지원한다.

이 설계는 별도의 오디오 파이프라인에 의존하던 후처리 비용을 30~50% 줄인다. Veo 3.1 Lite의 가격은 $0.05/초로, 포스트-Sora 시장에서 소비자와 엔터프라이즈 수요를 함께 겨냥한다.

비디오와 오디오가 공유하는 잠재 공간

기존 파이프라인은 비디오를 완성한 다음 별도 오디오 모델로 파형을 합성하는 2단계 구조였다. Veo 3.1은 비디오와 오디오를 하나의 통합 잠재 공간에 투영해 생성 과정부터 서로 영향을 주도록 구성한다.

멀티모달 인코더는 픽셀 공간의 비디오 프레임 패치와 주파수-시간 공간의 오디오 스펙트로그램 패치를 같은 차원의 임베딩 벡터로 변환한다. 각 디노이징 단계에서는 비디오 토큰과 오디오 토큰이 양방향 크로스 어텐션으로 결합된다. 단일 신경망이 두 모달리티의 잡음 제거 그래디언트를 동시에 예측하고, 디노이징이 끝나면 픽셀 디코더와 보코더가 각각 영상 프레임과 오디오 파형을 출력한다.

프롬프트와 장면에서 음향 조건을 만든다

“비 오는 날 실내 카페, 재즈 피아노” 같은 프롬프트는 오디오 시맨틱 벡터로 변환된다. 모델은 실내·야외·군중·자연 등 장면 유형을 분류한 뒤 주변음 라이브러리와 연결한다.

대화가 포함된 장면에서는 프레임 안의 입 영역을 감지하고 발화 파형을 입술 움직임 예측 모델과 정렬해 48kHz 대화를 생성한다. 물체 충돌과 발걸음, 문 닫힘 같은 물리적 사건은 해당 프레임의 음향 효과와 맞춘다.

⤢✕

생성 이후에도 동기화를 검사한다

생성이 끝났다고 해서 영상과 음향의 정렬이 확정되는 것은 아니다. DTW(Dynamic Time Warping) 검증으로 오디오 피크와 비디오 모션 피크 사이의 시간 오프셋을 측정하고, 임계값인 ±1프레임을 넘으면 다시 생성한다.

대화 구간은 PESQ(Perceptual Evaluation of Speech Quality)로 음질을 평가한다. 기준에 미달하면 해당 오디오 구간만 재샘플링한다. 장면의 조명 변화량과 오디오 에너지 포락선 사이에는 스펙트럼 에너지 매핑을 적용해 상관관계를 유지한다.

4K 생성에 필요한 공간·시간 최적화

4K(3840×2160) 영상은 1080p보다 픽셀 수가 4배 많고 메모리 요구량은 약 8~12배 증가한다. Veo 3.1은 처음부터 모든 픽셀을 같은 해상도로 처리하는 대신 저해상도 잠재 표현을 만든 뒤 단계적으로 확대한다.

계층적 생성 과정에서는 512×288 잠재 표현을 먼저 생성해 업스케일 파이프라인으로 넘긴다. 타일드 확산은 4K 프레임을 서로 중첩되는 타일로 나눠 병렬 처리하며, 경계에는 블렌딩 커널을 적용한다. Flash Attention v3는 HBM 메모리 접근을 줄여 긴 컨텍스트 어텐션을 가속한다. 그래디언트 체크포인팅은 중간 활성화 값을 보관하는 대신 역전파 과정에서 다시 계산해 GPU 메모리를 절감한다.

저해상도 잠재 표현에서 4K 프레임까지

공간 업스케일링은 잠재 표현 확대와 정제 확산을 거쳐 고주파 세부 정보를 복원한다. 픽셀 디코더가 2160p 프레임을 출력한 뒤 시간적 슈퍼해상도가 프레임률을 높인다.

⤢✕

프레임 사이의 시간을 복원하는 방식

시간적 슈퍼해상도는 기본 30fps 영상을 생성한 다음 광학 흐름 기반 프레임 보간으로 중간 프레임을 합성해 60fps에 도달한다. 고속 움직임에서는 모션 보상 보간으로 아티팩트를 줄인다. 보간 강도는 장면의 움직임에 따라 달라진다. 정적 장면에서는 최소화하고 동적 장면에서는 최대화한다.

스트리밍과 GPU 요청 큐

완성된 프레임은 청크 단위로 클라이언트에 전송되므로 전체 영상이 끝날 때까지 기다릴 필요가 없다. 동일한 프롬프트가 반복되면 웜 스타트 캐싱으로 중간 잠재 표현을 재사용한다.

요청 큐는 Veo 3.1 Lite의 비실시간 작업과 Fast의 실시간 작업을 분리해 관리한다. 이 배치 우선순위 구조는 GPU 가동률을 높이는 데 쓰인다.

비용과 응답 시간에 따라 선택지도 나뉜다. Veo 3.1 Lite는 $0.05/초의 비실시간 배치 처리 전용 모델이며 24시간 내 완료 SLA를 제공한다. Veo 3.1 Fast는 단가가 더 높지만 빠른 응답이 필요한 인터랙티브 워크플로우에 맞는다. 월 1,000초 이상 사용하면 볼륨에 따라 단가가 단계적으로 낮아진다.

경쟁 모델과 비교한 Veo 3.1의 위치

항목	Veo 3.1	Kling 3.0	Runway Gen-4.5	Seedance 2.0
최대 해상도	4K/60fps	4K/30fps	1080p	1080p
네이티브 오디오	O (단일 패스)	O	X	O (단일 패스)
립싱크 품질	최상	우수	해당 없음	우수
최저 단가	$0.05/초 (Lite)	$0.09/초	$0.20/초	$0.14/초
수직 영상	O (9:16)	O	O	O
오픈 API	O (Gemini API)	O	O	O

Veo 3.1의 차이는 4K 해상도와 네이티브 오디오를 하나의 생성 과정에서 결합한다는 데 있다. 기존 영상 제작에서 오디오 합성과 동기화에 들던 시간과 비용을 30~50% 줄이고, 48kHz 오디오와 4K/60fps를 전문 후처리 소프트웨어 없이 방송 품질로 제공한다.

9:16 수직 영상을 네이티브로 지원하는 점은 YouTube Shorts와 TikTok 제작 흐름에 직접 연결된다.

낮은 단가와 Google 생태계의 결합

2026년 4월의 Veo 3.1 Fast 가격 인하는 Sora 종료 직후 시장 수요를 흡수하려는 전략이었다. Lite의 $0.05/초는 Kling 3.0의 $0.09/초보다 낮아 볼륨 시장을 겨냥한다.

Gemini API 통합은 Google Cloud 고객의 마이그레이션 비용을 줄이고 생태계 안에서의 전환을 유도한다. AI Studio 무료 티어는 개인 크리에이터의 진입 장벽을 낮춘 뒤 유료 서비스로 연결하는 역할을 맡는다.

프로 크리에이터와 엔터프라이즈 채택 경로

Google Slides·Drive·YouTube Studio에는 Veo 3.1을 직접 임베딩할 예정이다. 방송사와 영화사를 위한 Vertex AI 엔터프라이즈 API는 데이터 레지던시와 VPC 격리, 감사 로그를 요구하는 환경을 대상으로 한다.

Adobe Premiere와 DaVinci Resolve에는 플러그인 형태의 통합 파이프라인 출시가 협의 중이다. Ingredients to Video 기능은 4장의 레퍼런스 이미지를 사용해 캐릭터 일관성을 유지하고 광고 제작의 반복 작업을 자동화한다.

Veo 3.1은 4K/60fps와 네이티브 오디오 동기화를 단일 패스 공동 확산 모델로 구현한 첫 번째 상용 AI 영상 모델이다. Lite의 $0.05/초 단가는 포스트-Sora 시장의 가격 경쟁에서 새로운 기준을 만들고 있으며, Gemini API·Vertex AI·YouTube로 이어지는 Google 생태계 통합은 채택률 확대를 가속하고 있다. 후처리 없이 방송 품질의 영상과 오디오를 동기화하는 특성은 기존 제작 워크플로우를 AI 중심으로 재설계하는 동인이 될 전망이다.