Google Veo 3.1 오디오·비디오 동시 생성과 Lite 라인업

영상 뒤에 소리를 붙일 때 생기는 어긋남

기존 AI 비디오 파이프라인은 영상을 먼저 만든 다음, 완성된 결과를 분석해 대화와 효과음, 주변음을 합성하는 포스트프로덕션 방식에 가까웠다. 이 구조에서는 입술이 움직이는 시점과 발화음이 맞지 않거나, 물체가 충돌하는 프레임과 효과음의 피크가 어긋날 수 있다. 오디오 모델이 이미 생성된 영상에서 세밀한 동작 시점을 역으로 추적해야 하기 때문이다.

영상과 음향을 서로 다른 모델에서 만들면 의미적인 불일치도 생긴다. 격렬한 장면에 조용한 배경음이 붙거나, 인물의 감정과 목소리 톤이 맞지 않는 식이다.

Veo 3.1은 최대 3840×2160 해상도와 60fps 영상을 생성하면서 대화·효과음·주변음도 같은 패스에서 만든다. 비디오 프레임과 오디오 파형을 하나의 생성 과정에서 공동으로 최적화해 입술 움직임과 발화를 프레임 단위로 정렬하고, 장면 분위기와 음향의 질감도 함께 맞추는 접근이다.

공유 잠재 공간에서 영상과 음향을 함께 만든다

Veo 3.1의 구조는 비디오 Diffusion 모델과 오디오 생성 모델을 따로 실행한 뒤 결과만 결합하는 방식이 아니다. 영상과 음향이 동일한 잠재 공간에서 생성되고, 서로를 조건 신호로 사용한다.

⤢✕

크로스-모달 어텐션 레이어는 비디오의 잠재 표현과 오디오 스펙트로그램 표현을 연결한다. 특정 프레임 구간이 오디오의 특정 시간 구간을 참조하고, 오디오 역시 영상 정보를 조건으로 삼는다. 인물이 말하는 장면이라면 입술이 움직이는 프레임과 해당 음소가 발화되는 구간 사이에 강한 어텐션 가중치가 형성된다.

오디오의 종류에 따라서도 생성 방식이 달라진다. 대화는 텍스트-투-스피치 컨디셔닝과 립싱크 정렬 손실함수를 이용한다. 음향 효과는 충격과 마찰, 진동 같은 시각적 사건을 물리 기반 오디오 합성 원칙에 따라 시간축에 매핑한다. 주변음은 실내와 실외, 날씨, 군중 밀도 등 장면의 시각적 맥락에서 확률적으로 샘플링된다.

정렬 손실함수가 맞추는 시간과 의미

단일 패스만으로 동기화가 보장되는 것은 아니다. 훈련 과정에서는 여러 정렬 목표를 결합한 복합 손실함수가 비디오와 오디오의 관계를 학습시킨다.

립싱크 정렬 손실은 입술 랜드마크가 시간에 따라 움직이는 궤적과 음소 시퀀스의 시작·종료 타임스탬프 사이에서 DTW(Dynamic Time Warping) 거리를 최소화한다. 대화 내용과 입 모양이 함께 움직이도록 제약하는 항목이다.

이벤트-음향 동기 손실은 물체의 접촉이나 낙하, 폭발이 발생한 프레임과 대응하는 효과음의 임팩트 피크 사이에 시간 차이가 생기면 패널티를 부과한다. 공이 바닥에 닿는 프레임과 소리의 피크가 몇 프레임 이내에 들어오도록 학습하는 방식이다.

장면-음향 의미 손실에는 CLIP 스타일의 대조 학습이 적용된다. 올바르게 짝지어진 비디오와 오디오는 임베딩 공간에서 가까워지고, 무작위로 결합한 쌍은 멀어지도록 훈련한다.

⤢✕

이 훈련 전략을 통해 Veo 3.1은 별도의 후처리 없이도 이전 세대 모델보다 비디오와 오디오의 동기화 품질을 크게 높였다. 대화 장면의 립싱크와 액션 장면의 효과음 타이밍에서 개선이 두드러진다.

4K 60fps에서 프레임을 이어 붙이는 방식

60fps 영상은 24fps보다 2.5배 많은 프레임을 생성해야 한다. 해상도만 높이는 문제가 아니라, 늘어난 프레임 사이에서 인물과 사물, 배경이 흔들리지 않도록 시간적 일관성을 유지해야 한다.

Veo 3.1은 영상을 Height × Width × Time으로 구성된 3D 시공간 볼륨으로 보고 Temporal Diffusion을 적용한다. 프레임을 개별 이미지처럼 생성하지 않고 전체 시퀀스를 같은 과정에서 디노이징하므로 픽셀 수준의 시간적 관계가 생성 과정에 포함된다.

4K 60fps 시퀀스 전체를 하나의 볼륨으로 처리하면 VRAM 요구량이 기하급수적으로 증가한다. 이를 다루기 위해 각 프레임이 고정 크기 구간 안의 인접 프레임과 어텐션을 수행하는 슬라이딩 윈도우 시간적 어텐션을 사용한다. 윈도우 사이에는 컨텍스트 캐리오버를 적용해 장거리 일관성을 이어 간다.

모션에는 물리 기반 제약이 들어간다. 물체의 속도와 가속도가 물리 법칙에서 벗어나지 않도록 경로를 제한하고, 카메라 이동에는 관성 모델을 적용해 갑작스러운 방향 전환에서 발생하는 아티팩트를 줄인다. 사용자가 입력한 “천천히 줌인”, “드라마틱한 달리 숏”, “버드아이 뷰에서 하향 패닝” 같은 자연어는 카메라 경로 파라미터로 변환되어 조건 신호로 전달된다.

초안 생성과 4K 복원을 하나의 파이프라인으로 묶는다

4K 프레임을 처음부터 직접 생성하면 계산 자원 부담이 크다. Veo 3.1은 저해상도 초안을 먼저 만든 뒤 업스케일링 네트워크로 텍스처와 고주파 디테일을 복원하는 계층적 생성 전략을 쓴다.

이 업스케일링은 독립적인 후처리가 아니라 학습된 통합 파이프라인에 포함된다. 네트워크가 원본 프롬프트와 저해상도 특징 맵을 동시에 조건으로 받아, 해상도를 높이는 동안 프롬프트에 맞는 세부 표현을 생성한다. 시간적 일관성 검사에서 문제가 발견된 구간은 국소적으로 다시 생성한 뒤 검증 단계로 돌아간다.

⤢✕

Flagship과 Lite가 나누는 품질·비용 범위

Veo 3.1 Lite는 Flagship의 해상도만 낮춘 제품이 아니다. 핵심 아키텍처를 공유하되 사용 목적에 맞춰 계산 요구량과 오디오 기능을 조정한 별도 모델이며, 가격은 Flagship 대비 50% 미만이다.

항목	Veo 3.1 Flagship	Veo 3.1 Lite
최대 해상도	3840×2160 (4K)	1920×1080 (FHD)
최대 프레임레이트	60fps	30fps
오디오 생성	대화+효과음+주변음	효과음+주변음 (대화 제한)
API 가격	기준	50% 미만
추론 지연	높음	낮음
주요 타깃	방송·영화·광고 제작	소셜미디어·프로토타이핑

Lite는 시간적 어텐션 윈도우를 줄이고 업스케일링 네트워크를 단순화한다. 오디오 생성에서는 대화 립싱크 정렬 모듈을 제거해 추론 속도와 비용을 낮춘다.

이 라인업은 프리미엄 방송·영화 제작 수요를 Flagship으로, 소셜미디어 제작과 스타트업 프로토타이핑 수요를 Lite로 받는 전 세그먼트 커버리지 전략이다. Runway Gen-4가 단일 고품질 모델에 집중하고 Kling 3.0이 세부 옵션별 가격 차등을 적용하는 것과 달리, Google은 Flagship과 Lite를 명시적으로 구분한다. 개발자 입장에서는 작업 목적에 따라 모델을 고르기 쉬운 구조다.

⤢✕

Gemini API에서 비용을 계산하는 기준

Gemini API의 Veo 3.1은 토큰이 아니라 초당(per-second) 비디오 생성량을 기준으로 과금한다. 생성하는 영상의 길이와 해상도에 따라 비용이 결정되므로 개발자가 파이프라인 비용을 예측하기 쉽다.

대량 생성에서는 Lite의 50% 미만 가격이 모델 선택에 직접 영향을 준다. 소셜미디어 콘텐츠 자동 생성, 게임 내 NPC 컷씬 자동화, 이커머스 상품 영상 대량 생성처럼 볼륨이 큰 작업에서 비용을 절반 이하로 줄이면서 필요한 품질을 확보할 수 있다.

제작 현장에서 달라지는 작업 흐름

소셜미디어 제작자는 텍스트 스크립트에서 내레이션 영상이나 배경음악·효과음이 동기화된 결과를 한 번에 생성할 수 있다. 기존에는 Sora 계열로 영상을 만들고 ElevenLabs 등으로 음성을 합성한 다음, 편집 소프트웨어에서 타이밍을 수작업으로 맞추는 3단계 파이프라인이 필요했다. 단일 패스 생성은 이 분리된 작업을 하나의 생성 과정으로 묶는다.

방송과 광고의 프리프로덕션에서는 Veo 3.1 Flagship으로 스토리보드를 고품질 애니매틱으로 옮길 수 있다. 4K 60fps 출력은 실제 촬영 전 클라이언트 프레젠테이션용 결과를 만드는 데 활용할 수 있다. 오디오까지 동기화된 상태로 생성되므로 더빙 배우를 고용하거나 임시 음악 라이선스를 확보하지 않고도 현실적인 편집본을 준비할 수 있다.

게임에서는 실시간 렌더링보다 사전 생성(pre-generated) 컷씬에 적합하다. NPC 대화와 이벤트 컷씬, 엔딩 영상을 생성해 3D 애니메이터와 보이스 액터 비용을 크게 줄일 수 있다. 변형 컷씬이 많이 필요하다면 가격이 낮은 Lite가 현실적인 선택지가 된다.

경쟁 모델과 비교할 때 볼 지점

Veo 3.1과 함께 비교되는 오디오-비주얼 생성 모델로는 Runway Gen-4 Turbo, Kling 3.0, Pika 2.2가 있다.

해상도와 프레임레이트에서는 Veo 3.1의 4K 60fps가 현재 공개된 경쟁 모델 가운데 최고 수준이다. Runway Gen-4는 최대 1080p 24fps, Kling 3.0은 최대 1080p 30fps로 알려져 있어 Veo 3.1이 해상도에서 한 단계 앞선다.

Pika 2.2는 효과음 생성을 일부 지원한다. 다만 대화와 효과음, 주변음을 모두 단일 패스로 생성하는 통합 수준에서는 Veo 3.1이 현재 가장 앞서 있다.

가격 범위는 Lite의 존재가 넓힌다. 고품질 모델만 제공하는 경쟁사와 달리 소규모 크리에이터부터 엔터프라이즈까지 하나의 플랫폼에서 수용할 수 있다. Google Cloud를 이미 사용하는 기업이라면 Gemini API와 Vertex AI 연동, IAM 기반 접근 제어, 기존 GCP 청구 통합을 활용해 도입 비용도 낮출 수 있다.

Veo 3.1의 핵심은 오디오를 부가 단계가 아닌 영상 생성의 일부로 다룬다는 데 있다. 여기에 4K 60fps를 담당하는 Flagship과 비용 장벽을 낮춘 Lite를 함께 배치했다. AI 비디오가 프로토타이핑을 넘어 실제 제작 파이프라인으로 들어갈 때, 품질과 처리 비용을 같은 플랫폼 안에서 선택할 수 있게 만든 구성이다.