Veo 3.1 영상 생성 아키텍처와 네이티브 오디오 디퓨전

영상과 소리를 하나의 생성 과정으로 묶다

기존 AI 영상 파이프라인에서 소리는 대개 영상이 완성된 뒤 별도 모델로 생성됐다. 이 구조에서는 장면과 발화, 움직임과 효과음을 사후 정렬해야 한다. Google DeepMind가 2026년 1월 공개한 Veo 3.1은 영상과 오디오를 통합 디퓨전 파이프라인에서 함께 생성하는 방식으로 이 문제에 접근했다.

Veo 시리즈는 Google이 OpenAI Sora와 중국 Kling 시리즈에 대응해 개발한 멀티모달 생성 모델이다. Veo 3는 2025년 10월 출시되며 처음으로 네이티브 오디오 생성을 지원했고, Veo 3.1은 2026년 1월 13일 공개됐다.

Veo 3.1이 내세운 결과는 트루 4K 생성, 향상된 프롬프트 일치도, 정교해진 오디오 동기화, 수직형 포맷 지원이다. 3840×2160 픽셀 영상을 단순 확대하는 데 그치지 않고 기반 생성 품질을 4K 수준으로 높였으며, 상세 프롬프트 준수율은 87%에 도달했다. 경쟁 모델보다 15~19%p 높은 수치다. 대화·환경음·폴리 사운드를 영상과 단일 패스로 생성하고 TikTok·YouTube Shorts용 9:16 포맷도 네이티브로 지원한다.

시간까지 포함하는 잠재 공간

이미지 생성 모델과 Veo 3.1을 가르는 핵심 차이는 잠재 텐서의 형태다. Stable Diffusion 계열이 (C × H × W) 형태의 3차원 텐서를 처리한다면, Veo 3.1은 시간 축 T를 더한 (C × T × H × W) 구조를 사용한다.

이 시공간 잠재 블록 안에서는 프레임 간 연속성, 물체의 움직임, 영상과 소리의 동기화를 하나의 표현으로 학습할 수 있다. 영상과 오디오가 독립된 결과물로 생성된 뒤 결합되는 것이 아니라, 생성 과정에서부터 서로의 조건으로 작용하는 기반이 된다.

⤢✕

백본은 U-Net 내부의 3D 합성곱 계층과 Diffusion Transformer(DiT)를 결합한 하이브리드 구조다. 3D 합성곱은 (C × T × H × W) 텐서의 채널·시간·높이·너비 축을 함께 처리한다. 인접 프레임 사이의 시각적 연속성과 물리적 움직임을 학습하는 역할에 적합하다.

DiT는 더 넓은 범위의 의존성을 맡는다. 영상 앞부분과 뒷부분의 이야기 흐름을 유지하거나, 특정 음절과 캐릭터의 입 모양을 맞추는 작업은 수십 프레임 또는 수초에 걸친 문맥을 요구한다. 이 구간에서는 Self-Attention 기반 Transformer가 장거리 관계를 포착한다.

원시 픽셀은 그대로 입력하지 않고 시공간 패치(Spatio-Temporal Patches)로 압축한다. 4K 영상은 원시 픽셀이 거의 830만 개에 이르므로, 패치화는 잠재 공간의 토큰 수를 줄여 연산 부담을 낮춘다. 시간 축까지 포함한 패치를 사용하기 때문에 인접 프레임의 움직임 패턴도 패치 수준에서 인코딩된다.

사후 정렬 대신 공동 디퓨전

영상을 먼저 만들고 별도 오디오 모델로 소리를 합성하는 파이프라인은 구조적으로 오디오-비주얼 불일치(AV mismatch)를 안고 있다. 사운드 모델이 이미 완성된 영상의 의미를 뒤늦게 해석하고 정렬해야 하기 때문이다.

Veo 3.1의 공동 디퓨전 프로세스(Joint Diffusion Process)는 시각 잠재 토큰과 오디오 잠재 토큰을 같은 DiT 백본에 넣는다. 영상 프레임은 VAE로 압축하고, 오디오는 Mel-Spectrogram으로 인코딩한다. 두 토큰을 정렬하고 연결한 뒤 서로의 생성 과정에 조건을 걸면서 동시에 디노이징한다.

⤢✕

립싱크 정확도는 120ms 이내다. 일반 시청자가 시각과 청각의 불일치를 감지하기 어려운 임계값인 약 80~150ms 범위에 들어간다. 오디오-비주얼 동기화 레이턴시는 약 10ms 수준으로 설계됐다.

대사를 지정할 때는 A woman says, "We have to leave now."처럼 발화 내용을 쌍따옴표로 감싼다. 모델은 해당 문장을 생성하면서 캐릭터의 입 모양을 맞춘다. 여러 화자가 등장하면 문맥으로 발화 순서(turn-taking)를 추론한다.

생성 범위는 대화뿐 아니라 환경음, 폴리 효과, 배경 음악(BGM)까지 포함한다. 빗속 장면의 빗소리나 카페 내부의 배경 소음처럼 시각적 맥락에 맞는 소리가 함께 만들어진다.

세부 지시를 붙잡는 조건부 임베딩

Veo 3.1의 프롬프트 일치도는 텍스트 인코더 하나로 설명되지 않는다. T5와 CLIP 계열을 결합한 이중 인코더가 의미론적 맥락과 시각적 맥락을 각각 표현하고, 이를 조건부 임베딩으로 바꿔 디퓨전의 매 스텝에 주입한다.

여기에 Classifier-Free Guidance(CFG)와 강화된 어텐션 스케줄링이 결합된다. 디노이징 중 조건부 생성과 무조건부 생성의 차이를 증폭해 세부 지시가 결과에 더 강하게 반영되도록 한다. Veo 3.1은 콘텐츠 유형에 맞춰 CFG 스케일을 동적으로 조절하는 어댑티브 가이던스(Adaptive Guidance)를 채택한 것으로 알려져 있다.

Google Cloud의 Veo 3.1 프롬프팅 가이드는 피사체, 환경과 배경, 카메라 움직임, 오디오 명세를 분명하게 작성하도록 안내한다. A man running in the rain보다 Close-up tracking shot of a middle-aged man sprinting through a wet cobblestone alley at night, rain splattering on his jacket, distant thunder rumbling, breath visible in cold air처럼 장면을 상세히 기술할수록 프롬프트 일치도가 크게 향상된다.

실무에서는 다음 형식으로 프롬프트를 나눠 작성할 수 있다.

[카메라 무브먼트] of [피사체], [행동/상태],
[환경/배경], [조명 조건], [오디오 명세],
[촬영 스타일/레퍼런스]

구체적인 예시는 다음과 같다.

나쁜 예: A robot in a factory
좋은 예: Slow tracking shot of a humanoid robot welding a car frame in a dimly lit factory, sparks flying, industrial clanging sounds, a worker watching in the background, cinematic 4K

대화 장면에서는 발화자와 내용을 분리한다. Character A says, "Hello", Character B responds, "Hi there"처럼 적으면 각 발화에 대응하는 입 움직임과 음성 특성을 독립적으로 생성한다. 대화 없이 환경음만 필요할 때는 no dialogue, only ambient sounds를 명시한다.

4K까지 이어지는 해상도 계층

Veo 3.1은 720p, 1080p, 4K 출력을 지원한다.

해상도	픽셀 수	고정 FPS	비율 지원
720p	1280×720	24 fps	16:9, 9:16
1080p	1920×1080	24 fps	16:9, 9:16
4K	3840×2160	24 fps	16:9, 9:16

4K 출력은 고해상도 비디오 기반 생성(base generation)을 거친 뒤 AI 기반 업스케일링으로 정제된다. 단순 보간이 아니라 생성 모델을 이용하므로 텍스처, 모발, 직물 표면 같은 고주파 디테일을 디지털 노이즈 없이 재현한다.

영상 길이는 최대 8초로 고정되며, 24fps 기준으로 192프레임을 처리한다. (C × 192 × H × W) 형태의 4D 잠재 텐서를 디노이징해야 하므로 이 시간 창은 GPU와 TPU 메모리 요구량에 직접 연결된다.

경쟁 모델과 선택 기준

2026년 상반기 기준으로 Veo 3.1, Runway Gen-4.5, Kling 3.0, Sora 2의 지표를 비교하면 다음과 같다.

모델	프롬프트 일치도	ELO 점수	네이티브 오디오	최대 해상도	월정액
Veo 3.1	87%	-	있음	4K	$7.99
Runway Gen-4.5	72%	1,247	없음	4K	$12~
Kling 3.0	68%	1,243	없음	4K	$6.99
Sora 2	~75%	-	없음	1080p	$20~

프롬프트 일치도는 Veo 3.1이 87%로 가장 높다. Runway Gen-4.5의 72%보다 15%p, Kling 3.0의 68%보다 19%p 앞선다. 지시 준수와 음성이 함께 필요한 마케팅 영상, 설명 영상, 내레이션 콘텐츠에서 유리한 지점이다.

전반적인 시각 품질과 사용자 선호도를 종합한 ELO 점수에서는 Runway Gen-4.5가 1,247, Kling 3.0이 1,243이다. 정밀한 카메라 제어나 캐릭터 일관성이 중요한 전문 영상 워크플로우에서는 두 모델도 선택지가 된다.

대화와 네이티브 오디오가 필요한 내러티브 영상에는 Veo 3.1이 적합하다. 동일 캐릭터가 여러 장면에 등장하거나 모션 브러시와 카메라 경로 제어가 필요하다면 Runway Gen-4.5가 유리하다. Kling 3.0은 네이티브 4K 파이오니어로서 고화질 스토리보드 시퀀스 제작에 강점이 있다. 예산을 우선하면 Kling 3.0 Basic은 $6.99/월, Veo 3.1 Pro는 $7.99/월이다.

Gemini API에서 생성 파이프라인 호출하기

Veo 3.1은 Gemini API를 통해 개발자가 직접 사용할 수 있다.

# Gemini API를 통한 Veo 3.1 영상 생성 예시
import google.generativeai as genai

genai.configure(api_key="YOUR_API_KEY")

model = genai.GenerativeModel("veo-3.1")
response = model.generate_video(
    prompt="A barista expertly crafts a latte art in a sunlit café, "
           "steaming milk hissing softly, jazz music playing in the background, "
           "cinematic close-up shot, 4K",
    resolution="4k",
    aspect_ratio="16:9",
    duration_seconds=8,
    enable_audio=True
)

Veo 3.1 Lite는 2026년 3월 31일 출시됐다. Full 버전보다 생성 품질은 일부 낮지만 비용을 크게 낮추고 생성 속도를 높여 프로토타이핑과 대량 생성 파이프라인에 활용할 수 있다.

Google AI Studio에서는 코드 없이 Veo 3.1을 테스트할 수 있다. Gemini Pro 구독 $7.99/월에 포함되어 있어 별도 개발 환경 없이 접근할 수 있다.

통합 멀티모달 잠재 공간이 향하는 곳

Veo 3.1의 공동 디퓨전은 2026년 학계에서 연구되는 통합 멀티모달 잠재 공간(Unified Multimodal Latent Space) 패러다임과 같은 방향을 향한다. UniForm 아키텍처는 사전 학습된 인코더로 비디오 프레임과 Mel-Spectrogram 오디오를 정렬된 잠재 토큰으로 변환한다. 두 토큰을 연결한 뒤 단일 DiT 백본에서 함께 디노이징하는 구조다.

Kling-Foley 논문(arXiv, 2026)은 산업 수준 벤치마크 Kling-Audio-Eval을 제시했다. 평가 축은 Distribution Matching, Audio Quality, Semantic Alignment, Temporal Alignment로 나뉜다. Veo 3.1이 공식 벤치마크에 포함된다면 Semantic Alignment와 Temporal Alignment에서 경쟁 모델을 크게 앞설 것으로 전망된다.

FoleyGRAM(arXiv, 2025)은 영상·텍스트·오디오의 잠재 공간을 정렬하는 GRAM 기반 멀티모달 인코더를 제안했다. 이는 Veo 3.1이 내부적으로 구현하는 크로스모달 어텐션 메커니즘과 유사한 방향성을 가진다.

Veo 3.1의 차별점은 고해상도 자체보다 생성 단계의 결합 방식에 있다. 3D 잠재 디퓨전으로 시공간 일관성을 다루고, 통합 DiT에서 영상과 오디오가 서로를 조건으로 삼으며, 구조화된 임베딩으로 프롬프트 세부 지시를 유지한다. Runway Gen-4.5와 Kling 3.0이 카메라 제어와 캐릭터 일관성, 스토리보드 시퀀스에서 강점을 보이는 반면, 대화와 소리가 포함된 내러티브 영상에서는 Veo 3.1의 공동 생성 구조가 직접적인 이점을 제공한다.