Veo 3.1은 시간을 세 번째 공간 차원으로 다룬다 — Kling·Runway와 비교

2026년 1월 13일 Google DeepMind가 Veo 3.1 대규모 업데이트를 발표하며 AI 비디오 생성 모델의 새로운 기준을 세웠다. 3840×2160 해상도 최대 60fps 영상을 네이티브로 생성하고, 최대 4장의 참조 이미지로 씬 전반의 캐릭터 일관성을 유지하며, 오디오-비주얼 동기 생성을 단일 모델로 처리한다. Gemini API를 통해 개발자에게도 공개된 이 모델은 방송·영화·마케팅 제작 현장에서 AI 생성 영상의 실용성을 한 단계 끌어올렸다.

4K 60fps가 어려운 이유

4K 60fps AI 비디오 생성은 단순히 해상도와 프레임레이트를 높이는 문제가 아니다. 3840×2160×60fps 영상 8초 분량의 픽셀 수는 1920×1080×24fps 대비 약 10배에 달한다. 이를 생성 모델로 처리하려면 세 가지 도전을 극복해야 한다.

시간적 일관성(Temporal Consistency)은 인접 프레임 간 픽셀 수준의 연속성을 유지해야 한다는 요구다. 사람의 손이 화면을 가로지르는 장면에서 손의 형태, 피부색, 그림자가 프레임마다 일관되지 않으면 깜빡임(flickering) 아티팩트가 발생하며, 초당 60프레임에서는 이 요구가 더욱 엄격하다. 모션 품질(Motion Quality)은 60fps에서 모션 블러 처리, 물리적으로 타당한 물체 운동, 카메라 움직임의 자연스러운 표현이 모두 요구된다는 것으로, 낮은 프레임레이트에서 숨겨졌던 모션 아티팩트가 60fps에서는 명확히 드러난다. 메모리와 계산 효율은 4K 해상도의 잠재 공간(latent space) 표현이 표준 해상도 대비 훨씬 큰 텐서를 다루므로, 일반적인 Diffusion 모델 아키텍처를 그대로 적용하면 메모리 부족과 추론 속도 저하가 불가피하다는 문제다.

시간을 세 번째 공간 차원으로 다루는 방식

Veo 3.1의 핵심 아키텍처 혁신은 시간을 세 번째 공간 차원으로 취급하는 것이다. 표준 이미지 Diffusion 모델이 (Height, Width) 2D 공간에서 노이즈를 제거하는 것과 달리, Veo 3.1은 (Height, Width, Time)의 3D 볼륨 전체를 단일 생성 과정으로 처리한다.

이 접근법에서 모델은 비디오를 "연속된 이미지의 시퀀스"가 아닌 "픽셀이 3D 공간에 배치된 단일 구조물"로 인식한다. 각 픽셀의 위치와 외형이 전체 지속 시간에 걸쳐 상호 영향을 미치므로, 시간적 일관성이 생성 과정에 내재화된다.

⤢✕

4K 해상도에서 계산 효율을 확보하기 위해 Veo 3.1은 잠재 공간 압축(Latent Space Compression)을 활용한다. 원본 픽셀 공간에서 직접 Diffusion을 실행하는 대신, VAE(Variational Autoencoder)로 고압축된 잠재 표현을 생성하고 그 공간에서 Diffusion을 진행한 후 최종 디코딩 단계에서 4K 해상도로 복원한다. 이 과정에서 4K 업스케일링이 독립적인 후처리가 아닌 생성 파이프라인의 일부로 통합되어, 업스케일링 아티팩트 없이 진정한 4K 해상도를 구현한다.

참조 이미지 4장으로 얼굴을 고정하는 법

Veo 3.1의 "Ingredients to Video" 기능은 창작자들의 가장 큰 고충, 즉 장면 전반에 걸친 캐릭터 일관성 유지 문제를 해결한다. AI 비디오 생성에서 동일한 캐릭터가 씬마다 다른 얼굴이나 의상으로 나타나는 것은 고질적인 문제였다.

최대 4장의 참조 이미지(캐릭터, 복잡한 사물, 스타일 가이드 등)를 업로드하면, Veo 3.1은 이 이미지들을 생성의 기준점(anchor)으로 삼아 비디오 전반에 걸쳐 시각적 정체성을 유지한다. Identity Preservation의 기술적 구현은 멀티-이미지 컨디셔닝(Multi-Image Conditioning)이다. 참조 이미지들에서 추출한 특징 벡터(appearance embedding)가 Diffusion 과정의 조건 신호(conditioning signal)로 입력된다. 텍스트 프롬프트와 함께 크로스-어텐션 메커니즘을 통해 생성 과정의 매 단계에서 참조 이미지의 시각적 특성이 강화된다.

⤢✕

4장의 참조 이미지를 활용하는 실전 전략도 있다. 캐릭터의 정면·측면·후면 샷과 특징적인 의상/소품 클로즈업을 조합하면 가장 강력한 일관성을 얻을 수 있다. 조명 조건이 다른 여러 참조 이미지를 포함하면 다양한 씬 조명에서도 캐릭터 외형이 적응적으로 유지된다.

오디오 레이어가 영상과 함께 태어난다

Veo 3.1의 또 다른 핵심 기능은 오디오와 비주얼을 단일 모델 내에서 동시에 생성하는 것이다. 기존 AI 비디오 도구들이 영상 생성 후 별도로 사운드를 추가하는 방식과 근본적으로 다르다.

Veo 3.1은 공동 확산 과정(Joint Diffusion Process)으로 오디오와 비주얼을 함께 생성한다. 영상의 모든 시각적 이벤트(물이 튀는 장면, 발이 자갈을 밟는 장면)에 대해 오디오 신호가 물리적으로 동기화되어 생성된다. 이는 "영상을 보고 어울리는 소리를 붙인다"는 방식이 아니라, 시각-청각 이벤트가 동시에 공동 추론되는 방식이다.

생성되는 오디오는 세 레이어로 구성된다. 다이얼로그(Dialogue)는 캐릭터의 입 움직임과 동기화된 음성으로, 텍스트 프롬프트에서 대사를 지정하면 립싱크가 자동으로 처리된다. 효과음(Sound Effects)은 화면 내 물리적 이벤트와 연동된 폴리(foley) 사운드로, 발걸음·물소리·금속 충돌 등이 영상의 물리적 사건에 맞춰 자동 생성된다. 앰비언트 오디오(Ambient Audio)는 씬의 배경 환경을 반영하는 공간 사운드로, 실내·실외, 도시·숲, 낮·밤 등의 환경 정보가 텍스트 프롬프트에서 자동 해석되어 적합한 앰비언트 사운드로 구현된다.

Kling 3.0·Runway Gen-4와 스펙을 나란히 놓으면

2026년 초 AI 비디오 생성 시장에서 Veo 3.1, Kling 3.0(콰이쇼우), Runway Gen-4가 치열하게 경쟁하고 있다.

기능	Veo 3.1	Kling 3.0	Runway Gen-4
최대 해상도	4K (3840×2160)	2K (2560×1440)	1080p
최대 프레임레이트	60fps	30fps	24fps
참조 이미지 지원	최대 4장	최대 2장	캐릭터 레퍼런스 지원
네이티브 오디오	통합 생성	별도 처리	음악 동기화 지원
최대 클립 길이	148초 (20회 확장)	3분	40초
API 접근	Gemini API	Kling API	Runway API

Kling 3.0은 리얼리즘 표현과 물리 시뮬레이션 품질에서 강점을 보이며, 특히 인물 동작의 자연스러움이 뛰어나다는 평가를 받는다. Runway Gen-4는 창의적 필름메이킹 커뮤니티에서 높은 지지를 받고 있으며, 씬 일관성(scene consistency) 기능이 강점이다. Veo 3.1은 해상도·프레임레이트·오디오 통합·참조 이미지 수에서 기술 스펙상의 우위를 점하고 있다.

⤢✕

촬영을 대신하기 시작한 지점들

Veo 3.1의 4K 60fps와 캐릭터 일관성은 구체적인 제작 워크플로우를 바꾼다. 광고·마케팅에서는 브랜드 캐릭터나 제품을 참조 이미지로 등록하면, 다양한 씬과 스토리에서도 동일한 캐릭터와 제품이 일관되게 등장하는 광고 영상을 생성할 수 있어 촬영 비용과 일정을 대폭 절감한다. 독립 영화 제작에서는 소규모 제작사가 방송 품질(4K 60fps) 영상을 AI로 생성하고 편집 후 납품하는 파이프라인이 현실화되며, 배우의 참조 이미지를 활용한 가상 배우 시스템 구현도 가능해진다. 인터랙티브 콘텐츠에서는 게임이나 인터랙티브 스토리에서 플레이어 선택에 따라 동적으로 영상을 생성할 때, 동일한 캐릭터가 일관되게 등장하는 것이 필수인데 Veo 3.1의 캐릭터 일관성이 이 사용 사례를 실용화한다.

Veo 3.1은 4K 60fps 네이티브 생성, 멀티 참조 이미지 기반 캐릭터 일관성, 오디오-비주얼 통합 생성이라는 세 기술 혁신을 하나의 모델에서 구현함으로써 AI 비디오 생성의 실용화 수준을 한 단계 격상시켰다. Kling 3.0, Runway Gen-4와의 경쟁은 해상도·리얼리즘·창작 자유도 등 서로 다른 축에서 진행되며, 각 모델이 특정 제작 워크플로우에서 우위를 가진다.