Google Veo 3.1: 4K 60fps 네이티브 생성과 참조 이미지 캐릭터 일관성

2026년 1월 13일 Google DeepMind가 공개한 Veo 3.1은 AI 비디오 생성 모델의 기술적 임계점을 다시 한번 갱신했다. 3840×2160 해상도에서 초당 60프레임으로 영상을 네이티브 생성하는 첫 번째 주류 AI 비디오 모델로, 기존 경쟁 모델들이 최대 1080p에서 멈추던 한계를 단번에 뛰어넘었다. 최대 4장의 참조 이미지를 통한 씬 전반의 캐릭터 일관성 유지, 그리고 앰비언트 사운드·대사·효과음의 오디오-비주얼 단일 패스 동기 생성까지 세 가지 핵심 기능이 한꺼번에 업그레이드되었다.

업스케일링 없이 4K 60fps를 만드는 방식

AI 비디오 생성에서 4K 60fps 네이티브 출력은 단순한 해상도 숫자 증가가 아니다. 기존의 업스케일링(upscaling) 방식은 저해상도로 생성한 뒤 보간 알고리즘으로 해상도를 높이는 방식인데, 이때 텍스처의 날카로움과 미세한 디테일이 손실된다. Veo 3.1은 처음부터 3840×2160 픽셀 공간에서 확산(diffusion) 과정을 수행하므로, 업스케일링 아티팩트 없이 방송 수준의 품질을 보장한다.

60fps는 영화적 24fps나 일반 30fps 대비 훨씬 부드러운 모션을 제공한다. 특히 스포츠 중계, 게임 영상, 빠른 카메라 이동이 포함된 광고 콘텐츠에서 모션 블러 없이 선명한 프레임을 유지하려면 60fps 네이티브 생성이 필수적이다.

고해상도 고프레임 생성에서 가장 어려운 문제는 프레임 간 일관성이다. Veo 3.1은 시간 축을 따라 어텐션(attention)을 계산하는 3D 어텐션 메커니즘을 채택하여 인접 프레임 간 픽셀 값의 급격한 변화를 억제한다. 여기에 플로우 기반 모션 예측(flow-based motion prediction) 모듈이 결합되어 물체의 이동 궤적을 프레임 단위로 추정하고, 다음 프레임 생성 시 이를 조건(conditioning)으로 활용한다.

⤢✕

Veo 3.1은 카메라 이동 명령을 텍스트 프롬프트로 직접 제어할 수 있다. 달리(dolly), 팬(pan), 틸트(tilt), 줌(zoom), 오비트(orbit) 등의 표준 촬영 기법을 프롬프트에 명시하면, 모델이 해당 카메라 무브먼트에 맞게 모션 벡터를 계산하여 영상 전체에 걸쳐 일관된 카메라 경로를 생성한다. 이는 기존 V7 대비 오비트 샷에서의 시점 드리프트(drift)가 크게 줄어든 부분이다.

법과학적 접근으로 얼굴을 기억하는 법

Veo 3.1 Standard 버전은 최대 4장의 참조 이미지를 입력받아 캐릭터의 외형을 고정한다. 단일 이미지 컨디셔닝보다 2~4장의 이미지를 제공할 때 아이덴티티 보존(identity preservation) 정확도가 크게 향상되는데, 이는 여러 각도와 조명 조건에서 찍힌 이미지들이 더 풍부한 3D 아이덴티티 신호를 제공하기 때문이다.

Google Cloud 커뮤니티 연구에 따르면, Veo 3의 캐릭터 일관성 구현에는 법과학적 접근법(forensically-inspired approach)이 활용된다. 이 방식은 캐릭터의 외형을 서로 독립적으로 분리된(disentangled) 특징 집합으로 분해하는 것이 핵심이다. 첫 번째 단계에서는 입력된 참조 이미지들로부터 얼굴 랜드마크, 피부 텍스처, 의상 패턴, 체형 비율 등의 시각적 속성을 별도의 특징 공간(feature space)으로 추출한다. 두 번째 단계에서는 이 특징들을 다층적 아이덴티티 벡터(multi-faceted identity vector)로 통합하여, 영상 생성 과정 전반에서 강력하고 지속적인 조건 신호로 활용한다.

⤢✕

캐릭터를 완전히 다른 배경이나 조명 조건의 씬에 배치할 때 아이덴티티 드리프트(identity drift)가 발생하기 쉽다. Veo 3.1은 씬 전환마다 아이덴티티 벡터를 재주입하여 드리프트를 억제한다. 또한 Last-Frame Support 기능을 통해 영상의 첫 프레임과 마지막 프레임을 동시에 지정할 수 있어, 복잡한 멀티-샷 스토리텔링에서도 씬 간 캐릭터 연속성을 보장한다.

오디오와 영상이 한 번의 패스에서 함께 태어난다

Veo 3.1은 앰비언트 사운드, 캐릭터 대사, 효과음을 영상 생성과 동시에 단일 패스로 생성한다. 이전 세대 모델들이 영상을 먼저 생성한 뒤 별도의 오디오 모델로 사운드를 합성하던 방식과 근본적으로 다르다. 오디오 생성이 영상 확산 과정과 동일한 어텐션 레이어를 공유하므로, 화면의 움직임과 사운드가 자연스럽게 동기화된다. 구체적으로는 화면에서 발생하는 물리적 이벤트(문이 닫히는 장면, 물이 떨어지는 장면 등)가 오디오 생성 모듈에 직접 조건으로 전달되어, 시각적 이벤트와 사운드 이벤트 사이의 지연(latency)이 사실상 제거된다.

ByteDance의 Seedance 2.0 역시 오디오-비주얼 동시 생성을 지원하는 경쟁 모델이다.

⤢✕

Veo 3.1이 단일 멀티모달 트랜스포머에서 오디오와 비주얼을 공동 생성하는 방식이라면, Seedance 2.0은 각각의 생성 모듈을 크로스-모달 동기화 레이어로 연결하는 방식이다. Veo 3.1의 통합 아키텍처가 동기화 정밀도에서 우위를 보이고, Seedance 2.0은 각 모달리티의 독립적 품질 제어가 용이하다는 특성이 있다.

세로 영상과 실무에서 부딪히는 한계

Veo 3.1은 기존 16:9(가로) 외에 9:16(세로) 비율을 네이티브로 지원한다. TikTok, YouTube Shorts, Instagram Reels 등 모바일 우선 플랫폼에 최적화된 세로 영상을 처음부터 세로 비율로 생성하므로, 가로 영상을 크롭하여 세로로 변환할 때 발생하는 구성 손실이 없다. 네이티브 세로 모드에서 4K 해상도는 2160×3840(세로 4K)으로 전환되어 스마트폰 화면에서 최대 해상도를 구현한다.

Veo 3.1의 4K 60fps 출력은 방송 TV, 극장 상영, 고급 광고 캠페인 등 전문 프로덕션 환경에서 AI 생성 영상을 직접 활용할 수 있는 기반을 마련했다. 그러나 현재 단일 클립 최대 길이는 약 8초로 제한되며, 장편 영화나 30초 이상의 광고 영상은 복수 클립을 이어붙이는 방식으로 제작해야 한다. 또한 4K 60fps 모드는 생성 시간이 상당하므로, 실시간 프리뷰 단계에서는 1080p 패스를 활용하고 최종 렌더링 단계에서만 4K를 적용하는 두 단계 워크플로우가 권장된다.

Google Veo 3.1은 4K 60fps 네이티브 출력, 최대 4장 참조 이미지 기반 캐릭터 일관성, 오디오-비주얼 단일 패스 동기 생성이라는 세 가지 기술적 도약을 동시에 이룬 모델이다. 포렌식 분석 기반 아이덴티티 벡터 추출과 멀티-이미지 컨디셔닝의 결합은 씬 전반에 걸친 캐릭터 드리프트 문제를 실질적으로 해결했다. 단일 클립 길이 제한과 높은 생성 비용이라는 현실적 제약이 존재하지만, AI 비디오 생성이 전문 프로덕션 파이프라인에 통합될 수 있는 기술적 임계점에 도달했음을 Veo 3.1은 명확히 보여준다.

업스케일링 없이 4K 60fps를 만드는 방식

법과학적 접근으로 얼굴을 기억하는 법

오디오와 영상이 한 번의 패스에서 함께 태어난다

세로 영상과 실무에서 부딪히는 한계

Sources

함께 읽기