Veo 3.1이 참조 이미지만으로 같은 얼굴을 유지하는 법

2026년 1월, Google은 Veo 3.1 업데이트를 발표했다. 3840×2160 해상도의 4K 영상을 60fps로 네이티브 출력하는 기능과, 최대 4장의 참조 이미지로 씬 전반에 걸쳐 캐릭터 동일성을 유지하는 "Ingredients to Video" 기능이 핵심이다. AI 영상 생성 모델이 처음으로 브로드캐스트 품질 기준에 근접한 사양을 달성한 것으로 평가된다.

4K 60fps는 어떻게 만들어지는가

Veo 3.1의 4K 출력은 완전한 의미의 네이티브 생성이 아닌 하이브리드 방식으로 구현된다. 기본 생성 해상도에서 최종 3840×2160 출력으로의 변환에는 Google이 자체 개발한 AI 업스케일링 알고리즘이 사용된다. 이 방식은 완전 네이티브 4K 생성보다 연산 비용을 대폭 절감하면서도 시각적 품질 저하를 최소화하는 실용적 접근이다.

60fps 지원은 영상 생성 AI에서 특히 도전적인 기술 문제다. 초당 60 프레임을 생성하려면 초당 24 또는 30 프레임 대비 2~2.5배의 시간적 일관성 유지 연산이 필요하기 때문이다. 인접 프레임 간 피사체의 위치, 형태, 조명이 물리적으로 타당한 방식으로 연속되어야 하며, 이를 위해 Veo 3.1은 확장된 시간적 어텐션 메커니즘을 적용한다. 9:16 세로형 비율 네이티브 지원은 TikTok, YouTube Shorts 등 숏폼 플랫폼을 위한 콘텐츠 제작 워크플로우를 직접 지원한다. 기존에는 16:9 생성 후 크롭하거나 패딩을 추가하는 방식을 사용했지만, 이제 세로형 구도를 의도한 대로 생성할 수 있다.

⤢✕

참조 이미지로 캐릭터를 고정하는 법

"Ingredients to Video"는 Veo 3.1의 가장 주목받는 혁신 기능이다. 사용자가 캐릭터, 배경, 소품 등의 참조 이미지를 최대 4장 입력하면, 모델이 해당 시각적 요소들을 씬 전반에 걸쳐 일관되게 유지하며 영상을 생성한다. 이는 AI 영상 생성의 고질적 문제였던 "씬 전환 시 얼굴·특징 변형" 문제를 실질적으로 해결한 첫 번째 상용 구현이다.

참조 이미지 처리는 단순한 스타일 이전(style transfer)이 아니다. 각 이미지에서 추출한 고수준 특징(high-level feature) 벡터를 생성 과정의 조건 신호(conditioning signal)로 사용하는 방식이다. 첫째, 각 참조 이미지를 사전 학습된 비전 인코더로 처리하여 의미론적 특징 임베딩을 추출한다. 단순한 픽셀 수준 복사가 아니라 캐릭터의 얼굴 구조, 체형, 의상 스타일 등 추상적 특성을 인코딩한다. 둘째, 이 임베딩을 텍스트 프롬프트 임베딩과 결합하여 복합 조건 신호를 구성한다. 텍스트와 이미지 임베딩의 가중 결합 비율을 조정함으로써 사용자가 텍스트 묘사와 참조 이미지 중 어느 쪽을 더 강하게 반영할지 제어할 수 있다. 셋째, Diffusion 생성 과정의 각 타임스텝에서 이 조건 신호를 크로스 어텐션으로 주입하여 생성 방향을 유도한다.

카메라 앵글이 바뀌어도 같은 얼굴을 유지하는 도전

캐릭터 Identity Preservation에서 가장 어려운 부분은 카메라 앵글과 조명이 변할 때 동일성을 유지하는 것이다. 참조 이미지가 정면 조명의 얼굴 사진이더라도, 생성된 영상에서는 측면, 역광, 야간 조명 등 다양한 조건에서 동일 캐릭터가 등장해야 한다. Veo 3.1은 3D 일관성 제약을 도입하여 이 문제를 부분적으로 해결했다. 생성 과정에서 캐릭터의 3D 구조를 암묵적으로 추론하고, 이를 다양한 시점에서의 외관 일관성 유지에 활용한다. 완벽한 구현은 아니지만 이전 버전 대비 명확한 개선이다.

⤢✕

멀티-이미지 정렬(Multi-Image Alignment) 측면에서는 4장의 참조 이미지 간에 모순이 있을 경우(예: 동일 캐릭터의 다른 복장, 다른 헤어스타일) 모델이 어떻게 처리하는지가 중요하다. Veo 3.1은 이미지 간 공통 특성을 우선시하고, 충돌하는 속성에 대해서는 프롬프트 텍스트의 설명을 우선 적용하는 방식을 사용한다.

FVD부터 모션 품질까지, 품질을 재는 잣대

영상 생성 모델의 품질을 객관적으로 평가하기 위한 표준 지표들이 정착되고 있다. FVD(Fréchet Video Distance)는 이미지 생성의 FID에 해당하는 지표로, 생성된 영상의 분포와 실제 영상의 분포 간 거리를 측정한다. 낮을수록 실제 영상에 가깝다. 다만 FVD는 전체적 통계적 품질을 측정하므로, 특정 캐릭터 일관성 같은 세부 품질은 포착하지 못하는 한계가 있다. Temporal Consistency Score는 연속 프레임 간 광학 흐름(optical flow)과 특징 일관성을 측정한다. 카메라가 움직이는 동안 피사체의 특성이 얼마나 일관되게 유지되는지를 정량화하며, Veo 3.1이 60fps를 지원하면서 이 지표의 중요성이 더 부각되었다. Semantic Alignment는 텍스트 프롬프트와 생성된 영상의 의미론적 일치도를 평가한다. CLIP Score의 영상 버전으로 볼 수 있으며, 프롬프트에 명시된 행동, 객체, 분위기가 실제로 생성 영상에 반영되었는지 측정한다. Motion Quality는 움직임의 자연스러움과 물리적 타당성을 평가하는 지표로, 이 영역에서는 아직 표준화된 단일 지표가 없으며 다양한 벤치마크가 혼용되고 있다.

⤢✕

처리 시간과 일관성 한계가 남긴 숙제

Veo 3.1이 기술적 진보를 이루었음에도 실용 한계는 존재한다. 4K 60fps 출력은 처리 시간과 비용이 상당하며, 짧은 클립 하나를 생성하는 데도 수십 초에서 수 분이 소요될 수 있다. 이는 실시간 또는 즉각적인 피드백이 필요한 워크플로우에서의 적용에 제약이 된다. 참조 이미지 기반 일관성도 완벽하지 않다. 복잡한 동작, 극단적인 카메라 앵글, 다수의 캐릭터가 동시에 등장하는 씬에서는 Identity Preservation의 효과가 떨어진다. 특히 4장 중 다른 캐릭터의 이미지가 포함되면 개별 Identity 분리가 어려워지는 경우가 있다.

Google Veo 3.1은 AI 영상 생성 모델이 처음으로 브로드캐스트 품질 기준에 근접한 사양을 달성했음을 보여주는 사례다. 4K 60fps 출력과 참조 이미지 기반 캐릭터 일관성 유지는 각각 해상도와 콘텐츠 일관성이라는 AI 영상의 두 가지 핵심 약점을 정면으로 공략한 혁신이며, 품질 평가 지표 체계가 성숙하면서 모델 간 객관적 비교가 가능해진 것도 2026년 영상 생성 AI 생태계의 중요한 변화다.