발걸음 소리와 걸음걸이가 한 번에 나온다 — Veo 3.1의 단일 패스 생성

Google DeepMind가 공개한 Veo 3.1은 영상과 오디오를 별개의 파이프라인이 아닌 단일 추론 패스에서 동시에 생성하는 통합 멀티모달 아키텍처를 채택하여, 앰비언트 사운드·대화·음향 효과가 시각 요소와 완벽하게 동기화된 비디오를 생성한다. 텍스트-투-비디오 생성 분야에서 Kling, Runway 등 경쟁 모델과의 기술적 격차를 넓히며 현재 가장 발전한 영상 생성 AI로 자리잡았다.

영상과 오디오를 하나의 확산 과정에서

Veo 3.1의 핵심 혁신은 영상과 오디오를 하나의 확산(Diffusion) 과정에서 처리한다는 점이다. 기존 영상 생성 모델들은 비디오를 먼저 생성한 후 별도의 오디오 생성 모델을 거쳐 후처리로 합성하는 방식을 취했다. 반면 Veo 3.1은 시각 공간-시간 패치(spatiotemporal patches)와 오디오 시간 토큰을 통합된 잠재 공간(unified latent space)에서 공동으로 처리하는 구조를 갖는다.

Veo 3.1의 기반은 3D 잠재 확산 모델(3D Latent Diffusion Model)이다. 일반적인 이미지 생성에 사용되는 2D 확산 모델이 공간 차원(width × height)만을 처리하는 것과 달리, 3D 확산 모델은 시간 축(temporal axis)을 세 번째 차원으로 통합하여 프레임 간 자연스러운 움직임, 연속성, 오디오-비주얼 동기화를 학습한다.

⤢✕

발걸음 소리가 걸음걸이와 맞아떨어지는 이유

Veo 3.1에서 가장 주목할 기술은 크로스-모달 어텐션(cross-modal attention) 메커니즘이다. Transformer 아키텍처의 셀프-어텐션 레이어가 비주얼 토큰과 오디오 토큰을 하나의 시퀀스로 처리함으로써, 발걸음 소리는 시각적 보행 동작과 동기화되고, 대화 오디오는 화자의 입술 움직임과 정렬된다. 이 과정에서 장면의 환경 맥락을 인식하여 실내 공간에서는 잔향(reverb)이, 야외 장면에서는 바람 소리나 자연음이 자동으로 합성된다.

단일 패스 추론의 장점은 시간 복잡도에 있다. 오디오-비디오 순차 생성 파이프라인은 두 모델의 추론 시간이 합산되지만, Veo 3.1의 공동 생성은 단일 확산 과정에서 두 모달리티를 동시에 처리하므로 전체 레이턴시가 대폭 감소한다.

저마다 다른 길을 택한 아키텍처

현재 주요 텍스트-투-비디오 생성 모델들은 크게 세 가지 아키텍처 접근 방식을 취한다. Google의 접근 방식은 3D 공간-시간 어텐션을 통해 시각 물리 법칙(중력, 유체 역학, 자연스러운 보행 패턴)을 모델링하는 데 강점을 보인다. 오디오와 비디오의 통합 잠재 공간 학습은 Veo 3.1만의 차별점으로, 현재 다른 경쟁 모델이 달성하지 못한 영역이다.

Kuaishou의 Kling 3.0은 디퓨전 Transformer(DiT) 아키텍처를 기반으로 하며, 6개 컷 스토리보딩과 캐릭터 일관성 유지에 특화되어 있다. 초당 60프레임의 네이티브 4K 출력을 지원하나, 오디오 생성은 Veo 3.1의 단일 패스 방식과 달리 별도 처리 후 합성하는 방식을 유지한다.

Runway는 카메라 모션 제어와 편집 워크플로우 통합에 집중한 아키텍처를 채택한다. 세밀한 모션 브러시 기능과 구조화된 프롬프트 어노테이션을 통한 카메라 궤적 제어는 프로덕션 워크플로우에서 강점을 발휘하지만, 자동 오디오 생성 기능은 갖추지 않는다.

⤢✕

품질을 재는 잣대들

영상 생성 AI 모델의 성능을 객관적으로 측정하기 위해 여러 지표가 활용된다. FVD(Fréchet Video Distance)는 이미지 생성 평가 지표인 FID(Fréchet Inception Distance)를 비디오로 확장한 것으로, 생성된 비디오 분포와 실제 비디오 분포 사이의 Fréchet 거리를 측정한다. I3D(Inflated 3D ConvNet)와 같은 사전 학습된 비디오 인식 모델의 특징 공간에서 두 분포의 평균과 공분산을 비교하는 방식이며, 값이 낮을수록 생성된 비디오가 실제 비디오와 유사한 분포를 가짐을 의미한다.

시간적 일관성(Temporal Consistency)은 영상 생성 AI가 가장 자주 실패하는 영역이다. 연속 프레임 간 광학 흐름(optical flow) 기반 일관성 점수, 특징점 추적(feature point tracking) 안정성, 프레임 간 SSIM(Structural Similarity Index) 등으로 측정한다. Veo 3.1은 복잡한 다중 객체 장면을 제외하면 업계 최고 수준의 시간적 일관성을 보이며, Kling 3.0은 클로즈업 인물 장면에서 얼굴 일관성이 특히 우수하다.

사실성(Photorealism) 평가는 인간 평가자(human evaluation)를 통한 A/B 테스트와 함께, CLIP 유사도 점수, DINO 기반 시각적 품질 지표 등이 병행 활용된다. 물리 법칙 준수 평가는 중력 방향성, 유체 동역학 시뮬레이션 정확도, 조명 일관성 등 세부 항목으로 나뉘어 평가된다.

실무 사용 관점에서 Veo 3.1은 에이전시급 B-roll 제작과 광고 캠페인 영상에 적합하며, 오디오 동기화가 필수적인 숏폼 콘텐츠 제작에 강점을 갖는다. Kling 3.0은 캐릭터 기반 스토리텔링과 멀티컷 시네마틱 제작에 활용되며, Runway는 기존 편집 소프트웨어와의 통합이 중요한 포스트 프로덕션 파이프라인에서 선호된다.

영상과 오디오의 서로 다른 시계

단일 패스 오디오-비주얼 생성은 기술적으로 복잡한 도전을 수반한다. 오디오와 비디오는 근본적으로 다른 시간 해상도를 가진다. 24fps 비디오의 각 프레임에 대해 오디오는 44,100Hz 이상의 샘플 레이트를 가지므로, 두 모달리티를 하나의 잠재 공간에서 표현하기 위한 멀티레이트 토크나이제이션(multi-rate tokenization)이 필요하다.

향후 비디오 생성 AI는 더 긴 영상 생성, 더 정밀한 오디오 제어(음정, 공간음향, 화자 분리), 대화형 편집 기능 등의 방향으로 발전할 것으로 예상된다.

Google Veo 3.1은 3D 잠재 확산 Transformer와 크로스-모달 어텐션을 결합하여 영상과 오디오를 단일 추론 패스에서 동시 생성하는 기술적 선도를 달성했다. FVD, 시간적 일관성, 사실성 등 다양한 평가 지표에서 경쟁 모델을 앞서며 프로덕션 활용 가능성을 입증했으며, Kling·Runway 등 경쟁 모델들이 각자의 강점 영역에서 진화를 이어가는 가운데, 멀티모달 통합 생성이 차세대 비디오 AI의 표준 아키텍처로 자리잡을 것으로 전망된다.