발소리가 걸음걸이와 어긋나지 않는 이유 — Seedance 2.0의 오디오-비주얼 공동 생성

2026년 2월 12일, ByteDance는 Seedance 2.0을 공식 출시했다. 텍스트·이미지·오디오·비디오를 입력으로 받아 오디오와 비주얼을 단일 추론 패스에서 동시에 생성하는 통합 멀티모달 아키텍처는, 영상 생성 이후 오디오를 별도로 합성하던 기존 파이프라인의 패러다임을 근본적으로 바꾼다. 2026년 3월 기준 Artificial Analysis Video Arena 리더보드에서 텍스트-투-비디오(Elo 1,269)와 이미지-투-비디오(Elo 1,351) 두 카테고리 모두 1위를 기록하며 기술 선도 모델로 입증되었다.

영상 먼저, 오디오 나중이던 방식을 뒤집다

기존 AI 영상 생성 파이프라인의 표준은 "영상 먼저, 오디오 나중" 방식이었다. 영상 Diffusion 모델이 비주얼을 생성한 뒤, 별도의 오디오 모델이 생성된 영상에 맞는 사운드를 합성하는 두 단계 파이프라인이다. 이 접근의 근본적 한계는 사운드가 영상에 반응하는 것이지, 영상과 함께 사고되지 않는다는 점이다.

Seedance 2.0의 통합 오디오-비주얼 공동 생성 아키텍처는 이 관계를 역전시킨다. 오디오와 비주얼이 동일한 잠재 공간(latent space)에서 함께 디노이징(denoising)된다. 오디오 트랙의 타이밍과 에너지가 비디오 프레임 디노이징에 직접 영향을 미치고, 반대로 시각적 동작의 강도가 오디오 믹싱에 반영된다. 결과적으로 발소리는 걸음걸이와 정확히 동기화되고, 충격 효과음은 물체가 닿는 순간에 맞춰 생성된다.

⤢✕

여러 파일을 한 번에 받는 멀티모달 입력

Seedance 2.0의 가장 독특한 특징 중 하나는 입력 다양성이다. 텍스트, 이미지, 오디오, 비디오를 조합하여 최대 12개 파일을 동시에 입력할 수 있다. 구체적으로는 이미지 최대 9장, 비디오 클립 최대 3개, 오디오 클립 최대 3개를 각각 상한으로 한다.

@ 멘션 시스템은 각 입력 자산의 역할을 명시적으로 지정하는 메커니즘이다. @character_image 형태로 특정 이미지가 캐릭터 레퍼런스임을 지정하거나, @camera_motion_video로 카메라 움직임 스타일 레퍼런스임을 지정하거나, @ambient_audio로 배경 사운드 레퍼런스임을 지정할 수 있다. 이를 통해 "이 이미지의 캐릭터가 이 비디오처럼 움직이면서 이 오디오 스타일의 사운드를 생성"하는 복합적 조건 생성이 가능하다.

앰비언트·대화·효과음을 맞추는 법

Seedance 2.0의 오디오 생성은 세 가지 유형의 사운드를 동시에 다룬다. 앰비언트 사운드는 환경 배경음으로, 씬의 공간감과 분위기를 결정한다. 실내/실외, 도시/자연 등 시각적 컨텍스트에서 추론한 적절한 앰비언트를 자동으로 생성한다. 대화는 등장 캐릭터의 발화를 생성하며, 다국어 립싱크 정확성이 검증된 것으로 알려져 있다. 음향 효과는 씬 내 물리적 이벤트에 대응하는 효과음으로, 충돌, 발소리, 환경 소리 등이 포함된다.

오디오-비주얼 동기화의 핵심 기술은 공유 잠재 공간에서의 협력적 디노이징이다. 이 방식은 단순히 생성된 영상에 오디오를 맞추는 것이 아니라, 두 모달리티가 동일한 타임스텝에서 함께 진화하기 때문에 타이밍 정밀도가 근본적으로 더 높다. 특히 음성과 입술 움직임의 동기화에서 이 이점이 두드러진다.

⤢✕

Veo·Runway와 갈리는 오디오 처리 방식

세 모델은 서로 다른 아키텍처 전략을 통해 오디오-비주얼 생성을 구현한다. Seedance 2.0은 완전 통합 단일 패스 방식이다. 오디오와 비주얼이 동일한 Diffusion 모델 내에서 공동 학습되고 공동 추론된다. 이론적으로 가장 강한 오디오-비주얼 의미론적 결합을 달성할 수 있지만, 두 모달리티를 동시에 제어하는 복잡성이 증가한다. Veo 3.1은 오디오 생성을 네이티브로 지원하지만, 정확한 구현 방식은 공개되지 않았다. 외부 평가에 따르면 비주얼 품질과 오디오 통합의 균형 면에서 Veo 3.1이 가장 안정적인 결과를 보인다는 평가가 있다. Runway Gen-4.5는 오디오를 별도 후처리로 추가하는 방식을 유지한다. 비주얼 생성의 제어성과 편집 친화성을 희생하지 않는 대신, 오디오-비주얼 싱크 정확도에서 Seedance 2.0 대비 열위에 있다.

항목	Seedance 2.0	Veo 3.1	Runway Gen-4.5
오디오 생성 방식	단일 패스 공동 생성	네이티브 통합	후처리 추가
멀티모달 입력	최대 12파일	텍스트 + 이미지	텍스트 + 이미지
립싱크 정확도	높음 (다국어)	중간	낮음
오디오-비주얼 싱크	프레임 수준	씬 수준	클립 수준
최대 해상도	1080p	4K	1080p

벤치마크가 확인해 준 선두

Seedance 2.0의 기술적 우위는 벤치마크로 검증된다. Artificial Analysis Video Arena 리더보드에서 2026년 3월 기준 텍스트-투-비디오(Elo 1,269)와 이미지-투-비디오(Elo 1,351) 두 카테고리 모두 1위를 기록하며, 직전 선두였던 Kling 3.0을 추월했다.

멀티모달 생성 모델의 품질 평가는 단일 모달 모델보다 복잡하다. 비주얼 품질(FVD, SSIM), 오디오 품질(MOS, Fréchet Audio Distance), 오디오-비주얼 동기화 정확도(AV-Sync Score), 멀티모달 의미론적 일치도(Cross-Modal Alignment)를 별도로 평가하고 종합해야 한다. 이 중 AV-Sync Score는 오디오 이벤트와 대응하는 비주얼 이벤트 간의 시간 오차를 밀리초 단위로 측정한다. Seedance 2.0은 이 지표에서 특히 강점을 보이는 것으로 알려져 있다.

⤢✕

광고부터 숏폼까지, 실제로 쓰이는 곳

Seedance 2.0의 단일 패스 공동 생성 아키텍처가 실질적 이점을 발휘하는 시나리오는 명확하다. 광고 영상 제작에서는 배경 음악과 내레이션이 비주얼과 자연스럽게 어우러진 완성된 소재를 단일 생성으로 얻을 수 있다. 교육 콘텐츠에서는 설명 내레이션과 시각적 표현이 의미론적으로 정렬된 영상을 제작할 수 있다. 소셜미디어 숏폼 콘텐츠에서는 배경 음악과 비주얼 리듬이 동기화된 영상을 대량 생성하는 것이 가능해진다.

가격 경쟁력도 실용성의 중요한 측면이다. Seedance 2.0 Fast 버전의 초당 USD 0.022라는 가격은 유사 품질의 경쟁 모델 중 가장 낮은 진입 장벽을 제공한다. 이는 대규모 콘텐츠 생성 파이프라인에서 실험 비용을 크게 낮추어, 프로덕션 워크플로우 도입의 경제적 장벽을 낮춘다.

ByteDance Seedance 2.0은 오디오-비주얼 단일 패스 공동 생성 아키텍처를 통해 영상 생성 AI의 패러다임 전환을 선도했다. 공유 잠재 공간에서 두 모달리티를 동시에 디노이징하는 접근은 이론적 우수성뿐 아니라 실제 벤치마크에서도 검증된 결과를 보여주었다. 최대 12개 파일의 멀티모달 입력과 @ 멘션 기반 역할 지정 시스템은 크리에이터의 창작 의도를 정밀하게 반영할 수 있는 표현력을 제공한다.