Seedance 2.0과 Runway Gen-4.5의 내러티브·제어 설계

2026년의 AI 영상 시장에서 ByteDance의 Seedance 2.0과 Runway Gen-4.5는 같은 목표를 향해 달리는 도구가 아니다. Seedance 2.0은 Artificial Analysis Video Arena에서 ELO 1위(1,269점)를 기록하며 다중 샷 연속성, 오디오 동기화, 내러티브 생성에 강점을 보였다. Runway Gen-4.5는 Motion Brush 3.0, World Consistency, Director Mode 2.0을 앞세워 상용 AI 영상 도구 가운데 세밀한 창작 제어를 제공하는 전문가 워크플로우 플랫폼으로 자리를 잡았다.

샷이 바뀌어도 이야기를 잃지 않는 구조

내러티브 영상은 개별 프레임의 품질만으로 완성되지 않는다. 여러 샷을 통과하는 동안 인물의 외형과 배경, 사건의 흐름이 연결되어야 한다. Seedance 2.0은 전체 이야기와 이미 생성된 샷을 다음 생성 단계의 조건으로 다시 활용한다.

전역 내러티브 인코더(Global Narrative Encoder)는 전체 스크립트나 시놉시스를 단일 임베딩 벡터로 압축한다. 개별 샷은 이 전역 컨텍스트를 조건으로 받아 생성된다. 샷 간 어텐션 메모리(Cross-Shot Attention Memory)는 앞서 만든 샷의 키-벨류 캐시를 다음 샷의 어텐션 풀로 제공해 인물 외형과 배경 텍스처를 참조하게 한다.

장면, 인물, 사건의 관계는 스토리 그래프(Story Graph)에 기록한다. 각 샷을 생성할 때 관련 노드의 특징 벡터를 주입하는 방식이다. 결과물은 연속성 점수 검증기(Continuity Scorer)를 거친다. 이 검증기는 CLIP 기반 유사도로 샷 사이의 시각적 드리프트를 측정하고, 점수가 임계값 아래로 내려가면 재생성을 요청한다.

스크립트에서 연속된 영상까지

Seedance 2.0의 흐름은 전체 이야기를 먼저 구조화하고, 각 샷의 결과를 다음 샷에 전달하는 방식으로 이어진다.

⤢✕

첫 등장 샷에서는 얼굴, 체형, 의상 특징 벡터를 외형 레퍼런스 뱅크(Appearance Reference Bank)에 저장한다. 이 정보가 이후 모든 샷의 컨디셔닝 앵커가 된다. 포즈 어드바이저(Pose Advisor)는 클로즈업, 풀샷, 오버숄더 같은 샷 유형에 맞춰 적합한 포즈 분포를 제안한다.

멀티모달 컨디셔닝은 텍스트와 최대 9개 이미지, 3개 비디오 클립, 3개 오디오 클립을 동시에 받는다. 여러 레퍼런스를 한 번에 조건으로 사용해 샷 사이의 일관성을 유지하는 접근이다.

장면 연결에는 화면뿐 아니라 소리도 포함된다. 내러티브 리듬 분석은 장면 전환 시점과 배경음악의 비트를 맞춰 극적 긴장감과 음악적 긴장감을 동기화한다. 등장인물의 대사를 텍스트로 입력하면 립싱크 오디오를 자동 생성하고 해당 프레임에 정렬한다.

음향 아크(Sound Arc)는 도입-갈등-해결로 이어지는 내러티브 3막 구조에 맞춰 음향의 밀도와 강도를 조정한다. Seedance 2.0은 오디오와 비디오를 단일 패스로 함께 생성하므로 별도의 후처리 스티칭이 필요하지 않다.

스토리보드를 생성 조건으로 바꾸는 파싱

스토리보드 파싱은 자연어 설명을 영상 생성에 필요한 구조로 변환하는 과정이다. 씬 디스크립션 파서(Scene Description Parser)는 "INT. 카페 - 낮 - 두 인물이 테이블에 앉아 대화" 형식의 영화 스크립트를 자동으로 해석한다.

렌더링 품질 예산은 샷 우선순위 스코어에 따라 배분된다. 서사적으로 중요한 클라이맥스 장면에 고품질 예산을 집중하는 방식이다. 장면 메타데이터 추출기는 낮과 밤, 실내와 야외, 긴장과 이완 같은 시간대·장소·감정 톤을 찾아 라이팅과 컬러 그레이딩 결정에 반영한다.

프롬프트 밖으로 나온 카메라 제어

Runway Gen-4.5의 강점은 생성 과정에 제작자가 개입할 수 있는 범위다. Director Mode 2.0에서는 달리, 트랙, 크레인, 드론, 핸드헬드, 스테디캠을 포함한 18가지 카메라 무브먼트 토큰을 직접 지정할 수 있다.

시작과 끝의 카메라 위치를 키프레임으로 설정하면 두 지점 사이의 궤적을 3차 베지어 곡선으로 보간한다. 타임라인에서 초점 거리와 조리개를 키프레임으로 지정해 피사계 심도(DoF)를 변화시키고 랙 포커스 효과를 만들 수도 있다. 속도 프로파일(Speed Profile)은 가속, 감속, 등속 구간을 독립적으로 설정하는 이징 커브 편집기로 제어한다.

Motion Brush로 피사체의 동선을 그린다

Motion Brush는 프롬프트 문장 대신 화면에 그린 방향으로 움직임을 지정하는 Runway Gen-4.5의 독자 기능이다. 사용자가 입력 이미지에 방향 화살표를 그리면 이를 픽셀 단위의 방향과 속도를 담은 모션 벡터 맵으로 변환한다.

⤢✕

한 장면 안의 피사체마다 다른 모션 벡터를 줄 수 있다. 인물은 오른쪽으로 이동시키면서 배경은 왼쪽으로 움직이는 식이다. 강도 슬라이더는 미세한 바람결부터 빠른 액션까지 모션 크기를 연속적으로 조정한다. 피사체별 모션 마스크는 포토샵 레이어처럼 독립적으로 관리한다.

World Consistency가 외형을 고정하는 방식

World Consistency는 최대 3장의 레퍼런스 이미지를 캐릭터 외형의 앵커로 사용한다. 조명, 각도, 표정이 달라져도 같은 외형을 유지하도록 조건을 제공한다.

특징 분리(Feature Disentanglement)는 신원(Identity) 특징과 포즈·표정 특징을 분리해 각각 컨디셔닝한다. 생성된 프레임에서는 레퍼런스와의 CLIP 코사인 유사도를 실시간으로 측정해 샷 간 외형 드리프트를 감지한다. 일관성 손실 함수(Consistency Loss)는 파인튜닝 없이 추론하는 동안에도 레퍼런스 이미지와의 일관성을 손실 항으로 강제한다.

스타일과 생성 결과를 다시 편집하는 도구

스타일 전이에는 AdaIN(Adaptive Instance Normalization)을 사용한다. 레퍼런스 영상에서 색조, 명암비, 채도 통계를 추출해 생성 영상에 옮긴다. "70년대 필름 그레인 50% + 현대 느와르 50%"처럼 스타일 프롬프트를 혼합할 수 있으며, 클립마다 스타일을 따로 지정해 뮤직비디오나 아트필름의 장면별 표현을 바꿀 수 있다.

생성 이후의 수정도 타임라인 안에서 이뤄진다. 인페인팅 타임라인에서 특정 프레임 구간을 선택하고 텍스트 지시로 다시 생성할 수 있다. 프레임의 일부 영역만 바꾸려면 마스크 인페인팅으로 배경 같은 대상만 골라 편집한다. 여러 Gen-4.5 클립은 멀티샷 스티칭 편집기에 배치한 뒤 트랜지션을 시각적으로 조정한다.

내러티브·제어·해상도·비용으로 갈리는 선택

Seedance 2.0과 Runway Gen-4.5만 비교해서는 제작 도구의 위치가 선명하게 드러나지 않는다. Veo 3.1과 Kling 3.0을 함께 놓으면 플랫폼별 우선순위가 갈린다.

항목	Seedance 2.0	Runway Gen-4.5	Veo 3.1	Kling 3.0
ELO 순위	1위 (1,269)	-	-	-
내러티브 다중 샷	최우수	우수	보통	우수
전문가 카메라 제어	보통	최우수	보통	보통
캐릭터 일관성	우수	최우수 (World Consistency)	보통	보통
네이티브 오디오	O (단일 패스)	X	O (단일 패스)	O
최대 해상도	1080p	1080p	4K/60fps	4K
멀티모달 입력	최대 15개	이미지 3개	이미지 4개	이미지+텍스트
초당 단가	$0.14	$0.20	$0.05 (Lite)	$0.09

내러티브 축에서는 ELO 1위인 Seedance 2.0이 스토리 연속성과 오디오 통합에서 우위를 보이며 단편 영화와 광고 내러티브 생성에 적합하다. 해상도를 우선하면 4K/60fps를 제공하는 Veo 3.1과 4K 출력의 Kling 3.0이 방송·시네마 요건에 대응한다.

카메라 제어, 캐릭터 일관성, 모션 브러시가 필요한 프로젝트에서는 Runway Gen-4.5가 제어 축의 선두에 놓인다. 초당 단가를 기준으로 보면 Veo 3.1 Lite($0.05) > Kling($0.09) > Seedance($0.14) > Runway($0.20) 순서다.

제작 유형에 맞춘 플랫폼 배치

어떤 모델이 절대적으로 앞서는가보다 제작물에서 무엇을 우선하는가가 선택을 가른다.

⤢✕

단편 영화 프리비즈에서는 Seedance 2.0의 스토리 그래프 기반 샷리스트 자동화로 감독의 비주얼 검증 비용을 90% 절감한다. 30·60초 TV 광고에서는 Runway Gen-4.5의 World Consistency로 모델 얼굴의 일관성을 유지하고 합법적인 브랜드 모델을 재현한다.

OTT 프로모 트레일러는 Veo 3.1의 4K+오디오를 활용해 방송 규격을 달성하고 DCI-P3 컬러 공간을 지원한다. 소셜 미디어용 대량 소재는 Kling 3.0 API로 수백 개의 변형을 배치 생성해 A/B 테스트에 공급한다.

전문 제작 파이프라인으로 향하는 생태계

도구 생태계는 독립된 생성 화면에서 기존 편집 파이프라인으로 이동하고 있다. Premiere Pro와 DaVinci Resolve 안에서 Gen-4.5·Seedance 2.0 API를 직접 호출하는 NLE 플러그인 파이프라인이 출시될 예정이다.

협업에서는 감독이 Runway의 제어 기능을 맡고, 프로듀서가 Seedance의 내러티브를 구성하며, 후반 작업에서 Veo의 4K 출력을 사용하는 역할 분담 구조가 정착하고 있다. 브랜드별 캐릭터와 스타일을 파인튜닝한 전용 모델을 제공하는 B2B SaaS도 확대되는 흐름이다.

로컬 배포가 필요한 제작 환경에서는 LTX Video와 Wan 2.1이 오픈소스 대안으로 부상하고 있다. 데이터 보안을 요구하는 프로덕션 하우스의 채택도 증가한다.

Seedance 2.0은 이야기의 흐름과 멀티모달 조건을 연결하는 방향으로, Runway Gen-4.5는 제작자가 카메라와 피사체를 직접 통제하는 방향으로 전문성을 확장했다. 두 플랫폼은 단순한 영상 생성기를 넘어 전문 제작 파이프라인의 핵심 도구로 통합되는 중이며, 이 흐름은 영화·광고·OTT 제작 워크플로우를 근본적으로 재구성할 것으로 전망된다.