Veo·Kling·Runway가 서로 다른 이유는 어텐션 레이어 하나 차이다

Sora 서비스 종료 이후 재편된 영상 생성 AI 시장에서 Google Veo 3.1, Kling 3.0, Runway Gen-4.5가 3강 체제를 형성하고 있다. Pixflow의 2026년 5월 벤치마크에서 Veo 3.1은 프롬프트 준수율 87%로 1위를 기록했고, Kling 3.0은 전체 ELO 스코어 1,243으로 종합 1위를 차지했으며, Runway Gen-4.5는 카메라 무브와 캐릭터 일관성 제어에서 크리에이터의 선호를 받고 있다. 세 모델은 각기 다른 아키텍처 강점을 바탕으로 프로덕션 영상 제작의 서로 다른 요구를 충족한다.

트랜스포머로 노이즈를 지우는 방식들

현대 영상 생성 모델은 크게 두 아키텍처 계열로 나뉜다. Diffusion Transformer(DiT)는 U-Net 대신 트랜스포머 블록으로 노이즈 제거 과정을 처리하며, 텍스트 조건과 시각 토큰 간 어텐션을 효과적으로 모델링한다. Flow Matching은 데이터 분포 간 직선 경로를 학습해 디퓨전보다 적은 추론 스텝으로 고품질 출력을 달성한다.

Veo 3.1은 잠재 확산 트랜스포머(Latent Diffusion Transformer) 구조로, 원본 픽셀 공간 대신 시공간 패치(Spatio-Temporal Patch)를 압축한 잠재 공간에서 노이즈 제거를 수행한다. 이 방식은 4K 출력에서도 픽셀 직접 처리의 연산 비용 없이 고해상도를 달성한다. Kling 3.0은 멀티샷 스토리보드 시퀀스를 지원하기 위해 씬 간 시간 일관성을 전담하는 크로스-샷 어텐션 레이어를 추가했다. Runway Gen-4.5는 카메라 궤적을 조건으로 명시적으로 입력받는 카메라 임베딩 레이어를 포함해 Pan, Tilt, Zoom, Dolly 등 카메라 무브를 세밀하게 제어한다.

Veo 3.1의 가장 두드러진 혁신은 비디오와 오디오를 단일 패스에서 동시 생성하는 조인트 확산(Joint Diffusion) 구조다. 비디오 잠재 변수와 오디오 스펙트로그램을 공유 트랜스포머 블록에서 함께 처리하므로 입술 싱크, 발걸음 소리와 화면 동기화 같은 크로스모달 일관성이 자연스럽게 학습된다. 48kHz 오디오, 동기화된 대사, 환경음이 단일 생성 과정에서 출력된다.

4K 출력 파이프라인은 잠재 공간 해상도를 높이는 방식과 잠재에서 4K로 업스케일하는 2단계 방식이 혼용된다. Veo 3.1은 잠재 확산 후 4K 업스케일러를 통과시키는 2단계 파이프라인으로 4~8초 클립을 16:9 및 9:16 양 종횡비로 출력한다.

⤢✕

씬을 잇거나, 카메라를 조종하거나

Kling 3.0의 멀티샷 스토리보드 모드는 사용자가 여러 씬 설명을 순서대로 입력하면 각 씬을 독립적으로 생성하되 씬 간 시각적 일관성을 유지하는 기능이다. 씬 시퀀스 파서는 전환점, 카메라 앵글 변경, 캐릭터 재등장 시점을 추출하고 각 씬 생성에 이전 씬의 시각 컨텍스트를 조건으로 주입한다.

Runway Gen-4.5의 레퍼런스 기반 캐릭터 일관성은 캐릭터 이미지 임베딩을 각 프레임 생성에 어텐션 바이어스로 주입하는 방식이다. 참조 이미지의 얼굴 특징, 의상 텍스처, 체형 비율이 임베딩으로 추출되고, 이 임베딩은 전체 영상 생성 과정에서 드리프트를 방지하는 앵커 역할을 한다. 스타일 일관성은 스타일 참조 이미지의 색상 팔레트, 조명 분위기, 렌더링 스타일을 콘텐츠 생성과 분리해 유지한다.

Runway Gen-4.5의 카메라 무브 제어는 Pan(좌우 이동), Tilt(상하 회전), Zoom(확대/축소), Dolly(전후 이동), Orbit(피사체 공전) 등 기본 무브를 명시적 파라미터로 지정할 수 있다. Motion Brush 기능은 프레임 특정 영역의 움직임 벡터를 마스크로 지정해 부분 동작 제어를 가능하게 한다.

숫자로 나란히 놓으면

항목	Veo 3.1	Kling 3.0	Runway Gen-4.5
프롬프트 준수율	87%	68%	72%
ELO 스코어	미공개	1,243 (1위)	미공개
최대 해상도	4K (2단계)	4K 네이티브	1080p (Full HD)
최대 클립 길이	8초	10초	16초
네이티브 오디오	O (조인트 생성)	O (멀티샷 동기화)	X (별도 추가)
멀티샷 지원	X	O	X
카메라 제어	제한적	제한적	세밀 (Motion Brush)
캐릭터 일관성	보통	보통	강점

API 가격은 플랫폼 선택의 중요한 기준이다. Kling 3.0이 월 6.99달러로 가장 저렴하고, Veo 3.1은 Google AI Pro 구독 7.99달러에 포함된다. Runway Gen-4.5는 월 12~95달러로 전체 편집 툴체인을 포함한다. API 단위 가격에서는 Kling 3.0이 경쟁 우위를 갖는다.

기업 채택 패턴은 용도에 따라 분화되고 있다. 광고·마케팅 영상에서는 프롬프트 준수율이 높은 Veo 3.1이 선호된다. 영화·드라마 프리비즈(Pre-vis)에서는 멀티샷 스토리보드와 캐릭터 일관성을 지원하는 Kling 3.0과 Runway Gen-4.5가 결합해 사용된다. 소셜 미디어 숏폼 콘텐츠에서는 9:16 네이티브 출력과 오디오 동기화를 지원하는 Veo 3.1과 Kling 3.0이 강세다.

Sora 서비스 종료 이후 영상 생성 AI 시장은 단일 지배 모델 없이 특화된 3강 구도로 재편됐으며, 이 구도는 2026년 하반기 모델 업데이트 경쟁과 함께 더욱 심화될 전망이다.

2026년 영상 생성 AI 3강 체제는 단순한 품질 경쟁을 넘어 각기 다른 아키텍처 강점으로 시장을 분화하는 성숙기에 접어들고 있다. Veo 3.1의 조인트 오디오 확산과 4K 출력, Kling 3.0의 멀티샷 스토리보드와 ELO 1위 품질, Runway Gen-4.5의 세밀한 카메라 제어와 캐릭터 일관성은 상호 보완적인 역할을 수행한다. 콘텐츠 제작팀은 단일 플랫폼 의존보다 용도별 모델 조합 전략이 최적 워크플로우임을 인식해가고 있다.

트랜스포머로 노이즈를 지우는 방식들

씬을 잇거나, 카메라를 조종하거나

숫자로 나란히 놓으면

Sources

함께 읽기