Sora 종료 이후 AI 영상 생성 시장과 Kling·Runway의 경쟁
OpenAI Sora 종료가 드러낸 추론 비용 문제와 Kling 3.0·Runway Gen-4.5의 장시간 생성, 멀티씬 일관성 기술과 시장 선택 기준을 분석한다.
2026-08-14 · 최초 발행 2026-06-10
Sora가 남긴 것은 기술보다 비용 문제였다
OpenAI는 2026년 4월 26일 AI 영상 생성 서비스 Sora를 공식 종료했다. 공개 후 불과 1년여 만에 물러난 배경에는 제품 완성도만이 아니라 막대한 추론 비용과 제한적인 수익화라는 구조적 문제가 놓여 있었다. Sora가 만든 시장의 기대는 사라지지 않았고, 빈자리를 두고 Kuaishou의 Kling 3.0과 Runway Gen-4.5가 서로 다른 기술 축에서 경쟁하기 시작했다.
Sora는 2024년 2월 처음 공개됐을 때 텍스트 프롬프트 하나로 최장 60초, 1080p 영상을 생성하며 주목받았다. 그러나 2024년 12월 일반 공개 이후에는 서비스 운영의 수익성과 확장성을 동시에 맞추기 어려웠다.
Diffusion Transformer(DiT) 아키텍처로 고품질 영상을 생성하려면 방대한 컴퓨팅 자원이 필요하다. 60초 1080p 영상 한 편의 추론 비용은 $3~$8 수준으로 추정됐다. 이를 월 $20인 ChatGPT Plus 구독 범위에서 무제한으로 제공하기는 구조적으로 어려웠다. 사용량을 조이면 사용자 불만이 커지고, 제한을 완화하면 단위 경제(Unit Economics)가 무너지는 상황이었다.
품질 문제도 남아 있었다. 생성 길이는 25~60초에 머물렀고, 복잡한 물리 법칙을 시뮬레이션할 때 오류가 발생했으며, 여러 씬에 걸쳐 같은 캐릭터를 유지하는 능력도 충분하지 않았다. 창작자가 실제 제작 과정에서 부딪히는 이 한계는 경쟁 제품이 파고들 기술적 여지가 됐다.
OpenAI는 서비스 종료를 알리며 "영상 생성보다 AGI 달성에 자원을 집중"하겠다는 방향을 시사했다. AI 영상 생성을 핵심 수익원으로 키우는 일이 현재로서는 비효율적이라는 판단이 반영된 결정이다. 반면 Sora가 높여 놓은 사회적 인식과 시장 기대치는 그대로였다. 약 300만 명으로 추산되는 유료 사용자가 한꺼번에 대안을 찾기 시작하면서 Kling 3.0과 Runway Gen-4.5에 큰 시장 기회가 열렸다.
긴 영상을 버티는 시간 어텐션
25초를 넘어 2분 이상의 영상을 생성하려면 모델 크기만 키워서는 안 된다. 영상 전체에서 시각적 맥락을 잃지 않으면서 프레임 수 증가에 따른 연산량을 통제해야 한다. 기존 단기 영상 생성 모델처럼 모든 프레임 시퀀스를 한꺼번에 어텐션 연산으로 처리하면 복잡도가 O(T²)로 증가해 메모리와 연산 부담이 급격히 커진다.
Kling 3.0의 계층적 시간 어텐션(Hierarchical Temporal Attention) 은 이 부담을 로컬 처리와 글로벌 참조로 나눈다. 로컬 윈도우 어텐션은 인접한 K개 프레임 안에서 세밀한 관계를 계산해 짧은 구간의 모션을 부드럽게 만든다. 글로벌 키프레임 어텐션은 전체 영상에서 N개의 키프레임을 골라 의상, 조명 방향, 배경 원근감 같은 장거리 시각 정보를 유지한다.
두 연산을 결합하면 전체 복잡도는 O(K·T + N·T)로 낮아져 실질적으로 선형에 가까운 확장성을 확보할 수 있다.
씬 전환과 소리를 생성 조건으로 다루는 방식
장시간 영상의 씬 전환은 즉시 화면을 바꾸는 하드 컷(hard cut) 과 페이드·디졸브·와이프 같은 효과를 거치는 소프트 전환(soft transition) 으로 나뉜다. Runway Gen-4.5는 전환 제어 토큰(Transition Control Token) 을 이용해 전환 방식과 지속 시간을 프롬프트 수준에서 지정하도록 설계됐다.
오디오와 화면을 맞추는 작업도 영상 생성이 끝난 뒤 음악·음성·효과음을 정렬하는 post-alignment에만 의존하지 않는다. 크로스-모달 어텐션(Cross-Modal Attention) 으로 오디오 스펙트로그램의 비트(beat), 음정 변화, 에너지 피크를 조건 신호로 주입한다. 음악의 강약에 맞춰 카메라가 줌인하거나 컷이 바뀌는 동기화가 영상 생성 과정에서 실시간으로 이뤄지는 구조다.
고해상도 프레임을 처음부터 만들지 않는 이유
영상 길이와 해상도를 함께 높이면 비용 부담이 커진다. 1080p 이상의 해상도로 2분 영상을 만들려면 수천 장의 고해상도 프레임이 필요하기 때문이다. 최신 모델들은 생성-업스케일 분리(Generation-Upscale Decoupling) 로 시간적 구조를 잡는 단계와 세부 화질을 높이는 단계를 분리한다.
먼저 512×288 또는 768×432 해상도에서 모션과 씬 전환을 포함한 영상 전체의 시간 구조를 생성한다. 이 단계에 드는 비용은 목표 해상도로 직접 생성할 때의 약 1/9 ~ 1/4 수준이다.
이후 Video Super-Resolution(VSR) 모듈이 각 프레임을 2~4배 업스케일하고 세부 텍스처를 복원한다. 이때 시간-공간 통합 업스케일러(Spatio-Temporal Upscaler)가 인접 프레임까지 참조해 프레임 사이의 텍스처 일관성을 유지한다.
모든 구간을 같은 품질로 렌더링할 필요가 없을 때는 예산 인식 렌더링(Budget-Aware Rendering) 을 적용할 수 있다. 사용자가 지정한 하이라이트 씬에는 최고 품질 렌더링을 사용하고, 나머지 구간에는 경량 업스케일을 적용하는 방식이다.
Kling 3.0은 영상을 청크로 이어 붙인다
Kling 3.0(쾌쇼)은 Sora가 풀지 못했던 장시간 생성에 초점을 맞췄다. 기반에는 3D 인과 어텐션(3D Causal Attention)을 사용하는 공간-시간 결합 DiT(Diffusion Transformer)가 있고, 여기에 청크 기반 자동 회귀 생성(Chunk-Based Autoregressive Generation) 을 결합했다.
전체 2분 영상을 한 번에 처리하지 않고 5~8초 단위 청크로 나눠 순차 생성한다. 각 청크를 만들 때 이전 청크의 마지막 N개 프레임을 다음 조건 입력으로 넘긴다. 장기 문맥(long-range context)을 이어 가면서도 개별 청크의 복잡도를 관리 가능한 범위에 두는 설계다.
물리 시뮬레이션 인식 생성(Physics-Aware Generation) 도 강화됐다. 천 재질 시뮬레이션과 유체 역학, 파티클 시스템을 더 사실적으로 표현하기 위해 사전 훈련 데이터에 물리 시뮬레이션 렌더링 영상을 대규모로 포함했다. 사후 훈련 단계에서는 물리 법칙을 어긴 결과에 페널티를 주는 보상 모델(Reward Model)을 적용했다.
가격도 사용자 이동을 자극했다. Sora Plus의 $20/월과 비교하면 Kling 표준 구독은 약 40~60% 저렴하고, 생성 쿼터 대비 단가도 훨씬 낮다. Kuaishou가 대규모 GPU 인프라를 공유하고 중국 내의 낮은 컴퓨팅 비용 구조를 글로벌 시장에 적용한 결과다.
Sora 종료 후 Kling 3.0은 2주 만에 신규 가입자 50만 명 이상을 확보한 것으로 알려졌다. 채택은 유튜브 크리에이터와 소셜 미디어 콘텐츠 제작자를 중심으로 빠르게 진행되고 있다.
Runway Gen-4.5는 씬 사이의 동일성을 고정한다
Runway Gen-4.5가 겨냥하는 문제는 긴 영상 자체보다 멀티씬 간 일관성이다. 광고나 영화처럼 여러 씬을 연결해야 하는 작업에서는 배경과 카메라 각도가 달라져도 등장인물의 얼굴, 의상, 체형이 같은 상태로 남아야 한다.
Gen-4.5의 캐릭터 앵커 임베딩(Character Anchor Embedding) 은 사용자가 올린 참조 이미지 한 장 또는 여러 장에서 인물의 아이덴티티 특징을 고차원 벡터로 인코딩한다. 이 벡터는 이후 모든 씬의 조건 입력으로 들어간다. 어텐션 메커니즘에서는 공간 위치와 관계없이 캐릭터 앵커 임베딩에 높은 가중치를 부여해 카메라 위치나 배경이 변해도 인물의 시각 정보를 우선 보존한다.
카메라 움직임은 카메라 궤적 인코더(Camera Trajectory Encoder) 가 담당한다. 씬 전환 전후의 카메라 위치와 방향, 이동 속도를 명시적으로 인코딩한다. 사용자가 "slow dolly in", "crane shot → aerial view" 같은 자연어 명령을 주면 연속적인 카메라 파라미터 시퀀스로 변환해 씬 사이의 급격한 시점 변화를 막는다.
같은 장소를 유지할 때는 의미론적 배경 고정(Semantic Background Anchoring) 을 쓴다. 첫 씬에서 배경의 세그멘테이션 맵(segmentation map)과 글로벌 컬러 팔레트를 추출해 다음 씬의 생성 조건으로 넘긴다. 조명 조건이 달라져도 공간감이 이어지도록 만드는 장치다.
스타일은 어댑티브 스타일 레이어(Adaptive Style Layer) 로 전달한다. 사용자가 시네마틱 필름, 아니메, 수채화 같은 스타일의 참조 이미지를 제공하면 DINO-v2 기반 스타일 인코더가 텍스처와 컬러, 라이팅 특성을 추출한다. 추출된 정보는 DiT의 각 어텐션 레이어에 cross-attention으로 주입된다.
생성 결과를 다시 다룰 수 있는 편집 기능도 포함된다. 특정 프레임 범위에서 마스크를 그린 영역만 재생성하는 인페인팅 편집(Inpainting Edit) 과 텍스트 명령으로 카메라 움직임이나 캐릭터 동작을 바꾸는 지시 기반 편집(Instruction-Based Edit) 을 지원한다.
시장은 사용 목적에 따라 갈라졌다
Sora 종료 후 2026년 AI 영상 생성 시장은 Kling 3.0, Runway Gen-4.5, Pika 2.5가 서로 다른 사용자층을 공략하는 경쟁 구도로 재편됐다.
Kling 3.0(Kuaishou) 은 최대 2분의 장시간 생성과 낮은 단가를 앞세워 중국 시장과 가격에 민감한 창작자를 겨냥한다. API 호출당 비용은 경쟁사보다 30~50% 낮고 초당 프레임 수 대비 가격 경쟁력이 높다. 반면 복잡한 멀티씬 프로젝트에서는 씬 간 일관성이 상대적으로 약하며, 전문 편집 워크플로우와의 통합 기능도 미흡하다.
Runway Gen-4.5는 멀티씬 일관성과 전문 편집 워크플로우, API 생태계에 집중한다. 주요 대상은 엔터테인먼트·광고·영화 제작사이며 Adobe Premiere와 DaVinci Resolve 플러그인을 공식 제공한다. 단위 생성 비용은 가장 높지만 전문 창작자 사이에서 품질 신뢰도가 높다.
Pika 2.5는 최대 30초의 짧은 클립에 특화돼 소셜 미디어 콘텐츠 제작자와 인플루언서를 겨냥한다. 직관적인 UI와 평균 30초 이내의 빠른 생성 속도로 진입 장벽을 낮췄고, Lip Sync와 배경 제거 같은 소셜 미디어용 기능을 내장했다.
Minimax Video 01과 Google Veo 2는 B2B API 시장에서 대량 배치 처리와 엔터프라이즈 SLA를 강점으로 내세우는 보조 플레이어다.
플랫폼을 고를 때 확인할 조건
엔터프라이즈 환경에서는 기능 목록만 비교해서는 부족하다. 먼저 대량 요청을 처리할 큐 관리 기능과 99.9% 이상의 가동률을 보장하는 API·SLA가 있는지 확인해야 한다. 생성 영상의 상업적 사용 범위와 학습 데이터 출처에 대한 법적 보증처럼 저작권·라이선스 조건도 명확해야 한다. 금융·의료·방송처럼 데이터 외부 전송이 금지되는 분야라면 온프레미스 또는 VPC 배포 지원 여부도 필수 조건이다.
개인 창작자에게는 생성 품질 대비 크레딧 가성비와 반복 편집의 편의성이 더 직접적인 판단 기준이다. Sora 이탈 사용자의 실사용 데이터에서는 단순 콘텐츠 제작자의 60% 이상이 Kling 3.0으로 이동했고, 전문 창작자의 55%는 Runway Gen-4.5를 선택한 것으로 집계됐다.
Sora의 종료는 AI 영상 생성 기술의 종말이 아니라 기술 주도(technology-led) 시장이 경제성 주도(economics-led) 시장으로 이동하기 시작했다는 신호다. Kling 3.0이 장시간 생성과 가격 경쟁력으로 대중 시장을 공략하고 Runway Gen-4.5가 멀티씬 일관성과 전문 워크플로우로 고부가가치 시장을 지키는 양분 구조는 당분간 이어질 전망이다. 도입을 검토하는 기업과 창작자라면 기능 외에도 추론 비용 구조, 저작권 정책, 편집 워크플로우 통합성을 함께 평가해야 한다.
Sources
- https://openai.com/index/sora/
- https://kling.kuaishou.com/
- https://runwayml.com/research/gen-4
- https://pika.art/
- https://arxiv.org/abs/2312.14752 (Video Diffusion Models: A Survey)
- https://arxiv.org/abs/2403.05522 (Sora: A Review on Background, Technology, Limitations and Future Directions)
- https://arxiv.org/abs/2405.08448 (Lumina-T2X: Transforming Text into Any Modality)
- https://research.runwayml.com/gen4
- https://www.reuters.com/technology/artificial-intelligence/openai-shutting-down-sora-video-generator-2026/
- https://techcrunch.com/2026/05/kling-3-0-ai-video-generator/