Sora 종료 이후 AI 영상 생성 시장과 플랫폼 선택 기준

Sora 종료가 드러낸 영상 생성 서비스의 조건

OpenAI는 2026년 3월 24일 Sora 종료 계획을 알린 뒤 4월 26일 웹·앱 서비스를 중단했다. API 지원은 2026년 9월 24일까지 이어진 후 완전히 종료될 예정이다. 출시 초기에 큰 관심을 모았지만 전 세계 사용자 수가 약 100만 명으로 정점을 찍은 뒤 50만 명 이하로 줄었다.

영상 생성에는 텍스트 생성보다 수십 배 많은 컴퓨팅 자원이 필요했고, Sora는 하루 약 100만 달러의 적자를 기록했다. Claude Code가 소프트웨어 엔지니어와 엔터프라이즈 시장을 잠식하는 상황에서 Sora 팀이 대규모 인력과 GPU를 점유한 점도 OpenAI의 전략적 우선순위와 충돌했다. Sam Altman은 컴퓨팅 자원을 해방해 핵심 사업에 다시 집중하는 결정을 내렸다.

파트너와의 소통도 문제로 남았다. 10억 달러 규모의 파트너십을 체결한 Disney조차 일반 대중과 거의 같은 시점에 종료 공지를 받았다. 기술적으로 인상적인 서비스라도 운영 비용을 감당할 사업 구조와 파트너 신뢰가 뒷받침되지 않으면 지속하기 어렵다는 사실을 보여준 사건이다.

Sora가 빠진 시장에서는 Google의 Veo 3.1, Kuaishou의 Kling 3.0, Runway의 Gen-4.5가 각자의 기술적 차이를 앞세우고 있다. 자체 서빙이 가능한 오픈소스 모델도 별도의 선택지로 부상했다.

⤢✕

시공간 일관성을 만드는 아키텍처

영상 생성 모델은 프레임 하나의 품질뿐 아니라 시간의 흐름 속에서 장면과 객체를 얼마나 일관되게 유지하는지가 핵심이다. 현재 널리 쓰이는 접근은 Diffusion Transformer(DiT)와 U-Net 기반 확산 모델로 나뉜다.

구분	DiT 기반	U-Net 기반
스케일링 효율	매우 높음	제한적
시간 일관성	어텐션 메커니즘으로 자연스럽게 처리	별도 시간축 모듈 필요
메모리 사용량	시퀀스 길이에 이차 비례	상대적으로 효율적
대표 모델	Veo 3.1, Runway Gen-4.5	Kling 3.0 초기 버전

Veo 3.1은 Google DeepMind의 비디오 DiT 아키텍처를 사용한다. 영상 프레임과 오디오 스펙트로그램을 같은 트랜스포머 공간에서 다루는 통합 모달리티 방식으로 4K 해상도 네이티브 출력과 영상·오디오 동시 생성을 구현했다.

Kling 3.0은 3D 시공간 주의 메커니즘과 레퍼런스 어텐션 모듈을 이용해 멀티샷 스토리보드의 연결성을 유지한다. 샷이 바뀌어도 캐릭터의 의상과 표정, 조명이 이어지도록 설계돼 시네마틱 연출에 강점을 보인다.

Runway Gen-4.5는 레퍼런스 인코더를 통해 여러 장면에 등장하는 캐릭터의 일관성을 다룬다. 모션 브러시 시스템에서는 화면의 특정 영역에 모션 벡터를 직접 그려 카메라 움직임과 객체 이동을 제어할 수 있다.

영상과 오디오를 같은 생성 과정에서 다루기

Veo 3.1은 음성을 만들기 위해 별도 TTS나 음악 생성 API를 순차적으로 호출하는 대신 영상 생성 과정에서 오디오를 공동 확산(co-diffusion)한다. 비디오와 오디오가 공유 잠재 공간을 거치기 때문에 입술 움직임과 대화, 환경음과 화면 속 사건을 함께 맞출 수 있다.

⤢✕

Pixflow가 2026년 5월 복잡한 다중 피사체, 지정 카메라 무브먼트, 대화가 포함된 장면을 대상으로 비교한 벤치마크에서는 Veo 3.1의 프롬프트 충실도가 87%로 가장 높았다. Runway Gen-4.5는 72%, Kling 3.0은 68%였다.

이 결과는 각 플랫폼의 성격을 함께 봐야 해석할 수 있다. Veo 3.1은 여러 조건이 섞인 명령을 따르는 데 강하고, Kling 3.0은 프롬프트 충실도보다 시네마틱 조명과 색감 같은 시각적 완성도에서 우위를 보인다.

생성 시간을 줄이는 추론 설계

영상 확산 모델의 주요 병목은 여러 차례 반복되는 노이즈 제거 과정이다. 현세대 모델은 이 단계를 줄이기 위해 Flow Matching, 일관성 모델, 스텝 증류를 활용한다.

Flow Matching은 Optimal Transport 이론을 바탕으로 노이즈에서 데이터로 이동하는 경로를 직선화한다. 기존 DDPM의 구불구불한 노이즈 제거 경로를 교정해 4~8 스텝으로도 고품질 결과를 생성한다.

일관성 모델(Consistency Models)은 중간의 어떤 노이즈 레벨에서도 최종 결과로 직접 매핑하는 함수를 학습한다. 이론적으로는 단일 스텝 생성이 가능하고, 실용적으로는 2~4 스텝에서 품질과 속도를 조절한다.

스텝 증류(Step Distillation)는 교사 모델이 수행하는 다단계 디노이징을 학생 모델의 단일 스텝으로 압축한다. Runway Gen-4.5는 이 방식을 이용해 초안 미리보기를 실시간으로 제공한다.

⤢✕

API 서비스에서는 여러 요청을 한 배치로 묶어 GPU 가동률을 높이는 방식이 비용 관리에 직접 연결된다. FlashAttention v3 같은 메모리 효율적 어텐션 커널은 VRAM 사용량을 줄이는 데 쓰인다.

저해상도 초안을 전체 생성 완료 전에 스트리밍하면 사용자는 잘못된 방향을 일찍 발견해 프롬프트나 구성을 수정할 수 있다. 불필요한 풀 생성 작업을 피하는 운영 장치인 셈이다.

가격과 제작 흐름을 함께 비교하기

2026년 5월 기준 가격 구조는 플랫폼마다 다르다. 기본 구독료만 비교하기보다 4K 처리 방식, 오디오 통합 여부, API 과금 단위를 함께 확인해야 한다.

플랫폼	기본 요금	4K 지원	오디오 통합	API 과금 방식
Veo 3.1	Google AI Pro $7.99/월	네이티브	동시 생성	초당 과금
Kling 3.0	$6.99/월 시작	업스케일	별도 처리	크레딧
Runway Gen-4.5	$12~$95/월	업스케일	ElevenLabs 연동	구독+초과분

마케팅 영상이나 해설 콘텐츠, 나레이션이 들어간 교육 영상이라면 Veo 3.1의 통합 생성 흐름이 적합하다. Runway, ElevenLabs, 편집 도구를 차례로 사용할 때 25~40분이 걸리는 작업을 약 4분으로 줄이므로 대량 제작이 필요한 크리에이터에게 시간 절약 효과가 크다.

Kling 3.0은 인물이 중심인 숏폼 콘텐츠와 시네마틱 조명이 필요한 광고 캠페인, 멀티샷 스토리보드를 쓰는 뮤직비디오에 어울린다. 가장 낮은 기본 요금과 한국·아시아 미학에 최적화된 스타일 연출이 특징이다.

여러 장면에 같은 캐릭터가 반복해서 나오는 시리즈 콘텐츠라면 Runway Gen-4.5 쪽이 맞는다. 모션 경로를 세밀하게 지정해야 하는 영화적 VFX나 레퍼런스 이미지 기반 캐릭터 시트 작업에도 적합하다.

⤢✕

API 밖의 선택지, LTX Video

Sora 종료 이후 오픈소스 진영에서는 LTX Video가 대안으로 떠올랐다. 로컬 GPU에서 실행할 수 있어 자체 서빙 인프라를 보유한 기업이 API에 종속되지 않고 프라이빗 데이터를 처리할 수 있다. 엔터프라이즈 환경에서 관심을 받는 이유도 이 통제 가능성에 있다.

Veo 3.1, Kling 3.0, Runway Gen-4.5는 각각 프롬프트 충실도와 네이티브 오디오, 시네마틱 연출과 가격 경쟁력, 캐릭터 일관성과 세밀한 제어라는 위치를 확보했다. 사용 사례와 가격 포지셔닝이 분명해 단기간에 새로운 도전자가 이 구도를 무너뜨리기는 어려울 것으로 전망된다.

Sora 종료는 영상 생성 모델의 기술력만으로 서비스를 유지할 수 없다는 사례를 남겼다. 실제 선택에서는 결과물의 품질뿐 아니라 제작 흐름, 과금 구조, 데이터 통제 방식까지 함께 맞춰야 한다.