영상 생성 모델을 고르는 법: Elo 아레나와 자체 평가셋

아레나 점수만으로 제작 모델을 결정하기 어려운 이유

텍스트-투-비디오 아레나에서 Kling v3는 1934점으로 선두이고, Happy Horse 1.0은 1834점, Seedance 2.0 Fast는 1747점으로 뒤를 잇는다고 보고됐다. 그러나 이 순위를 곧바로 업무용 모델의 우열로 읽기는 어렵다.

영상 생성물에는 정답 영상이 없다. 그래서 동일 프롬프트로 만든 결과를 나란히 보여주고, 사람이 더 선호하는 쪽을 고르는 쌍대비교가 사실상 표준 지표가 됐다. 이 결과를 Elo로 누적하면 상대적인 선호도를 추정할 수 있다.

문제는 보드마다 조건이 다르다는 점이다. 오디오 포함 여부, 참여 모델 구성, 투표 수, 집계 주체가 달라지면 절대 점수와 순위도 달라진다. 상위권의 격차가 100점 안팎으로 좁을 때는 특히, 그 차이가 실제 산출물 품질의 차이로 이어진다고 단정할 수 없다.

Kling v3는 실제 인물 애니메이션에 안정적인 올라운더로 평가되며 네이티브 4K 출력과 다국어 오디오를 지원한다. 다만 조직이 제품 촬영 대체 영상이나 인물 발화 영상을 주로 만든다면, 공개 아레나의 선호와 내부 사용자의 요구는 다른 결과를 낼 수 있다.

선호를 Elo로 바꾸는 평가 구조

쌍대비교에서는 같은 프롬프트로 생성한 두 결과를 제시하고 선호를 선택한다. 절대 점수를 부여하는 방식보다 판단 기준을 맞추기 쉽다는 장점이 있다. 비교 대상은 무작위로 구성해야 하며, 일부 조합만 반복 노출되면 순위가 왜곡될 수 있다.

Elo는 승패 결과를 축적해 모델의 상대적인 실력을 추정한다. 참여 모델이 달라지면 절대 점수도 움직이므로 서로 다른 시점의 점수를 단순 비교할 때는 주의가 필요하다. 투표가 적은 신규 모델은 불확실성이 크며, 순위만 보고 신뢰구간을 확인하지 않으면 작은 차이를 과대해석할 수 있다.

종합 선호 역시 단일한 성질이 아니다. 모션 자연스러움, 프레임 간 일관성, 프롬프트 준수, 화질, 오디오 정합이 함께 반영된다. 종합 1위 모델이 프롬프트 준수에서는 하위권일 수도 있다. 이 차이를 분해하지 않으면 모델별 강점이 실제 제작 목적과 맞는지 판단하기 어렵다.

⤢✕

내부 제작물을 기준으로 평가셋을 만든다

자체 평가셋은 조직이 실제로 만드는 영상 유형에서 출발해야 한다. 제품 소개, 인물 발화, 배경 장면처럼 제작물을 분류하고 유형별 대표 프롬프트를 구성한다. 일반 사용자 취향이 반영된 아레나 프롬프트만으로는 특수 용도에서의 적합성을 확인할 수 없다.

쉬운 프롬프트만으로는 모델 간 차이가 드러나지 않는다. 변별력이 필요한 평가셋에는 어려운 케이스도 포함해야 한다. 평가 규모는 통계적 판단이 가능한 최소 수준을 확보하면서 평가 인력의 부담과 균형을 맞춘다.

모델명은 평가자에게 숨긴다. 파일명이나 워터마크로 정보가 새지 않도록 전처리하고, 실제 사용자와 제작 담당자를 함께 평가에 참여시킨다. 소수 평가자의 반복 판정은 개인 취향을 결과에 강하게 반영할 수 있으므로, 평가자 수와 비교 회차를 함께 설계해야 한다. 평가 피로를 고려해 회차별 분량을 제한하는 것도 필요하다. 후반부 평가 품질 저하는 실측되는 현상이다.

공개 순위와 내부 평가 결과가 다르게 나오는 것은 예외가 아니다. 그 차이가 조직의 제작 목적이 일반적인 선호와 어디에서 다른지를 보여준다. 결과가 크게 어긋난다면 채택 결론을 서두르기보다 평가셋 구성과 심사 절차부터 점검한다.

사람 평가와 자동 지표의 역할은 다르다

구분	선호 기반 Elo	자동 지표 (FVD 등)
사람 체감 반영	직접 반영	간접
비용	사람 심사 필요	낮음
재현성	평가자 구성에 의존	높음
용도 특화 반영	평가셋 설계로 가능	어려움
적합 상황	최종 선택	대량 스크리닝

자동 지표는 대량 비교 비용이 낮고 재현성이 높다. 반면 사람이 느끼는 품질과 완전하게 일치하지는 않는다. Elo는 체감 품질을 직접 반영하지만, 평가 인력이 필요하고 평가자 구성에 따라 결과가 달라질 수 있다. 자동 지표로 대량 후보를 스크리닝하고, 사람 평가로 최종 선택을 하는 이단 구성이 비용과 신뢰도 사이의 균형점이 된다.

시네마틱 품질에 강한 모델은 지시가 느슨해도 보기 좋은 결과를 만들기 때문에 창작·홍보 영상에 맞는다. 프롬프트 준수에 강한 모델은 요구 요소를 정확히 반영하므로 사양이 명확한 제작물에 적합하다. 스토리보드가 확정된 제작 파이프라인에서는 준수도가, 아이디어를 탐색하는 단계에서는 심미성이 더 중요할 수 있다.

채택 기준을 평가 전에 정해 둔다

품질 외의 기준도 평가 설계에 포함한다. 이미지당·초당 단가, 생성 대기 시간, 최대 길이·해상도, 상업적 이용 조건, API 안정성을 사전에 명시한다. 품질 차이가 유의하지 않다면 이 기준들이 최종 결정 근거가 된다.

소수 비교에서 나온 순위 차이는 통계적으로 의미가 없을 수 있다. 표본 수와 신뢰구간을 함께 보고, 차이가 유의하지 않으면 모델을 동등하게 판단한 뒤 단가·지연·라이선스 같은 다른 축으로 선택한다. 유의하지 않다는 결론도 의사결정에 필요한 결과다.

후보군을 무한정 넓히기보다 아레나 순위로 3~5종으로 줄인 후 평가를 진행한다. 평가에는 생성 비용과 인건비가 들기 때문이다. 결과와 근거 데이터는 보존해 모델 선정의 증적으로 남긴다.

영상 모델은 갱신이 잦으므로 분기 단위 재평가 주기를 설정할 수 있다. 제작 유형이 바뀌면 평가셋도 현실을 대변하지 못하므로 함께 갱신 대상에 포함한다. 종합 Elo와 항목별 분해 점수를 병기하고, 오디오 포함 생성이 늘어나는 흐름에서는 오디오 정합성도 독립 평가 항목으로 다룰 필요가 있다.