MOS로 읽는 통신 서비스의 체감 품질

사용자가 매긴 점수로 품질을 읽는 MOS

MOS(Mean Opinion Score)는 통신 시스템의 품질을 주관적으로 측정하는 방법론이다. 통제된 환경에서 실제 사용자, 즉 피실험자가 서비스 품질을 직접 평가하며, 그 결과를 통해 사용자 체감 품질(QoE, Quality of Experience)을 정량화한다.

1996년 ITU-T에서 P.800으로 표준화된 뒤 음성, 영상, 멀티미디어 품질 평가에 널리 쓰이는 기준이 됐다. 네트워크나 코덱의 성능 수치만으로는 설명하기 어려운 사용자의 인지 경험을 평가 대상으로 삼는다는 점이 핵심이다.

점수 체계와 산출식

MOS는 일반적으로 5점 척도를 사용한다.

5점: 탁월함(Excellent) — 인지할 수 있는 어떤 장애도 없음
4점: 양호함(Good) — 주의 깊게 들으면 인지할 수 있는 약간의 장애가 있음
3점: 보통(Fair) — 약간의 장애가 있으나 큰 노력 없이도 인지할 수 있음
2점: 나쁨(Poor) — 상당한 장애가 있으며 이해하기 위한 노력이 필요함
1점: 매우 나쁨(Bad) — 이해할 수 없을 정도로 장애가 심함

점수별 응답자 수를 가중해 전체 평균을 구한다.

MOS = (5×n₅ + 4×n₄ + 3×n₃ + 2×n₂ + 1×n₁) / N

여기서 n₅, n₄, n₃, n₂, n₁은 각 점수를 선택한 응답자 수이고, N은 전체 응답자 수다.

평가 목적에 따라 달라지는 테스트 방식

ACR: 샘플 자체를 평가하는 방식

ACR(Absolute Category Rating)은 가장 기본적인 MOS 테스트다. 피실험자가 각 샘플을 개별적으로 듣거나 보며, 비교 대상 없이 절대적 기준으로 품질을 판단한다. 일반적인 5점 척도가 여기에 사용된다.

DCR: 원본과 비교해 저하를 판단하는 방식

DCR(Degradation Category Rating)은 원본 샘플과 테스트 샘플을 연속으로 제시한 뒤, 원본 대비 품질 저하 정도를 평가한다.

5: 저하 불가지(Imperceptible)
4: 저하 인지 가능하나 거슬리지 않음(Perceptible but not annoying)
3: 약간 거슬림(Slightly annoying)
2: 거슬림(Annoying)
1: 매우 거슬림(Very annoying)

CCR: 샘플을 상대적으로 비교하는 방식

CCR(Comparison Category Rating)은 A와 B, 두 샘플을 비교해 상대적인 품질 차이를 평가한다. 이 방식은 7점 척도를 사용한다.

+3: A가 훨씬 좋음
+2: A가 더 좋음
+1: A가 약간 좋음
0: 동일함
-1: B가 약간 좋음
-2: B가 더 좋음
-3: B가 훨씬 좋음

피실험자 평가가 결과로 이어지는 과정

⤢✕

평가 대상, 방법론, 샘플 구성, 환경 조건을 먼저 정한 뒤 대표성 있는 사용자 그룹을 모집한다. 피실험자는 일반적으로 16-30명으로 구성한다. 소음, 조명, 장비 등을 통제한 환경에서 샘플을 무작위 순서로 제시하고 평가를 기록한다. 이후 데이터를 통계적으로 처리해 MOS를 산출하고 신뢰도를 분석한다.

음성에서 몰입형 서비스까지

MOS는 VoIP 서비스 품질, G.711·G.729 등의 음성 코덱 비교, TTS 시스템의 자연성 평가, 모바일 통신망 음성 품질 측정에 쓰인다.

영상 영역에서는 비디오 스트리밍 화질, H.264·H.265·AV1 등의 비디오 코덱 성능, 압축률에 따른 화질 변화, 화상회의 시스템 품질을 평가할 수 있다. 게임 스트리밍, IPTV, AR/VR 시스템의 몰입감과 현실감도 평가 대상이 된다.

주관적 테스트를 보완하는 객관적 모델

피실험자를 모집하고 실험 환경을 구성하는 MOS 테스트는 비용과 시간이 든다. 이를 보완하기 위해 객관적 MOS 추정 모델이 활용된다.

PESQ(Perceptual Evaluation of Speech Quality)는 ITU-T P.862 표준으로, 원본 신호와 전송 후 신호를 비교해 음성 품질을 예측한다. 모바일 네트워크와 VoIP 시스템의 품질 평가에 활용된다.

POLQA(Perceptual Objective Listening Quality Analysis)는 ITU-T P.863 표준이며 PESQ의 후속 모델이다. HD 음성, 모바일 네트워크, VoLTE 등 현대적 음성 서비스에 적합하고 광대역 및 초광대역 음성 신호를 평가할 수 있다.

PEVQ(Perceptual Evaluation of Video Quality)는 인간의 시각적 인지 특성을 고려해 비디오 품질을 객관적으로 측정하는 모델이다. 스트리밍 서비스와 방송 시스템의 품질 평가에 활용된다.

⤢✕

해석할 때 남는 제약

MOS는 피실험자 모집, 환경 구성, 실험 진행에 높은 비용과 시간이 든다. 피실험자마다 평가 기준이 달라 결과의 주관성과 일관성 문제가 생길 수 있고, 실험실 환경은 실제 사용 환경과 차이가 난다. 문화나 지역에 따른 품질 인식 차이, 장기적인 사용 경험을 반영하기 어렵다는 점도 고려해야 한다.

대규모 피실험자 집단을 활용해 통계적 유의성을 확보하거나, 원격 참여가 가능한 크라우드소싱 기반 테스트로 비용을 줄일 수 있다. PESQ, POLQA, VMAF 같은 객관적 측정과 병행하고, 실사용 환경에서 품질을 측정하는 체계를 갖추는 방식도 필요하다. 사용자 맥락을 반영한 QoE 모델링 역시 보완 방향이다.

서비스 최적화에 쓰이는 MOS

5G 네트워크 도입 시에는 영상통화와 AR/VR 서비스 품질을 평가하고, MOS 결과를 네트워크 최적화와 서비스 개선에 반영할 수 있다. 경쟁사와의 품질 비교 마케팅 자료로도 활용된다.

Netflix, YouTube 등의 적응형 비트레이트 알고리즘 개발에서도 다양한 네트워크 환경에 맞춘 사용자 경험을 위해 파라미터 조정에 활용된다. Netflix의 VMAF(Video Multi-method Assessment Fusion) 개발도 그 사례다.

코로나19 이후 급증한 화상회의 시스템에서는 네트워크 상태에 따른 영상·음성 품질 조정 알고리즘을 개발하고, 사용자 피드백과 MOS 결과를 결합해 품질을 계속 개선한다. Siri, 구글 어시스턴트, 빅스비 등의 음성 비서에서는 음성인식과 합성 품질, 자연스러운 발화와 이해도를 평가하며 다국어 지원을 위한 언어별 품질 최적화에도 사용된다.

확장되는 체감 품질의 범위

AI 기반 자동화 MOS 예측 모델과 실시간 QoE 모니터링 시스템이 발전하고 있다. 여러 감각을 통합하는 멀티모달 경험 평가, 메타버스와 홀로그램 같은 신기술의 사용자 경험을 위한 MOS 지표도 필요한 영역이다. 사용자 특성에 따라 품질 인식을 다르게 평가하는 개인화 모델링 역시 확장 방향으로 다뤄진다.

MOS는 통신과 미디어 서비스에서 사용자가 실제로 느끼는 품질을 정량화하는 기준이다. 주관적 평가와 객관적 측정 방식을 함께 사용하면 서비스 개발과 최적화에 필요한 품질 판단을 더 효율적이고 정확하게 수행할 수 있다.