코덱과 컨테이너부터 갈라야 압축 설계가 보인다

포맷을 뭘로 잡을지 고민이 시작되면 대개 코덱과 컨테이너를 뒤섞어 말한다. 코덱(codec)은 인코딩·디코딩 알고리즘(H.264, HEVC, AV1, VVC, AAC, Opus 등)이고, 컨테이너(container)는 비디오·오디오·자막·메타데이터를 담는 그릇(MP4, MKV, MPEG-TS, ISOBMFF/fMP4)이다. 압축 설계는 이 둘을 구분하는 데서 시작해, 예측·변환·양자화·엔트로피 부호화라는 핵심 코딩 툴을 어떻게 조합할지로 이어진다.

무손실과 유손실이 갈리는 지점

멀티미디어 데이터 압축은 원본 신호의 중복성과 지각적으로 불필요한 정보를 제거해 비트스트림으로 부호화하는 기술이며, 공간·시간·지각 중복 제거 메커니즘에 기반한다. 무손실(lossless)은 원본 복원을 보장하고, 유손실(lossy)은 지각적 동일성 유지를 목표로 한다.

핵심 코딩 툴은 예측(인트라/인터), 변환(DCT/DWT/MDCT), 양자화(QP), 엔트로피 부호화(CABAC/ANS)이며, 레이트 제어(VBV/CRF), GOP/키프레임, 색차 서브샘플링(4:2:0/4:2:2), 비트심도(8/10/12-bit)가 이를 뒷받침한다.

예측·변환에서 엔트로피 부호화까지

공간 예측(인트라)과 시간 예측(인터/모션 보상)을 결합하고 블록 분할·모드 선택을 최적화한다. 변환은 에너지 집약화를 수행하는데, 영상은 DCT/DWT, 오디오는 MDCT/LPC를 적용한다.

양자화 단계(QP·스텝)로 비트를 절감하며 비트레이트-화질 상충 관계를 관리하고, 라그랑주(RDO) 기반 모드 결정으로 타깃 비트레이트·지각 가중치를 적용한다. 엔트로피 부호화는 심볼 확률을 모델링한 뒤 무손실 부호화하는데, CABAC/ANS로 엔트로피 효율에 근접하고 적응형 컨텍스트 모델로 콘텐츠 변화에 대응하면서 디코더 결정성을 확보한다.

전송에 맞춰 패키징하고 손상에 대비한다

전송 친화 기능·패키징에서는 스트리밍 세그먼트(fMP4)와 적응형 비트레이트(ABR) 프로파일(HLS/DASH)을 구성하고, HRD/VBV 제약으로 버퍼 언더런을 방지하며 키프레임·IDR 배치로 초기 접속·점프를 최적화한다.

오류 내성과 복원력은 IDR/CRA/Recovery Point로 동기화하고, FEC/재전송(ARQ)·SVC로 품질 저하를 완화한다. ROI·Tiles·Slices는 부분 손상을 국소화해 네트워크 손실 환경에 대응한다.

기술 선택의 트레이드오프

범주	성능(압축/지연)	확장성(해상도/비트레이트)	일관성(재현성/디터미니즘)	안정성(손상 복원/견고성)	운영 편의(라이선스/가속)
무손실(FLAC, FFV1)	압축률 중간, 지연 낮음	해상도/심도 제약 적음	바이트 단위 결정성 높음	오류 전파 낮음	라이선스 자유도 높음, HW 가속 제한
유손실-영상(H.264/HEVC/AV1/VVC)	고압축, 지연 가변	ABR/SVC로 폭넓음	디코딩 결정성, 인코딩 비결정	키프레임 의존, FEC 필요	H.264/HEVC HW 보편, AV1 확산 중, VVC 최신 정보 확인 필요
유손실-오디오(AAC/Opus)	저비트에서도 선명, 지연 제어	6~512 kbps 유연	코덱별 품질 편차	패킷 손실 은닉(PLC) 내장	Opus 라이선스 우호, HW 가속 일부

도메인별로 무엇이 다른가

OTT/VOD 스트리밍은 CAE(Content-Adaptive Encoding) 기반 ABR 래더를 설계하고 프리셋/CRF·VBV를 병행 운용하며, fMP4 세그먼트로 HLS/DASH를 동시 패키징한다.

실시간 화상회의·게임 스트리밍은 초저지연 설정(초단 GOP, lookahead 최소)에 SVC/Simulcast를 병행하고, 네트워크 적응(goog-cc, BBR)과 패킷 손실 은닉이 필수다.

아카이빙·규제 준수는 보관 마스터를 무손실 또는 visually lossless(프로레즈, DNxHR)로 두고 체크섬·비트스트림 컨포먼스를 검증하며, 메타데이터(XMP/EXIF/CodecPrivate) 유지 정책을 수립한다.

감시/의료/산업은 장시간 녹화 대비 장기 안정성이 관건이라 CBR·VBV를 엄수하고 GOP를 고정하며, 암호화·워터마킹 같은 보안 연계와 동일 화질 증빙 절차를 마련한다.

대역과 비용을 실제로 얼마나 줄이나

대역 절감 폭은 코덱마다 다르다. HEVC는 H.264 대비 약 35~~50%, AV1은 HEVC 대비 추가로 20~~30% 절감한다고 보고되지만 콘텐츠·설정에 따라 달라지므로 최신 정보를 확인해야 한다. 오디오는 Opus가 저비트 영역에서 AAC 대비 12~20% 절감 경향을 보인다.

비용·품질 측면에서는 카탈로그·지역별 ABR 최적화를 가정하면 CDN·스토리지 비용을 최대 30~~60%까지 줄일 수 있고, VMAF 기준 5~~10p 향상 또는 동등 품질에서 비트레이트를 절감하는 효과로 나타난다. 운영에서는 짧은 키프레임 간격과 빠른 스타트로 초기 재생 지연이 줄어 QoE가 안정화되고, 서버 인코딩을 효율화하면 에너지·전력 비용 절감으로도 이어진다.

설계·운영에서 지켜야 할 균형

코덱·호환성 선택에서는 대중 디바이스에는 H.264를 기본으로 두고 HEVC/AV1을 점진 도입하며, 특수 환경에서는 VVC를 검토(최신 정보 확인 필요)한다. 압축 효율과 인코딩 연산비·라이선스·HW 가속 가용성이 트레이드오프 관계다.

비트레이트 전략은 VOD에서 CRF+VBV 하이브리드와 CAE 기반 타이틀별 래더 최적화를, 라이브에서 CBR과 엄격한 VBV를 쓴다. 품질 변동성과 버퍼 안정성이 상충한다.

GOP/키프레임은 2~6초를 기준으로 씬 체인지 시 강제 키프레임을 두되, 라이브는 짧은 GOP로 탐색성과 지연의 균형을 잡는다. 컬러·비트심도는 SDR 8-bit 4:2:0, HDR 10-bit PQ/HLG를 권장하고 자막·그래픽 채널은 4:2:2를 고려하는데, 이는 대역 증가와 밴딩·색 정확도 사이의 트레이드오프다. 품질 평가·모니터링은 오프라인에서 PSNR/SSIM/VMAF를 병행하고 온라인에서 QoE·rebuffer·시청시간 지표를 보는데, 계산 비용과 측정 신뢰도가 맞바뀐다.

엔드투엔드 처리 흐름

⤢✕

FFmpeg으로 보는 설정

전제조건은 FFmpeg 6.x 이상, H.264(libx264)·HEVC(libx265) 또는 AV1(SVT-AV1) 빌드 포함이며, SVT-AV1은 CPU AVX2를 권장하고 디스크 I/O 여유가 필요하다.

VOD 품질 중심(H.264, CRF 18~23 범위 권장, -g 48은 2초@24fps로 탐색성·효율 균형):

ffmpeg -i input.mp4 -c:v libx264 -preset slow -crf 20 -tune film -profile:v high -g 48 -bf 2 -sc_threshold 0 -c:a aac -b:a 128k -movflags +faststart out_h264.mp4

고효율(AV1, SVT-AV1, 10-bit로 밴딩 저감, preset 4~8에서 속도·품질 균형 조정):

ffmpeg -i input.mp4 -c:v libsvtav1 -preset 6 -crf 28 -g 120 -pix_fmt yuv420p10le -c:a libopus -b:a 128k out_av1.mkv

무엇부터 정할 것인가

멀티미디어 압축은 예측·변환·양자화·엔트로피 부호화를 체계적으로 결합해 저장·전송 비용을 줄이는 핵심 수단이다. 실무 도입 시에는 코덱 호환성, 연산비, 라이선스, 품질 지표를 함께 고려하고 ABR·VBV·GOP 정책을 최적화하는 것이 중요하다. 단기적으로는 H.264/HEVC를 안정적으로 운용하고, 중기적으로 AV1을 점진 도입하며, 장기적으로 VVC를 검토(최신 정보 확인 필요)하되, 품질 모니터링과 CAE 적용으로 지속 최적화하는 것을 권장한다.