H.264/AVC는 왜 아직도 스트리밍의 기본값인가
H.264/AVC의 NAL 구조, 예측·변환·CAVLC/CABAC 부호화, 프로파일·레벨 체계와 운영 파라미터를 HEVC/VP9/AV1과 비교해 정리한다.
2026-08-13 · 최초 발행 2025-12-05
HEVC도, AV1도 있다. 그런데 화상회의 앱을 켜거나 CCTV 저장 장치를 설정할 때 기본으로 뜨는 코덱은 여전히 H.264/AVC(Advanced Video Coding)다. MPEG-4 Part 10으로 표준화된 이 코덱은 블록 기반 예측·변환·양자화·엔트로피 부호화를 결합해, 스트리밍·회의·감시·모바일 등 대부분의 영상 전달 시스템에서 사실상 표준 자리를 지키고 있다. 고효율·저지연·광범위한 디바이스 호환성의 조합이 대규모 서비스 운영에서 여전히 유효하기 때문이다.
비트스트림 구조와 프로파일 체계
H.264/AVC는 NAL(Network Abstraction Layer)로 프레이밍하며, VCL(내용)과 non-VCL(메타·시그널링)로 구분한다. Baseline/Main/High 등 프로파일과 Level 1~5.x가 복잡도·해상도·비트레이트 한계를 규정한다.
예측·변환·엔트로피 부호화가 맞물리는 방식
프레임 내(Intra)·프레임 간(Inter) 예측으로 공간·시간 중복을 제거하고, 다중 참조 프레임·서브픽셀 정밀도·B-프레임으로 비트 효율을 개선한다. 정수 DCT 유사 4×4/8×8 변환으로 에너지를 집중시키고 QP(Quantization Parameter) 기반 양자화로 비트레이트-화질 트레이드오프를 제어한다.
엔트로피 부호화는 두 갈래다. CAVLC는 저복잡도·저지연에 유리한 방식이고, CABAC은 더 높은 압축 효율을 제공하는 대신 인코딩 복잡도와 리소스 비용이 늘어난다. 여기에 인루프 디블로킹 필터가 블록 경계 아티팩트를 줄이고 예측 안정성을 높이는데, 저비트레이트 환경에서 링잉·블로킹 현상을 완화하는 역할을 한다.
프로파일 선택은 용도를 그대로 반영한다. Baseline은 저지연·저복잡도가 필요한 회의·모바일에, Main/High는 효율·화질이 우선인 방송·OTT·VOD 운영에 적합하다.
OTT·WebRTC·영상 보안이 H.264를 놓지 못하는 이유
대규모 OTT/스트리밍 파이프라인에서는 ABR ladder를 설계하고 HLS/DASH로 패키징하는데, 장치 호환성을 우선하는 정책에서는 기본 레이어로 H.264를 유지하면서 상위 효율 코덱(HEVC/AV1)을 병행 제공한다.
실시간 커뮤니케이션(WebRTC/회의)에서는 낮은 지연과 폭넓은 하드웨어 디코딩 지원 때문에 기본 코덱으로 채택된다. Baseline/Main 프로파일, B-프레임 제한, 짧은 GOP를 적용해 인터랙티브 품질을 확보한다.
영상 보안(CCTV/VMS)은 고정 씬·24/7 운영 환경에서 CBR·장기 GOP로 저장 효율을 극대화하고, 이벤트 구간만 고비트 모드로 스위칭해 저장 비용을 절감한다.
모바일/임베디드 재생에서는 SoC 하드웨어 디코드 엔진의 광범위한 지원 덕분에 저전력·저발열 재생 경로를 확보할 수 있다.
VOD/라이브 인코딩 파이프라인
입력은 파일·RTMP·SRT이며 해상도·프레임레이트·색공간 같은 메타를 함께 수집한다. 디코딩 후 리샘플/스케일링, 노이즈/샤프/톤매핑(옵션)을 거쳐 x264나 NVENC(QSV)로 인코딩하면서 프로파일·레벨·프리셋·레이트컨트롤을 설정한다. 이후 MP4/fMP4/TS 컨테이너로 패키징하고 HLS/DASH로 세그멘테이션한 뒤, 오브젝트 스토리지 업로드→CDN 배포→플레이어 적응 스트리밍으로 전달한다. QoE(VMAF/SSIM/PSNR), Rebuffer 비율, 에러율, 엔드투엔드 지연을 지속 모니터링한다.
운영 파라미터: 레이트컨트롤부터 하드웨어 가속까지
레이트컨트롤은 CBR과 VBR/CRF로 갈린다. CBR은 예측 가능한 대역폭과 감시·라이브 안정성을 확보하지만 급격한 씬 변화에서 화질이 떨어질 수 있고, VBR/CRF는 평균 효율을 개선하는 대신 라이브에서는 버퍼·지연 관리가 필요하다.
GOP/키프레임은 24초 길이를 권장하되 라이브 지연·시킹 요구에 따라 조정하며, B-프레임을 늘리면 효율은 오르지만 지연·복잡도도 같이 증가한다. 프로파일/레벨은 모바일·회의에서는 Baseline/Main과 낮은 Level을, OTT/VOD에서는 High@L4.04.2(1080p60)나 High@L5.x(4K)를 쓴다. 하드웨어 가속에서는 NVENC/QSV가 고밀도 실시간 처리에 유리하지만 화질·세부 튜닝 자유도가 제약되고, x264 소프트웨어 인코딩은 최고 수준까지 튜닝할 수 있는 대신 CPU 비용이 늘어난다.
FFmpeg 설정 예시
전제조건은 FFmpeg 6.x, x264 core 164+, 리눅스 x86_64, 평균 CPU 8코어 이상, 안정적인 네트워크다.
VOD 트랜스코딩(1080p High 프로파일, CRF 기반):
ffmpeg -i input.mp4 -c:v libx264 -preset slow -profile:v high -level 4.1 \
-crf 20 -pix_fmt yuv420p -x264-params "keyint=120:min-keyint=120:scenecut=40:bframes=3:ref=4" \
-c:a aac -b:a 128k -movflags +faststart output_1080p.mp4
라이브 HLS 패키징(CBR, 저지연 지향):
ffmpeg -i rtmp://ingest/app/stream -c:v libx264 -preset veryfast -tune zerolatency \
-profile:v main -level 4.0 -pix_fmt yuv420p -b:v 3500k -maxrate 3500k -bufsize 1750k \
-g 60 -keyint_min 60 -sc_threshold 0 -c:a aac -b:a 128k \
-f hls -hls_time 2 -hls_list_size 6 -hls_flags independent_segments \
live_720p.m3u8
품질 검증(VMAF, 참조 필요):
ffmpeg -i output_1080p.mp4 -i input_ref_1080p.mp4 \
-lavfi libvmaf="model_path=/usr/share/model/vmaf_v0.6.1.json:log_path=vmaf.json:log_fmt=json" \
-f null -
코덱 선택 비교
최신 디바이스·브라우저 지원은 지속 변화 중이므로 최신 정보를 확인해야 한다.
| 항목 | H.264/AVC | HEVC(H.265) | VP9 | AV1 |
|---|---|---|---|---|
| 성능(압축 효율) | 기준선 | H.264 대비 35~50% 절감 | 30~40% 절감 | 45~55% 절감 |
| 확장성(호환 범위) | 최고 수준 | iOS/macOS/신형TV 중심, 브라우저 제한 | 크롬/안드로이드 중심 | 신형 브라우저/TV 확대 추세 |
| 일관성(표준 성숙) | 매우 성숙 | 성숙 | 성숙 | 빠르게 성숙 중 |
| 안정성(재생 실패율) | 매우 낮음 | 낮음 | 낮음 | 중간(기기 편차) |
| 운영 편의(인코딩 속도/비용) | 빠름/저비용 | 느림/중고비용 | 느림/중고비용 | 가장 느림/고비용(단, SVT-AV1로 개선) |
보안·라이선스·운영에서 놓치기 쉬운 것
특허·라이선스는 MPEG LA 등 로열티 정책이 적용되므로 상용 서비스 도입 전 검토가 필요하다. 콘텐츠 보호는 HLS/DASH에 DRM(FairPlay/Widevine/PlayReady)을 적용하고 키 회전·세그먼트 암호화를 운영하는 방식으로 이뤄진다. 관측·제어 측면에서는 VMAF 기반 오프라인 샘플링과 QoE 실시간 텔레메트리를 병행하고, 씬 변화·버퍼 언더런에 대한 경보 룰 기반 자동 리인코딩을 구성한다.
도입 판단
동일한 시각적 품질을 기준으로 하면 H.264는 MPEG-2 대비 저장·전송량을 약 60~70% 절감하고, H.264 단독 운영만으로도 CDN·저장비 예측 가능성이 높아진다. CABAC, B-프레임, 인루프 필터의 조합은 낮은 대역폭에서도 안정적인 화질을 유지하게 하고, 짧은 GOP·저지연 프리셋은 라이브에서 상용 수준의 지연을 확보하게 한다. 무엇보다 광범위한 디바이스 호환성과 x264/FFmpeg 같은 성숙한 툴체인 덕분에 장애·재생 실패율을 최소화할 수 있다는 점이 대규모 운영에서 여전히 결정적이다.
대규모 호환성과 운영 안정성을 최우선으로 하는 서비스라면 H.264/AVC를 기본 코덱으로 채택하고, HEVC/AV1과의 멀티코덱 전략으로 상위 디바이스 대상 효율을 보완하는 편이 현실적이다. 표준 파이프라인, 품질 측정, 라이선스 컴플라이언스 절차를 운영 자동화에 내재화하는 것이 핵심이다.