AVC에서 HEVC로, 그리고 AV1까지 — 코덱 전환은 언제 결정하나

AVC로 충분히 돌아가는 파이프라인을 HEVC로 바꿀 이유가 있을까. 4K/8K, HDR, 모바일 스트리밍이 늘면서 전송·저장 효율 요구가 커졌고, HEVC(High Efficiency Video Coding, H.265)는 ITU-T H.265 | ISO/IEC MPEG-H Part 2 기반의 블록 기반 하이브리드 영상 부호화 표준으로 AVC(H.264) 대비 약 35~50% 비트레이트 절감을 목표로 나왔다. 문제는 그 효율을 얻는 대가로 인코딩 복잡도와 디바이스 호환성 트레이드오프가 따라온다는 점이고, 여기에 AV1까지 후보로 올라오면 판단은 더 복잡해진다.

구조를 한 문단으로 보면

64×64 CTU를 시작으로 CU/PU/TU로 독립 분할하며, 콘텐츠 복잡도에 따라 비정형 모션·텍스처 구간은 심층 분할하고 평탄 영역은 대블록을 유지해 오버헤드를 줄인다. 인트라 예측은 35개 방향성 모드로 에지·텍스처 정합을 높였고, 인터 예측은 AMVP·Merge·TMVP·비대칭 모션 분할로 B-프레임 중심 시간적 예측 이득을 확보한다. 변환은 DCT/DST 선택과 RDOQ로 시각적 손실을 최소화하고, 개선된 CABAC이 컨텍스트 모델링을 정교화해 비트를 절감한다. 디블로킹 필터와 SAO(Sample Adaptive Offset)가 이중 인루프 필터로 참조 프레임 품질을 개선해 누적 왜곡을 억제하고, WPP(Wavefront Parallel Processing)·Tiles·Slices가 인코딩 병렬화와 오류 격리를 지원한다. SHVC(Scalable HEVC)·RExt·SCC 같은 확장 규격은 HDR, 4:2:2/4:4:4, 스크린 콘텐츠 등으로 적용 범위를 넓힌다.

인코딩 파이프라인

⤢✕

AVC·HEVC·AV1, 무엇이 다른가

항목	AVC(H.264)	HEVC(H.265)	AV1
성능(압축 효율)	기준선	AVC 대비 약 35~50% 절감	HEVC 대비 추가 20~30% 절감(콘텐츠·설정 의존)
확장성(해상도·병렬화)	1080p 중심, 제한적 병렬화	4K/8K, WPP/Tiles/Slices 지원	4K/8K, Tiles/Row-mt 등 강한 병렬화
일관성(호환·프로필)	성숙한 생태계	메이저 플랫폼/브로드캐스트 표준 채택	웹·모바일 확산 중, 일부 기기 이질성
안정성(복원·신뢰성)	안정적	인루프 필터·레퍼런스 관리 고도화	안정성 높음, 레퍼런스 구현 성숙 진행
운영 편의(인코딩·라이선스)	인코딩 부담 낮음	인코딩 복잡도 높음, 특허 풀 다수(최신 정보 확인 필요)	인코딩 매우 높음, 로열티 프리 지향

수치는 테스트 환경·콘텐츠·프리셋에 따라 변동 가능하며, 라이선스 정책도 변경될 수 있으므로(최신 정보 확인 필요) 도입 전 재확인이 필요하다.

어디서 실제로 쓰이는가

OTT/VOD 전송에서는 4K HDR 타이틀 기준 AVC 대비 트래픽을 30~45% 절감하고 CDN 캐시 적중률·코스트를 최적화한다. ABR Ladder에서는 동일 화질의 하위 비트레이트 프로파일을 제공한다.

지상파/케이블 방송은 ATSC 3.0, DVB-T2/UltraHD 채택이 확대되면서 제한된 대역폭 안에서 UHD 채널을 운용하고, 스포츠 생중계에서는 저지연 모드와 고프레임레이트를 병행 운용한다.

모바일 촬영·백업에서는 iOS·고급 안드로이드 단말의 기본 촬영 코덱으로 채택돼 동일 저장 용량에서 촬영 시간을 늘리고 iCloud·앱 업로드 대역폭을 절감한다.

원격회의·서베일런스는 타일링·ROI로 영역 기반 품질 가중을 줘 네트워크 제약 환경에서도 중요 피사체 품질을 확보하고, CBR/VBV 기반 안정 비트 예산으로 레이턴시 예측 가능성을 높인다.

도입 절차: 선택부터 모니터링까지

코덱·환경 선택 단계에서는 소프트웨어 x265(FFmpeg 연동)·SVT-HEVC와 하드웨어 NVENC(HEVC)·Intel QSV·Apple VideoToolbox 중 품질·속도 균형, 라이선스, 실시간성·전력·TCO를 따져 고른다.

인코딩 파이프라인 설계에서는 GOP를 정적 콘텐츠는 길게, 스포츠·라이브는 중간 길이의 Closed GOP로 잡고, WPP를 기본으로 하되 타일은 디코딩 병렬성 증가와 경계 아티팩트 사이의 트레이드오프를 고려한다. 레이트 컨트롤은 VOD에서 CRF+VBV 또는 2-Pass, 라이브에서 CBR+VBV 엄격 설정을 쓴다.

전송·재생 호환성 검증에서는 Main/Main10 프로파일과 Level 5.1~6.1(4K/8K) 매칭을 확인하고, OS·브라우저·TV·셋톱박스별 디코드 지원을 담은 디바이스 매트릭스를 작성한다.

모니터링·회귀 품질 관리에서는 VMAF/PSNR/SSIM을 병행하고 콘텐츠 군집별 벤치마크 스위트를 운영하며, 비트스톰·패킷 손실 환경의 에러 은닉과 재동기화 전략을 마련한다.

FFmpeg 실무 설정

전제조건은 FFmpeg 6.x+, libx265 빌드 포함이며 10-bit 파이프라인이 필요하면 -pix_fmt yuv420p10le를 적용한다.

VOD 고품질(단일 패스 CRF):

ffmpeg -i input_4k.mov -c:v libx265 -preset slow -crf 22 -x265-params "profile=main10:aq-mode=3:psy-rd=2.0:rd=4" -pix_fmt yuv420p10le -c:a aac -b:a 192k output_hevc.mp4

라이브 저지연 CBR:

ffmpeg -re -i input.ts -c:v libx265 -preset medium -tune fastdecode -x265-params "vbv-maxrate=6000:vbv-bufsize=6000:rc-lookahead=10:keyint=60:min-keyint=60:scenecut=0:repeat-headers=1" -g 60 -bf 2 -pix_fmt yuv420p -c:a aac -b:a 128k -f mpegts udp://239.0.0.1:1234

하드웨어 인코딩(NVIDIA NVENC, 4K60 저지연):

ffmpeg -hwaccel cuda -i input_4k60.mp4 -c:v hevc_nvenc -preset p5 -tune ll -rc cbr_hq -b:v 10M -maxrate 10M -bufsize 10M -g 60 -c:a copy output_hevc_nv.ts

장치·드라이버·펌웨어 버전에 따라 품질·지연 차이가 발생할 수 있으므로 배포 전 장치 매트릭스 기반 검증이 필요하다.

트레이드오프: 품질부터 라이선스까지

품질과 속도는 preset을 올릴수록 RD 최적화 이득이 커지지만 인코딩 비용도 증가하므로, 핫 타이틀은 고품질로 롱테일은 빠른 프리셋으로 분리 운영하는 편이 낫다. 저지연과 효율은 B-프레임·룩어헤드를 줄이면 지연이 줄지만 압축 효율이 떨어지므로 서비스 SLA 기준에서 타협점을 설계해야 한다. 타일/WPP는 디코딩 병렬성과 장치 호환을 높이지만 타일 경계 화질 저하 리스크가 있어 콘텐츠 복잡도에 따라 조건부로 활성화한다. 라이선스는 특허 풀·사용료 정책을 상시 점검해야 하며(최신 정보 확인 필요), 상업 서비스라면 법무 검토가 필수다.

전환 판단: 숫자로 보면

정량 효과로는 AVC 대비 동일 화질 기준 3550% 비트레이트 절감, CDN 비용 2040% 절감, 모바일 데이터 사용량 25~45% 절감 수준을 기대할 수 있다(콘텐츠·설정 의존). 정성 효과로는 UHD/HDR 보급 가속, 저대역폭 지역 사용자 경험 개선, 저장·백업 효율 증대가 있다.

그래서 언제 넘어가야 하나

HEVC의 고효율 압축과 병렬화·확장 기능이 주는 실무적 가치는 명확하다. VOD·라이브·방송 환경에서 뚜렷한 비용 절감과 품질 개선을 달성하지만, AV1까지 고려한다면 장치 호환성과 라이선스, 인코딩 복잡도의 트레이드오프를 먼저 따져야 한다. 단계적 도입과 체계적인 품질·호환 검증을 함께 운영하는 것을 권장한다.