샤논 정리로 보는 압축·오류 정정·채널 용량의 한계

압축률이 멈추는 경계는 엔트로피다

클로드 샤논(Claude Shannon)은 1948년 논문 「통신의 수학적 이론(A Mathematical Theory of Communication)」에서 정보를 측정하고 전송하는 기준을 수학적으로 정리했다. 이 이론은 정보가 얼마나 압축될 수 있는지, 잡음이 있는 채널에서 어디까지 신뢰성 있게 전달할 수 있는지를 다룬다.

정보원 부호화 정리(Source Coding Theorem)는 무손실 압축의 하한을 설명한다. 정보원이 만들어 내는 메시지는 평균적으로 다음 조건보다 짧게 표현할 수 없다.

L ≥ H

• L: 정보원의 평균 부호 길이
• H: 정보원의 엔트로피

엔트로피 H는 정보가 가진 불확실성 또는 무작위성의 크기이며, 비트(bit) 단위로 나타낸다. 따라서 엔트로피는 단순한 통계 지표가 아니라 압축이 넘을 수 없는 이론적 경계가 된다.

영어 텍스트를 예로 들면 ASCII는 문자마다 8비트를 할당하지만, 실제 엔트로피는 약 4.5비트/문자다. 이 경우 이론적으로는 약 44%까지 압축할 수 있다. Huffman 코딩, 산술 코딩, LZW 같은 압축 알고리즘은 이 한계에 가까이 가기 위한 방법들이다.

⤢✕

잡음 속에서도 전송을 성립시키는 조건

채널 부호화 정리(Channel Coding Theorem)는 잡음이 존재하는 통신 환경에서도 신뢰성 있는 통신이 가능하다는 사실을 다룬다. 조건은 다음과 같다.

R < C

• R: 정보 전송률(bits/초)
• C: 채널 용량(bits/초)

전송률 R이 채널 용량 C보다 작다면, 오류 확률을 임의로 작게 만들 수 있는 부호화 방식이 반드시 존재한다. 샤논의 증명은 그러한 부호의 존재를 보인 것이며, 구체적인 설계 방법까지 제시한 것은 아니다.

이 결과는 통신 시스템의 설계 기준이 됐다. 터보 코드, LDPC(Low-Density Parity-Check) 코드, 극 코드(Polar Codes) 같은 오류 정정 코드는 채널 용량에 근접하려는 시도 위에서 발전했다.

⤢✕

대역폭·신호·잡음이 만드는 채널 용량

정보 용량 정리(Information Capacity Theorem)는 가우시안 잡음 채널의 용량을 계산하는 식을 제시한다.

C = W log₂(1 + S/N)

• W: 채널의 대역폭(Hz)
• S: 수신 신호 전력
• N: 잡음 전력
• S/N: 신호 대 잡음비(SNR)

채널 용량은 대역폭, 신호 전력, 잡음 전력의 관계로 결정된다. 대역폭과 채널 용량은 선형적 관계에 있고, 신호 대 잡음비와 채널 용량은 로그 관계에 있다. SNR이 두 배가 되면 채널 용량은 1비트 증가한다.

통신 시스템에서는 한정된 대역폭에서 더 높은 SNR을 얻기 위한 전력 할당, 제한된 전력에서 더 넓은 대역폭을 확보하는 전략 사이의 트레이드오프를 판단해야 한다. 5G와 Wi-Fi의 스펙트럼 효율성 향상도 이 관계를 전제로 한다.

⤢✕

압축과 오류 정정, 통신 설계로 이어지는 기반

샤논의 제1정리는 ZIP, JPEG, MP3, H.264 같은 현대 압축 알고리즘의 기반이다. 문맥 적응형 산술 코딩(CABAC)처럼 비디오 압축에서 쓰이는 고급 엔트로피 코딩 기법도 이 원리와 연결된다.

채널 부호화 이론은 터보 코드, LDPC 코드, 극 코드의 토대가 됐고, 디지털 통신과 저장 매체(HDD, SSD), 심우주 통신에 폭넓게 사용된다. MIMO(Multiple-Input Multiple-Output), 적응형 변조 및 코딩(AMC), 직교 주파수 분할 다중화(OFDM) 역시 통신 시스템에서 이론적 한계를 고려하는 방식이다.

정보이론은 엔트로피와 상호 정보량을 통해 정보를 정량적으로 다룰 수 있게 했다. 소스 코딩은 압축의 이론적 기초가 되었고, 채널 코딩은 오류 정정의 이론적 기초가 됐다. 이 영향은 인공지능과 기계학습의 정보 이득(information gain)·교차 엔트로피(cross-entropy), 통계물리학의 엔트로피, 생물정보학의 DNA 시퀀싱과 유전 정보 분석, 암호학의 완벽한 보안 이론으로도 확장된다.

샤논의 정리는 정보의 측정·압축·전송·저장에 존재하는 근본적 한계를 규정했다. 디지털 컴퓨터가 본격적으로 등장하기 전인 1948년에 발표된 이 이론은 70년이 지난 오늘날에도 5G, 사물인터넷, 빅데이터 시대의 정보통신 기술을 이해하는 기준으로 남아 있다.