새넌 정보이론으로 보는 엔트로피와 채널 용량

통신의 효율과 신뢰성을 수학으로 다룬 이론

1948년 클로드 새넌(Claude Shannon)은 「통신의 수학적 이론(A Mathematical Theory of Communication)」을 발표했다. 벨 연구소에서 통신 시스템의 효율성과 신뢰성이라는 근본 문제를 다루는 과정에서 나온 이론이다. 제2차 세계대전 중 암호학 연구에서도 영향을 받았다.

새넌의 핵심 기여는 정보와 불확실성의 관계를 수학적으로 정의한 데 있다. 이 틀은 통신뿐 아니라 압축, 암호, 데이터 처리의 한계를 설명하는 기준이 됐다.

드문 사건이 더 많은 정보를 갖는 이유

정보량(Information Content)은 어떤 메시지가 불확실성을 얼마나 줄이는지 나타낸다.

[ I(x) = -log₂(p(x)) ]

단위는 비트(bit)이며, (p(x))는 사건 (x)가 일어날 확률이다. 확률이 낮은 사건일수록 예상하기 어려우므로 더 큰 정보량을 갖는다.

⤢✕

동전 던지기에서 특정 결과의 확률이 1/2라면 정보량은 I = -log₂(1/2) = 1 bit다. 주사위에서 특정 눈이 나올 확률은 1/6이고, 이때 정보량은 I = -log₂(1/6) ≈ 2.58 bits가 된다. 매우 드문 날씨 현상, 복권 당첨, 희귀한 데이터 패턴처럼 예상하기 어려운 사건은 높은 정보량을 가진다.

엔트로피가 보여주는 정보원의 불확실성

엔트로피(Entropy)는 정보원이 만들어 내는 메시지의 평균 정보량이다.

[ H(X) = -∑p(x)log₂p(x) ]

단위는 비트(bit)/심볼이다. 엔트로피는 메시지를 표현하는 데 필요한 최소 비트 수의 하한을 제공하며, 정보원의 무질서도 또는 불확실성을 나타낸다.

모든 메시지가 같은 확률로 발생하는 균일 분포에서는 엔트로피가 최대가 된다. 반대로 하나의 메시지만 확률 1로 발생하면 엔트로피는 최소다. n개의 심볼이 같은 확률로 발생할 때 최대 엔트로피는 log₂(n) bits다.

⤢✕

균일한 동전은 앞면과 뒷면의 확률이 각각 0.5이므로 다음과 같이 계산된다.

[ H(X) = -[0.5log₂(0.5) + 0.5log₂(0.5)] = 1 bit ]

앞면 확률이 0.9이고 뒷면 확률이 0.1인 편향된 동전의 엔트로피는 다음과 같다.

[ H(X) = -[0.9log₂(0.9) + 0.1log₂(0.1)] ≈ 0.47 bits ]

이 경우에는 불확실성이 더 작으므로 효율적인 인코딩이 가능하다.

잡음 속에서도 전송할 수 있는 정보의 경계

채널 용량(Channel Capacity)은 잡음이 있는 채널에서 신뢰성 있게 전달할 수 있는 최대 정보량이다. 새넌-하틀리 정리(Shannon-Hartley Theorem)는 이를 다음 식으로 표현한다.

[ C = B × log₂(1 + S/N) ]

단위는 비트/초이며, B는 대역폭(Hz), S/N은 신호 대 잡음 비율(Signal-to-Noise Ratio)이다. 전송률이 채널 용량 이하라면 오류 확률을 임의로 작게 만들 수 있다.

⤢✕

채널 코딩 정리(Channel Coding Theorem)는 전송률 R < C일 때 오류 확률을 임의로 작게 만드는 부호화 방식이 존재한다고 설명한다. 반대로 R > C이면 오류 없이 정보를 전송하는 것은 불가능하다. 이는 통신 시스템 설계에서 성능의 이론적 경계를 제공한다.

Wi-Fi는 채널 상태에 맞춰 변조 방식과 코딩률을 조절하고, 5G는 다중 안테나(MIMO) 기술로 채널 용량 증가를 추구한다. 스트리밍 서비스의 적응적 비트레이트 조절도 네트워크 상태에 따라 전송량을 맞추는 적용 사례다.

압축률을 결정하는 소스 코딩의 한계

소스 코딩 정리(Source Coding Theorem)에 따르면 정보원의 엔트로피보다 작은 비트로는 무손실 압축을 할 수 없다. 최적 코딩은 평균 코드 길이를 엔트로피에 가깝게 만드는 데 목적이 있다.

허프만 코딩, 산술 코딩, LZW는 대표적인 무손실 압축 알고리즘이다. 허프만 코딩(Huffman Coding)은 자주 나타나는 심볼에 짧은 코드를, 드문 심볼에는 긴 코드를 배정한다. 영문 텍스트에서 'e'에는 예를 들어 '0'처럼 짧은 코드를 할당하고, 'z'에는 예를 들어 '1010'처럼 긴 코드를 둘 수 있다.

⤢✕

압축·보안·AI에 이어지는 정보이론

ZIP, JPEG, MP3, H.265 같은 압축 포맷은 정보이론을 이론적 기반으로 둔다. JPEG는 인간 시각 시스템의 특성을 고려한 손실 압축 방식이다. 영어 텍스트의 이론적 엔트로피는 약 1.5bits/문자인 반면, ASCII는 8bits/문자를 사용한다.

오류 정정 부호에서는 터보 코드, LDPC(Low-Density Parity-Check) 코드, 폴라 코드가 채널 용량에 근접하는 성능을 목표로 한다. 5G 통신은 LDPC와 폴라 코드를 표준으로 채택한다.

암호학에서는 암호문이 평문에 관한 추가 정보를 제공하지 않는 상태를 정보이론적 보안으로 본다. 일회용 패드(One-time pad)는 이론적으로 완벽한 보안을 제공하는 유일한 암호 시스템이며, 엔트로피는 암호 키의 품질과 랜덤성을 평가하는 데 쓰인다.

머신러닝과 인공지능에서도 정보이론의 개념은 직접 사용된다. 정보 이득(Information Gain)은 의사결정 트리 구축에, 상호 정보량(Mutual Information)은 특징 선택과 클러스터링에 활용된다. 크로스 엔트로피(Cross Entropy)는 딥러닝에서 널리 쓰이는 손실 함수다.

설계 한계를 판단하는 공통 언어

정보이론은 통신 시스템 설계자에게 가능한 것과 불가능한 것의 경계를 제시한다. 데이터 압축 기술의 이론적 토대가 되고, 보안과 암호 시스템의 강도를 분석하는 기준이 되며, 빅데이터 환경에서 효율적인 데이터 처리와 분석 방법론에도 연결된다.

정보량, 엔트로피, 채널 용량은 각각 정보의 놀라움, 정보원의 불확실성, 잡음 채널의 전송 한계를 다룬다. 이 세 개념이 연결되면서 통신, 압축, 암호화, AI 전반에 적용되는 보편적 이론이 형성된다.