길리랩blog

정보이론의 엔트로피와 채널 용량 이해하기

정보이론의 엔트로피, 채널 용량, 소스 코딩과 채널 코딩을 중심으로 데이터 압축·오류 정정·통신 시스템 설계의 기반을 정리합니다.

2026-08-14 · 최초 발행 2025-08-10

불확실성을 비트로 다루는 방법

정보이론은 데이터 저장과 전송을 수학적으로 다루는 틀이다. 나이퀴스트(Nyquist)와 하틀리(Hartley)가 기초를 마련했고, 클로드 섀넌(Claude Shannon)은 1948년 「통신의 수학적 이론(A Mathematical Theory of Communication)」을 발표하며 현대 정보이론의 토대를 세웠다.

이 분야에서 정보량은 불확실성이 줄어든 정도로 표현한다. 기본 단위는 비트(bit)이며, 확률 변수의 불확실성은 정보 엔트로피로 측정한다.

  • 정보 엔트로피(Information Entropy): 무작위 변수의 불확실성을 측정하는 척도
  • 공식: H(X) = -Σ p(x) log₂ p(x)
    • H(X): 정보의 엔트로피
    • p(x): 사건 x의 발생 확률

엔트로피가 클수록 담긴 정보량은 많고 압축 가능성은 낮다. 예를 들어 무작위 비트 시퀀스는 규칙적 패턴을 가진 시퀀스보다 높은 엔트로피를 갖는다.

대역폭과 잡음이 정하는 전송 한계

채널 용량은 통신 채널이 전달할 수 있는 정보의 최대량이다. 잡음을 배제한 모델과 잡음을 포함한 모델은 각각 하틀리의 법칙과 섀넌의 채널 용량 정리로 설명할 수 있다.

하틀리의 법칙이 적용되는 조건

하틀리의 법칙은 정보 전송에 필요한 대역폭이 전송 속도에 비례한다는 원리다.

  • 공식: C = 2B log₂N
    • C: 채널 용량 [bit/s]
    • B: 채널 대역폭 [Hz]
    • N: 부호 레벨의 수

이 식은 잡음이 없는 이상적 통신 환경을 전제로 한다. 대역폭(B) 또는 부호 레벨(N)이 늘면 채널 용량(C)도 증가한다.

잡음 환경의 채널 용량

실제 통신에는 잡음이 존재한다. 섀넌은 이 조건에서 오류 없이 정보를 전송할 수 있는 최대 속도를 다음과 같이 제시했다.

  • 공식: C = B log₂(1 + S/N)
    • C: 채널 용량 [bit/s]
    • B: 채널 대역폭 [Hz]
    • S/N: 신호 대 잡음 비율(Signal-to-Noise Ratio)

중복을 줄이고 오류에 대비하는 코딩

소스 코딩(Source Coding)은 데이터 압축을 뜻한다. 메시지에 포함된 중복을 줄여 더 효율적인 형태로 표현한다.

  • 허프만 코딩(Huffman Coding): 발생 빈도가 높은 심볼에 짧은 코드를 할당
  • 런 렝스 인코딩(Run-Length Encoding): 연속된 같은 값을 압축
  • LZW(Lempel-Ziv-Welch): 데이터 패턴을 사전에 저장하여 참조
⤢✕원본 데이터분석: 심볼 빈도 계산코드 할당: 빈도가 높은 심볼에짧은 코드압축된 데이터복원: 원본 데이터 재구성

채널 코딩(Channel Coding)은 전송 중 발생할 수 있는 오류를 감지하고 수정하기 위한 부호화 기술이다. 압축이 불필요한 중복을 덜어내는 작업이라면, 채널 코딩은 신뢰성 확보를 위해 중복 비트를 활용한다.

오류 검출에는 데이터 비트의 합이 짝수 또는 홀수가 되도록 비트를 추가하는 패리티 비트(Parity Bit), 다항식 나눗셈으로 오류를 찾는 순환 중복 검사(CRC, Cyclic Redundancy Check)가 쓰인다.

오류 정정 코드로는 단일 비트 오류를 수정할 수 있는 해밍 코드(Hamming Code), 다중 비트 오류를 수정할 수 있는 리드-솔로몬 코드(Reed-Solomon Code), 높은 잡음 환경에서도 효과적인 고성능 오류 정정 코드인 터보 코드(Turbo Code)가 있다.

⤢✕원본 데이터채널 인코딩: 중복 비트 추가전송 채널: 잡음 발생 가능채널 디코딩: 오류 감지 및 수정복원된 데이터

압축·저장·학습 시스템으로 이어지는 응용

정보이론의 원리는 여러 시스템에서 직접 사용된다. 멀티미디어 압축에는 JPEG, MP3, MPEG 같은 이미지·오디오·비디오 압축 표준이 있고, 텍스트 압축에는 ZIP, RAR 등의 파일 압축 알고리즘이 있다.

오류 정정은 모바일 네트워크와 Wi-Fi 등의 디지털 통신, DVD·블루레이·SSD 같은 스토리지 시스템, 스마트폰으로 읽는 2차원 바코드인 QR 코드에도 적용된다.

암호학에서는 AES, DES 등의 대칭 키 암호화와 RSA, ECC 등의 공개 키 암호화가 활용된다. 머신러닝과 인공지능에서도 결정 트리는 정보 이득(Information Gain)을 바탕으로 학습하며, 신경망의 모델 최적화에도 정보이론이 활용된다.

채널 용량 식을 적용한 계산

잡음이 없는 채널에서 대역폭이 5kHz이고 부호 레벨이 4개(N=4)인 경우, 하틀리의 법칙으로 채널 용량을 계산할 수 있다.

C = 2B log₂N
C = 2 × 5,000 × log₂4
C = 10,000 × 2
C = 20,000 bit/s 또는 20 kbps

대역폭이 10MHz이고 신호 대 잡음 비(S/N)가 15dB인 채널은 먼저 15dB를 선형 값으로 변환한다: 10^(15/10) = 31.62

C = B log₂(1 + S/N)
C = 10,000,000 × log₂(1 + 31.62)
C = 10,000,000 × log₂(32.62)
C = 10,000,000 × 5.03
C = 50,300,000 bit/s 또는 약 50.3 Mbps

통신 시스템 설계의 이론적 바탕

현대 통신 시스템은 정보이론의 원리를 폭넓게 사용한다. 5G 통신은 MIMO(Multiple Input Multiple Output) 기술과 고차 변조 방식으로 채널 용량을 극대화하며, LDPC(Low-Density Parity-Check) 코드와 극 코드(Polar Code)를 사용해 높은 신뢰성을 보장한다.

클라우드 컴퓨팅과 빅데이터 환경에서는 효율적인 데이터 압축과 저장이 더욱 중요해지고 있다. 정보이론은 이런 기술의 이론적 기반이며, 빅데이터, 인공지능, 양자 컴퓨팅 같은 분야에서도 중요한 역할을 할 것으로 예상된다.

정보이론엔트로피채널 용량데이터 압축오류 정정