네트워크 프로토콜의 분류와 캡슐화·단편화 메커니즘
네트워크 프로토콜의 구성 요소와 OSI 계층별 분류, 통신 방식별 특성, 캡슐화와 IP 단편화의 동작을 정리한다.
2026-08-14 · 최초 발행 2025-08-10
통신의 공통 언어가 되는 프로토콜
프로토콜은 컴퓨터와 네트워크 장비가 데이터를 교환할 때 따르는 규약과 규칙의 집합이다. 서로 다른 시스템이라도 같은 규칙을 해석할 수 있어야 통신과 데이터 교환이 가능하다.
프로토콜은 다음 요소로 구성된다.
- 구문(Syntax): 데이터 구조와 형식을 정하는 규칙
- 의미(Semantics): 제어 정보의 의미와 오류 처리 방법
- 타이밍(Timing): 통신 속도와 순서를 정하는 규칙
웹사이트에 접속할 때 브라우저와 웹 서버는 HTTP를 통해 정보를 주고받는다. 두 시스템이 HTTP라는 공통 규약을 사용하기 때문에 요청과 응답을 해석할 수 있다.
계층, 통신 방식, 기능으로 나누어 보는 프로토콜
OSI 7계층을 기준으로 보면 각 계층은 서로 다른 전송 책임을 가진다.
물리 계층은 비트를 전송하는 물리적 매체와 관련되며 RS-232, USB, Bluetooth가 여기에 속한다. 데이터링크 계층은 Ethernet, PPP, HDLC처럼 프레임 단위 전송을 담당한다. 네트워크 계층은 IP, ICMP, OSPF를 통해 패킷 라우팅을 수행한다.
전송 계층은 TCP와 UDP처럼 종단간 데이터 전송을 맡는다. 세션 계층은 NetBIOS, RPC를 사용해 통신 세션의 설정과 유지를 담당하고, 표현 계층은 SSL, TLS처럼 데이터 형식 변환을 처리한다. 응용 계층은 HTTP, FTP, SMTP, DNS를 통해 사용자 인터페이스와 응용 서비스를 제공한다.
연결 설정 여부도 중요한 구분 기준이다. 연결형 프로토콜은 전송 전에 연결을 설정하며, TCP와 X.25가 대표적이다. 데이터 손실 시 재전송하고 흐름 제어 기능을 제공해 신뢰성 있는 통신을 보장한다. 비연결형 프로토콜은 연결 설정 없이 데이터를 즉시 전송한다. UDP와 IP가 여기에 속하며, 적은 오버헤드와 빠른 전송 속도를 특징으로 한다.
기능에 따라서는 경로를 결정하는 OSPF, BGP, RIP 같은 라우팅 프로토콜, 오류 보고와 네트워크 상태 모니터링을 담당하는 ICMP, SNMP 같은 제어 프로토콜이 있다. IPsec과 SSL/TLS 같은 보안 프로토콜은 암호화, 인증, 무결성 검증으로 데이터의 기밀성과 무결성을 보장한다.
데이터가 계층을 내려가며 제어 정보를 얻는 과정
캡슐화(Encapsulation)는 상위 계층 데이터에 각 계층의 헤더를 덧붙여 하위 계층으로 전달하는 과정이다.
응용 계층에서 생성된 데이터는 계층을 지날 때마다 제어 정보를 담은 헤더를 추가한다. 이후 물리 계층에서 비트 스트림으로 변환되어 전송된다. 이 과정은 전송에 필요한 제어 정보를 제공하고, 계층별 독립성과 표준화된 인터페이스를 유지하게 한다.
이메일 전송에서는 SMTP 헤더, TCP 헤더, IP 헤더, 이더넷 헤더가 차례로 추가된 뒤 물리적 신호로 변환된다.
MTU 제약을 넘는 패킷과 단편화
단편화(Fragmentation)는 큰 데이터 패킷을 네트워크의 MTU(Maximum Transmission Unit)에 맞는 작은 조각으로 나누는 처리다.
네트워크 매체마다 MTU 값이 다르므로 큰 패킷을 효율적으로 보내기 위해 단편화가 필요하다. 오류가 발생했을 때 부분적으로 재전송할 수 있다는 점도 관련된다.
IP 단편화에서는 원본 IP 패킷의 식별자 값을 유지한다. 마지막 조각을 제외한 조각에는 More Fragment(MF) 플래그를 설정하고, Fragment Offset 값으로 조각 순서를 표시한다. 수신 측은 모든 조각을 모아 원래 패킷으로 재조립한다.
다만 단편화는 네트워크 오버헤드를 높이고 패킷 손실 가능성을 늘리며, 재조립 과정에서 처리 지연을 만들 수 있다. Path MTU Discovery는 ICMP 메시지로 경로상의 최소 MTU 값을 파악해 최적 패킷 크기를 동적으로 결정하고 불필요한 단편화를 막는 메커니즘이다.
프로토콜은 단편화 외에도 흐름 제어, 오류 제어, 주소 지정, 순서 제어를 수행한다. 흐름 제어는 송신자와 수신자 사이의 전송 속도를 조절해 버퍼 오버플로우를 막으며 TCP의 슬라이딩 윈도우 기법이 예다. 오류 제어에는 체크섬(Checksum), CRC(Cyclic Redundancy Check), ARQ(Automatic Repeat reQuest)가 활용된다. 주소 지정은 MAC 주소와 IP 주소처럼 계층별 주소 체계로 출발지와 목적지를 식별하고, 순서 제어는 순서 번호(Sequence Number)로 전송 데이터의 순서를 유지한다.
TCP/IP 스택에서 이어지는 캡슐화와 단편화
인터넷의 TCP/IP 프로토콜 스택은 캡슐화와 단편화가 이어지는 대표적인 사례다.
HTTP 메시지가 만들어지면 TCP 헤더가 추가되어 TCP 세그먼트가 된다. 여기에 IP 헤더가 더해져 IP 패킷이 생성되고, 패킷 크기가 MTU를 넘으면 단편화가 발생한다. 이어 이더넷 헤더와 트레일러가 추가되어 프레임을 구성한 뒤 비트 스트림으로 변환되어 물리적 매체를 통해 전송된다.
헤더 압축(Header Compression)은 중복되는 헤더 정보를 압축해 오버헤드를 줄이는 기법이며, 모바일 환경에서 중요성이 커진다. ROHC(Robust Header Compression)가 사례다. 프로토콜 오프로딩(Protocol Offloading)은 프로토콜 처리를 전용 하드웨어로 옮겨 CPU 부하를 낮추고 처리 속도를 높이는 방식으로, TCP/IP Offload Engine(TOE)이 해당한다.
변화하는 네트워크 환경의 프로토콜
SDN(Software-Defined Networking)은 프로토콜 기능을 소프트웨어적으로 구현하고 중앙 집중식 네트워크 제어를 지향하며, OpenFlow 같은 표준 프로토콜을 활용한다.
네트워크 가상화에서는 오버레이 네트워크를 위한 캡슐화 기술이 발전하고 VXLAN, NVGRE 등의 프로토콜이 등장했다. 5G 네트워크 프로토콜은 초저지연과 대용량 전송을 위해 최적화되며, 네트워크 슬라이싱과 에지 컴퓨팅 통합을 지원한다.
캡슐화는 계층별 독립성을 유지하면서 필요한 제어 정보를 데이터에 더하고, 단편화는 서로 다른 네트워크 환경에서 대용량 데이터를 전송할 수 있게 한다. 두 기능은 복잡한 네트워크에서도 안정적인 통신을 뒷받침한다. IoT, 클라우드, 5G 같은 새로운 패러다임에 맞춰 최적화된 프로토콜이 계속 등장할 전망이다.