OSI 모델로 읽는 네트워크 통신과 장애 진단

통신 문제를 계층별 책임으로 나누는 기준

OSI(Open Systems Interconnection) 7계층 모델은 국제표준화기구(ISO)가 만든 컴퓨터 네트워크 프로토콜 설계와 통신의 개념적 모델이다. 복잡한 통신 과정을 계층별로 분리해 역할과 책임을 구분하며, 표준화와 상호운용성을 높이고 문제 발생 지점을 좁히는 기준으로 사용된다.

실제 구현에서는 TCP/IP 모델이 널리 쓰인다. 그럼에도 OSI 모델은 통신 경로를 이해하고 네트워크 문제를 진단할 때 유효한 프레임워크다.

사용자 서비스에서 신호 전송까지 이어지는 계층

응용 계층(Application Layer)

응용 계층은 사용자와 네트워크 서비스가 만나는 지점이다. 파일 전송, 이메일, 웹 브라우징 같은 서비스를 제공하며 HTTP, HTTPS, FTP, SMTP, POP3, IMAP, DNS, DHCP, Telnet, SSH가 여기에 속한다. 웹 브라우저가 HTTP로 웹 서버에 페이지를 요청하는 흐름이 한 사례다.

표현 계층(Presentation Layer)

표현 계층은 데이터 형식 변환과 암호화·복호화, 압축·압축해제를 담당한다. 응용 계층의 데이터를 세션 계층에 맞게 바꾸거나, 세션 계층에서 받은 데이터를 응용 계층이 사용할 수 있게 변환한다. SSL/TLS, JPEG, MPEG, MIDI가 주요 프로토콜이며, JPEG·PNG 이미지 압축과 SSL/TLS 기반 웹 데이터 암호화가 해당한다.

세션 계층(Session Layer)

세션 계층은 통신 세션을 구성하고 유지하며 종료한다. 동기화와 대화 제어를 맡고, 체크포인트를 통한 복구 기능도 제공한다. NetBIOS, RPC, PPTP가 주요 프로토콜이며, 화상 회의에서 사용자 간 세션을 설정하고 관리하는 경우를 예로 들 수 있다.

전송 계층(Transport Layer)

전송 계층은 종단간(end-to-end) 통신을 제어한다. 신뢰성 있는 전송, 흐름 제어, 오류 제어, 데이터 분할과 재조립을 맡는다. TCP, UDP, SCTP가 주요 프로토콜이다. 웹 브라우징에서 TCP로 신뢰성 있는 전송을 수행하거나, 동영상 스트리밍에서 UDP로 빠른 전송을 수행하는 흐름이 대표적이다.

네트워크 계층(Network Layer)

네트워크 계층은 IP 기반의 논리 주소 지정과 라우팅을 담당한다. 패킷이 목적지까지 갈 경로를 정하고 전달한다. IP, ICMP, IGMP, RIP, OSPF, BGP가 이 계층의 주요 프로토콜이며, 인터넷에서 IP 주소를 기준으로 패킷을 라우팅하는 과정이 이에 해당한다.

데이터 링크 계층(Data Link Layer)

데이터 링크 계층은 MAC 주소를 이용한 물리적 주소 지정과 네트워크 토폴로지 관리를 맡는다. 프레임 단위로 오류를 감지하고 제어하며, LLC(Logical Link Control)와 MAC(Media Access Control)이라는 두 부계층으로 나뉜다. Ethernet, PPP, HDLC, ATM, Frame Relay가 주요 프로토콜이고, 이더넷에서 MAC 주소로 프레임을 전달하는 방식이 사례다.

물리 계층(Physical Layer)

물리 계층은 비트 데이터를 전기·광·전파 신호로 바꿔 전송한다. 케이블, 커넥터, 송수신기처럼 물리적 매체와 관련된 규격을 정의한다. RS-232, RS-449, X.21, ISDN, DSL이 주요 표준이며, 네트워크 케이블로 비트 신호를 전달하는 동작이 여기에 속한다.

송신 측의 캡슐화와 수신 측의 역순 처리

송신 측에서 생성된 데이터는 상위 계층에서 하위 계층으로 내려가며 변환된다. 물리적 매체를 통과한 뒤 수신 측에서는 물리 계층부터 응용 계층까지 역순으로 처리된다.

⤢✕

계층을 거치며 달라지는 PDU

응용·표현·세션 계층의 PDU는 데이터(Data)다. 전송 계층에서는 TCP의 세그먼트(Segment) 또는 UDP의 데이터그램(Datagram)이 되고, 네트워크 계층에서는 패킷(Packet), 데이터 링크 계층에서는 프레임(Frame), 물리 계층에서는 비트(Bit)로 다뤄진다.

TCP/IP 모델에서의 계층 대응

TCP/IP 모델은 OSI 모델보다 단순화된 구조다. OSI의 응용·표현·세션 계층은 TCP/IP의 응용 계층에 대응하고, 데이터 링크·물리 계층은 네트워크 액세스 계층에 대응한다.

⤢✕

참조 모델로서 얻는 것과 구현상의 한계

OSI 모델은 표준화된 인터페이스를 통해 서로 다른 벤더 장비 간 호환성을 확보하는 데 도움이 된다. 계층별 기능을 분리해 복잡성을 낮추고, 모듈화된 구조로 개발과 유지보수를 쉽게 하며, 장애가 생겼을 때 특정 계층으로 문제 범위를 한정할 수 있다. 새 프로토콜을 설계할 때도 참조 모델로 활용할 수 있다.

다만 실제 인터넷은 TCP/IP 모델을 바탕으로 구현되므로 OSI 모델과 완전히 일치하지는 않는다. 표현 계층과 세션 계층처럼 실제 구현에서 명확히 구분되지 않는 영역도 있으며, 이론적 모델을 그대로 구현에 적용하면 복잡성이 커질 수 있다.

보안 이슈도 계층마다 다르게 나타난다

응용 계층에서는 악성 코드, 애플리케이션 취약점, 인증 우회가 문제가 될 수 있다. 보안 업데이트, WAF(Web Application Firewall), 인증·권한 관리가 대응 수단이다.

표현 계층에서는 암호화 알고리즘 취약점과 데이터 노출을 다룬다. AES 같은 강력한 암호화 알고리즘과 TLS 최신 버전 사용이 대응책이다.

세션 계층의 주요 위협은 세션 하이재킹과 세션 고정 공격이다. 세션 타임아웃, 세션 ID 암호화, 세션 관리 보안 강화로 대응할 수 있다.

전송 계층에서는 DoS/DDoS 공격과 TCP 시퀀스 번호 예측 공격을 고려한다. 방화벽, IPS/IDS, TCP 보안 설정 강화가 대응책이다.

네트워크 계층에서는 IP 스푸핑, 라우팅 공격, 패킷 스니핑이 발생할 수 있다. ACL(Access Control List), VPN, IPsec를 적용한다.

데이터 링크 계층에서는 MAC 주소 스푸핑과 ARP 스푸핑을 다룬다. 포트 보안, 802.1X 인증, ARP 검사가 대응책이다.

물리 계층에서는 물리적 도청, 케이블 절단, 무단 접근을 막아야 한다. 물리적 보안 조치, 케이블 차폐, 접근 통제가 필요하다.

장애 원인을 아래 계층부터 좁히는 방법

네트워크 장애를 점검할 때는 물리 계층에서 상위 계층으로 올라가는 접근을 사용할 수 있다. 먼저 케이블 연결을 확인하고, 데이터 링크 계층의 링크 상태, 네트워크 계층의 IP 주소 설정, 전송 계층의 포트 연결, 상위 계층의 응용 프로그램 설정을 차례로 확인한다.

계층별 점검에는 서로 다른 도구가 쓰인다. 물리·데이터 링크 계층에서는 링크 표시등과 케이블 테스터를, 네트워크 계층에서는 ping, traceroute, ipconfig/ifconfig를 사용한다. 전송 계층에서는 netstat와 port scanner를 확인하고, 상위 계층에서는 애플리케이션 로그와 Wireshark 분석을 활용한다.

SDN·가상화·클라우드에서 보는 계층

SDN(Software-Defined Networking)에서는 컨트롤 플레인과 데이터 플레인이 분리된 구조를 이해할 때 계층별 역할을 다시 살펴볼 수 있다. 가상화 환경에서는 하이퍼바이저, 가상 스위치, 오버레이 네트워크가 각 계층에서 어떻게 동작하는지 파악하는 데 사용된다.

클라우드 네트워킹에서는 IaaS, PaaS, SaaS 서비스 모델과 OSI 계층의 관계를 검토할 수 있다. 멀티 테넌트 환경에서는 계층별 분리와 보안도 함께 고려 대상이 된다.

OSI 7계층 모델은 구현 모델 자체라기보다 통신을 논리적으로 분해하는 기준이다. TCP/IP 기반 환경에서도 네트워크 엔지니어, 시스템 관리자, 보안 전문가가 통신 흐름과 장애 지점을 이해하는 데 이 기준은 계속 쓰인다.