IPSec으로 네트워크 계층 보안을 설계하는 방법
IPSec의 전송·터널 모드와 AH, ESP, IKE, SA, SPD·SAD 역할을 중심으로 네트워크 계층 보안을 정리합니다.
2026-08-15 · 최초 발행 2025-05-23
IP 패킷에 보안 서비스를 붙이는 IPSec
IPSec은 IP 네트워크를 통한 통신에 데이터 무결성, 기밀성, 인증, 접근 제어를 제공하는 프로토콜 스위트다. Layer 3, 즉 네트워크 계층에서 동작하므로 상위 계층 애플리케이션을 바꾸지 않고도 보안을 적용할 수 있다.
공용 네트워크에서 민감한 정보를 전송하거나, 엔드포인트와 게이트웨이 사이에 보호된 경로가 필요할 때 IPSec을 사용한다. IP 패킷의 인증·무결성·기밀성을 보장하고, 터널링을 통해 데이터를 보호하며, 엔드포인트 간 또는 게이트웨이 간 보안 통신을 지원한다.
패킷을 보호하는 범위에 따라 달라지는 모드
전송 모드와 터널 모드는 보호 범위와 배치 위치가 다르다.
전송 모드는 End-to-End 구간에서 데이터그램 내용만 보호한다. 원본 IP 헤더와 패킷의 나머지 부분 사이에 보안 헤더가 배치되며, 호스트 간 직접 통신이나 단일 LAN 세그먼트, 사설 네트워크 안에서 전송 데이터를 가로채는 일을 막는 용도에 맞는다.
터널 모드는 Gateway-to-Gateway 구간을 위한 방식이다. 데이터그램 내용뿐 아니라 통신자 IP 주소까지 보호하며, 새 IP 헤더가 패킷 맨 앞에 추가된다. 공중 네트워크나 보안되지 않은 네트워크를 통해 패킷을 전달할 때 전체 IP 패킷을 캡슐화해 보호하므로 VPN 구현에 일반적으로 사용된다.
SA부터 정책 데이터베이스까지의 역할
SA(Security Association)
SA는 통신 당사자 간의 보안 계약을 뜻하며 IPSec의 기본 단위다. 단방향 논리적 연결을 정의하고, SPI(Security Parameter Index), 목적지 IP 주소, 보안 프로토콜(AH/ESP)로 고유하게 식별된다.
SA에는 통신에 필요한 알고리즘, 키, 모드 등의 정보가 들어간다.
AH(Authentication Header)
AH는 데이터 인증과 무결성 보장에 초점을 둔다. 데이터 변조를 막고 송신자를 인증하며 재생 공격(Replay Attack)을 방지한다. IP 패킷의 대부분을 보호하지만 TTL처럼 변경 가능한 필드는 제외한다. 암호화는 제공하지 않으므로 데이터 기밀성은 제공하지 않는다. 따라서 AH를 적용한 패킷은 변경 여부와 송신자 확인에는 적합하지만, 데이터 원본은 그대로 전송된다.
프로토콜 구조:
| IP 헤더 | AH 헤더 | TCP/UDP 헤더 | 데이터 |
ESP(Encapsulation Security Payload)
ESP는 IP 데이터그램에 인증, 무결성, 암호화를 제공한다. 데이터 기밀성과 제한된 트래픽 흐름 기밀성을 지원하며, 인증 서비스는 선택적으로 적용할 수 있다. 패킷 내용을 암호화해 도청을 방지하는 역할을 맡는다. ESP 헤더 이후의 전송계층 헤더와 데이터는 암호화 대상이 되므로, AH와 달리 기밀성을 함께 요구하는 통신 경로에 사용할 수 있다.
프로토콜 구조:
| IP 헤더 | ESP 헤더 | TCP/UDP 헤더 (암호화) | 데이터 (암호화) | ESP 트레일러 | ESP 인증 |
IKE(Internet Key Exchange)
IKE는 키 관리와 키 분배, 암호화 알고리즘 협상을 담당한다. 수동 구성 대신 SA 설정을 자동화하며 Diffie-Hellman 키 교환을 기반으로 동작한다. 통신 당사자는 사용할 암호화·인증 알고리즘과 키를 협상하고, 안전한 키 생성 및 공유 절차를 거쳐 서로의 신원을 확인한다.
먼저 보안 채널인 ISAKMP SA를 설정해 안전한 통신 채널과 관리용 SA를 만들고 인증 방식을 협상한다. 이어서 IPSec SA를 협상하고 생성하며, 이 단계에서 데이터 전송에 사용할 SA와 키를 만들고 IPSec 파라미터를 정한다.
SPD와 SAD가 결정하는 패킷 처리
SAD(Security Association Database)는 SA 관련 매개변수를 정의한 데이터베이스다. 각 SA의 구체적인 보안 파라미터와 SPI, 암호화 키, 암호화 알고리즘, HMAC 키 등을 저장하며 패킷 처리 방법의 지침을 제공한다.
SPD(Security Policy Database)는 모든 인바운드·아웃바운드 트래픽 정책을 저장한다. 패킷에 어떤 보안 서비스를 적용할지 결정하며, 결과는 다음 중 하나다.
DISCARD: 패킷 폐기BYPASS: IPSec 처리 없이 통과PROTECT: IPSec 보호 적용 및 사용할 SA 지정
보호된 연결이 필요한 환경
기업 네트워크에서는 지사 간 안전한 통신을 위한 Site-to-Site VPN과 재택근무자를 위한 Remote Access VPN에 적용할 수 있다. Site-to-Site VPN에서는 본사와 지사 사이에 터널 모드의 IPSec 터널을 구성해 내부 네트워크 자원을 공유한다. 네트워크 구성 변경 없이 게이트웨이 장비가 IPSec을 지원하는 방식으로 두 네트워크 사이의 트래픽을 암호화해 전송할 수 있다.
Remote Access VPN에서는 재택근무자나 외부 사용자가 기업 네트워크에 접속한다. 사용자 PC의 IPSec VPN 클라이언트가 인증을 거친 뒤 암호화된 통신 채널을 만들고, 이를 통해 기업 내부 자원에 접근한다.
온프레미스 데이터센터와 클라우드 환경을 연결할 때도 IPSec은 보안 연결을 제공한다. 하이브리드 클라우드에서 데이터 안전성을 확보하기 위해 AWS VPC와 기업 데이터센터 사이를 IPSec VPN으로 연결할 수 있다.
IoT 환경에서는 센서와 중앙 서버 사이에 안전한 통신 채널을 만들고, 산업용 IoT 제어 명령의 무결성을 보장하는 데 쓴다. 스마트 그리드 시스템에서 전력 제어 명령을 보안 전송하는 사례가 있다.
의료 정보 시스템에서는 환자 데이터 전송과 원격 의료 서비스의 개인정보 보호에 적용할 수 있다. 병원과 보험사가 민감한 환자 기록을 교환하는 통신 경로도 대상이 된다.
적용 시 고려할 특성
IPSec은 네트워크 계층에서 동작해 상위 애플리케이션에 투명하며, 강력한 인증과 암호화 기능을 제공한다. 다양한 네트워크 환경에 맞춰 적용할 수 있고 표준화된 프로토콜이어서 벤더 간 호환성도 갖는다. NAT-T 기술을 사용하면 NAT 환경에서도 동작할 수 있다.
반면 구현과 구성은 복잡할 수 있다. NAT(Network Address Translation)와의 호환성 문제, 암호화·복호화 과정의 성능 오버헤드도 고려 대상이다. 일부 방화벽은 IPSec 트래픽 처리에 제한이 있을 수 있으며, 벤더별 구현 차이로 호환성 문제가 생길 수 있다. 장애가 발생했을 때 원인을 파악하기 어렵다는 점도 운영 부담이 된다. 전송 모드에서는 엔드포인트가 IPSec을 지원해야 한다.
IPSec을 구성할 때는 보호할 구간과 패킷 범위를 먼저 정하고, AH와 ESP 중 필요한 보안 서비스를 선택해야 한다. 키 관리는 IKE 자동 방식과 수동 방식을 검토하고 키 갱신 주기도 설정한다. 이후 IKE로 SA를 관리하고 SPD와 SAD 정책이 의도한 패킷 처리 결과를 내는지 함께 확인하는 흐름이 필요하다. NAT 환경에서는 NAT-T 지원 여부와 UDP 캡슐화 방식을 확인하고, 다른 벤더 장비와 연결할 경우 호환성 테스트와 표준 준수 여부도 점검해야 한다.