오용탐지와 이상탐지의 차이와 하이브리드 침입 탐지

알려진 공격과 낯선 행동을 구분하는 기준

침입 탐지는 시스템 활동을 관찰해 위험한 행위를 가려내는 보안 기능이다. 그 판단 방식은 크게 오용탐지(Misuse Detection)와 이상탐지(Anomaly Detection)로 나뉜다.

오용탐지는 이미 알려진 공격의 흔적을 찾고, 이상탐지는 정상으로 학습한 행동에서 벗어난 움직임을 찾는다. 같은 이벤트를 보더라도 무엇을 기준선으로 삼는지에 따라 탐지 결과와 운영 부담이 달라진다.

시그니처로 일치 여부를 판단하는 오용탐지

오용탐지는 알려진 공격 패턴이나 시그니처를 기반으로 침입을 식별한다. 잘못된 패턴과 일치하는지를 기준으로 판단하기 때문에 패턴 매칭 또는 규칙 기반 탐지라고도 한다.

운영자는 먼저 공격 패턴 데이터베이스를 준비한다. 탐지 시스템은 시스템 활동을 모니터링하면서 이 시그니처와의 일치 여부를 검사하고, 일치하는 패턴을 발견하면 침입으로 간주해 경고를 낸다.

알려진 공격에 대해서는 높은 정확도를 기대할 수 있고, 오탐(False Positive) 비율도 낮다. 어떤 위협이 탐지됐는지 명확히 식별하기 쉬우며 구현과 이해도 비교적 간단하다.

반대로 시그니처에 없는 제로데이 공격에는 취약하다. 데이터베이스를 지속적으로 갱신해야 하고, 공격 기법이 조금만 변형돼도 탐지하지 못할 수 있다. 다형성 악성코드나 지능형 공격에 대응하기 어려운 이유도 여기에 있다.

상용 안티바이러스 소프트웨어, Snort 같은 네트워크 기반 IDS, WAF의 규칙 기반 필터링이 이 방식의 적용 사례다.

정상 상태에서 벗어난 활동을 찾는 이상탐지

이상탐지는 정상 행동 패턴에서 벗어나는 활동을 침입 신호로 본다. 정상적 패턴과의 불일치가 판단 근거이며, 행동 기반 또는 통계적 접근법으로 분류된다.

먼저 시스템의 정상 행동 프로필, 즉 베이스라인을 만든다. 이후 실시간 활동을 이 프로필과 비교하고 정상 범위를 벗어나는 행동이 나타나면 경고를 발생시킨다.

시그니처에 등록되지 않은 새로운 공격과 제로데이 공격도 탐지할 수 있으며, 패턴 변형에도 강인하다. 공격자가 정해진 규칙을 피하는 방식만으로 탐지를 우회하기 어렵다는 장점도 있다.

대신 오탐율(False Positive)이 상대적으로 높다. 정상 행동을 학습하는 데 시간이 들고, 업무나 시스템 상태 변화에 맞춰 프로필도 계속 업데이트해야 한다. 구현과 설정의 복잡성도 오용탐지보다 높다.

사용자 행동 분석(UBA), 네트워크 트래픽 이상 탐지 솔루션, 클라우드 보안 서비스의 이상 행동 탐지 기능, 금융 거래 이상 탐지 시스템에서 활용된다.

탐지 기준이 달라지는 지점

⤢✕

지표	오용탐지	이상탐지
알려진 공격 탐지	우수	양호
알려지지 않은 공격 탐지	취약	우수
오탐율(False Positive)	낮음	높음
미탐율(False Negative)	새로운 공격에 높음	상대적으로 낮음
구현 복잡성	낮음	높음
유지보수 요구사항	시그니처 업데이트	정상 프로필 재학습

탐지 방식을 함께 운용하는 구조

최신 침입 탐지 시스템은 오용탐지와 이상탐지를 결합하는 하이브리드 접근법을 사용한다. 알려진 공격 패턴은 먼저 오용탐지로 검사하고, 이어서 이상탐지로 비정상 행동을 분석한다. 두 결과를 상호 보완적으로 해석하는 방식이다.

이 구조는 알려진 공격과 새로운 공격에 모두 대응할 수 있게 하며, 오탐과 미탐 사이의 균형을 개선한다. 다층적 방어 전략을 구성할 수 있다는 점도 장점이다.

⤢✕

규칙과 모델로 보는 탐지 구현

Snort 규칙은 특정 패턴을 찾아 오용을 탐지하는 방식의 예다.

alert tcp any any -> $HOME_NET 3306 (msg:"MySQL Login Attempt"; flow:to_server; content:"|03|"; offset:4; depth:1; sid:1000001; rev:1;)

이 규칙은 MySQL 서버로의 로그인 시도를 탐지한다. content:"|03|" 패턴을 매칭하고, offset, depth로 패킷에서 검사할 정확한 위치를 지정한다.

다음 코드는 정상 네트워크 트래픽 데이터로 모델을 학습한 뒤 실시간 트래픽에서 이상 행동을 찾는 예시다.

# 간략한 예시 코드
from sklearn.ensemble import IsolationForest

# 정상 데이터로 모델 학습
model = IsolationForest(contamination=0.1)
model.fit(normal_network_traffic_data)

# 실시간 트래픽 검사
anomaly_scores = model.decision_function(real_time_traffic)
predictions = model.predict(real_time_traffic)

# 결과 분석 (-1: 이상, 1: 정상)
for i, prediction in enumerate(predictions):
    if prediction == -1:
        print(f"이상 행동 탐지: {real_time_traffic[i]}, 점수: {anomaly_scores[i]}")

환경별로 달라지는 관찰 대상

클라우드 환경에서는 리소스 사용 패턴, API 호출 패턴, 컨테이너와 마이크로서비스의 동작을 관찰해 비정상 접근을 탐지할 수 있다.

IoT 보안에서는 제한된 리소스 환경에 맞춘 경량 탐지 시스템이 필요하다. 디바이스별 통신 패턴을 프로파일링하고, 메시 네트워크에서는 분산 탐지 메커니즘을 사용할 수 있다.

금융 보안에서는 거래 패턴 분석과 사용자 행동 프로파일링을 통해 이상 거래와 부정을 탐지한다. 실시간 사기 탐지 및 예방 시스템도 이 범주에 속한다.

탐지 이후까지 연결되는 방향

AI와 딥러닝은 정상 행동 모델링과 적응형 탐지에 활용될 수 있다. 자기지도학습은 더 정확한 정상 행동 모델링에, 강화학습은 적응형 탐지 시스템에, 적대적 학습은 탐지 회피 공격 방어에 활용된다.

상황 인식 탐지 시스템은 여러 소스의 데이터를 통합하고 시간적·공간적 컨텍스트를 함께 고려한다. 사용자 역할과 권한에 따라 행동을 다르게 분석하는 방식도 포함된다.

탐지 결과는 자동화된 대응 시스템과 연결할 수 있다. 탐지 후 보안 오케스트레이션으로 방어 조치를 실행하고, 위협 인텔리전스와 실시간으로 연동하며, 자가 치유 시스템을 통해 능동적 보안 체계를 구성할 수 있다.