AI 적대적 공격: 모델 오분류와 데이터 유출을 막는 방어 전략

입력의 미세한 차이가 모델 판단을 바꾸는 방식

적대적 공격(Adversarial Attack)은 AI 모델이 잘못된 결과를 내도록 의도해 만든 입력 데이터를 사용하는 공격이다. 이때 사용되는 적대적 샘플(Adversarial Example)은 원본 데이터에 사람이 알아차리기 어려운 미세한 변화를 더한 데이터다.

신경망의 그래디언트, 즉 기울기 정보를 활용하면 모델의 의사결정 경계를 넘도록 입력을 설계할 수 있다. 입력 자체는 거의 달라 보이지 않아도 모델은 전혀 다른 클래스로 분류할 수 있다.

학습·추론·출력 경로에서 나타나는 공격

공격은 모델의 무결성을 훼손하거나, 모델과 학습 데이터의 기밀성을 빼내는 방향으로 나뉜다.

학습 데이터를 겨냥하는 중독 공격

중독 공격(Poisoning Attack)은 학습 단계에 악의적인 데이터를 섞어 모델 자체를 훼손하는 방식이다. 공격자는 학습 데이터셋에 잘못된 레이블이나 노이즈가 포함된 데이터를 넣고, 모델이 이를 학습하게 만든다. 그 결과 모델 전반의 성능이 떨어지거나 특정 입력에 취약한 상태가 만들어질 수 있다.

자율주행차 학습 데이터에 잘못된 교통 표지판 이미지를 주입해 실제 도로에서 위험한 판단을 유도하는 사례가 이에 해당한다.

⤢✕

추론 시점을 노리는 회피 공격

회피 공격(Evasion Attack)은 이미 운영 중인 모델의 추론 단계에서 입력을 조작한다. 원본 이미지에 사람이 인지하기 어려운 노이즈를 더하면, 모델이 변형된 이미지를 완전히 다른 클래스로 인식하도록 유도할 수 있다.

자율주행차 물체 인식 시스템이 보행자를 도로 표지판으로 오인식하게 만들어 안전 문제를 일으키는 경우가 예시다.

⤢✕

출력에서 학습 정보를 되짚는 전도 공격

전도 공격(Inversion Attack)은 모델의 출력 결과를 분석해 학습 데이터의 정보를 끌어내려는 시도다. 입력과 출력의 관계를 분석해 학습 데이터 패턴을 파악하고, 이를 바탕으로 원본 학습 데이터를 복원하려 한다.

군사 기밀이나 개인정보, 민감정보가 노출될 수 있으며, 의료 진단 AI에서 환자 데이터를 복원해 개인 건강정보가 유출되는 사례가 가능하다.

API 응답으로 모델을 복제하는 모델 추출 공격

모델 추출 공격(Model Extraction Attack)은 API로 제공되는 AI 서비스(MLaaS)를 상대로 모델 구조와 파라미터를 복제하려는 공격이다. 다양한 입력을 API에 보내 출력 결과를 모은 뒤, 수집한 입출력 쌍으로 유사한 대체 모델을 구축한다.

적대적 샘플을 만드는 접근

그래디언트를 이용한 변형

FGSM(Fast Gradient Sign Method)은 손실 함수의 그래디언트 방향으로 입력 데이터를 조금씩 바꾸는 방법이다.

x' = x + ε·sign(∇ₓJ(θ, x, y))

여기서 x는 원본 입력이고 x'는 적대적 샘플이다. ε는 섭동의 크기이며, ∇ₓJ는 손실 함수의 그래디언트다. 계산이 빠르고 구현이 단순하다는 특징이 있다.

Targeted FGSM은 특정 타겟 클래스로 오분류되도록 유도하는 FGSM 변형이다.

x' = x - ε·sign(∇ₓJ(θ, x, y_target))

얼굴 인식 시스템이 특정 인물을 다른 인물로 잘못 인식하게 만드는 데 활용할 수 있다.

JSMA(Jacobian-based Saliency Map Attack)는 최소한의 픽셀 변경으로 오분류를 유도한다. 야코비안 행렬로 영향력이 큰 픽셀을 식별해 조작하며, 목표 클래스의 확률은 높이고 다른 클래스의 확률은 낮추는 방향으로 설계한다.

기본 반복법(Basic Iteration Method)은 FGSM을 반복 적용한다. 반복마다 작은 변화를 누적해 적대적 샘플을 만들며, 단일 스텝 방식보다 성공률은 높지만 계산 비용도 커진다.

결정 경계를 좁혀 가는 방법

DeepFool은 결정 경계까지의 최단 거리를 계산해 최소한의 변화로 오분류를 유도한다. 선형 근사를 사용해 결정 경계에 가장 가까운 지점으로 이동하므로, 매우 미세한 변화로도 높은 성공률을 달성할 수 있다.

NewtonFool은 뉴턴 방법을 사용해 목표 확률 분포에 이르는 적대적 샘플을 만든다. 2차 미분 정보를 활용해 더 효율적인 경로로 접근한다.

방어는 모델 바깥의 통제까지 포함한다

적대적 샘플을 포함한 훈련

적대적 훈련(Adversarial Training)은 적대적 샘플을 학습 데이터에 넣어 모델을 강화하는 방법이다. 정상 데이터로 모델을 학습한 뒤 적대적 샘플을 생성하고, 이를 학습 데이터에 추가해 다시 학습한다.

모델 전반의 견고성을 높일 수 있지만 계산 비용이 크고 모든 공격 유형에 대응하기는 어렵다.

⤢✕

입력 정제와 출력 노출 제어

Defense-GAN은 GAN(Generative Adversarial Network)을 이용해 입력 데이터에서 노이즈를 제거한다. 입력을 GAN 생성자가 정상 데이터 분포로 투영한 뒤, 정제된 데이터를 분류 모델에 전달한다. 알려지지 않은 공격에도 일정 수준의 방어력을 제공할 수 있다.

모델 추출과 전도 공격에는 결과값 분석을 어렵게 만드는 방법을 적용할 수 있다. 확률값 대신 최종 클래스만 반환하거나, 출력값에 의도적인 노이즈를 더하고, 라운딩 또는 양자화로 정확한 값을 감추는 방식이다. 클라우드 기반 AI 서비스의 API 응답 제한도 이 범주에 속한다.

탐지와 운영 통제

별도 탐지 모델을 두고 입력 데이터의 적대적 특성을 식별할 수 있다. 원본 모델과 탐지 모델의 추론 결과를 비교하거나 입력 데이터의 통계적 특성을 분석해, 의심스러운 입력에 추가 검증 단계를 적용한다.

그래디언트 마스킹(Gradient Masking)은 그래디언트 정보를 숨겨 기울기 기반 공격을 막는 방식이다. 특성 압축(Feature Squeezing)은 색상 깊이 감소나 중간값 필터로 미세한 변화를 제거한다. 반복 쿼리에 기반한 공격에는 API 호출 횟수 제한을 적용할 수 있고, 학습 데이터에는 개인정보와 민감정보를 암호화하는 비식별 조치를 적용해 유출 위험을 낮춘다.

공격과 방어가 함께 바꾸는 AI 보안 과제

적대적 공격과 방어는 더 강한 공격에 더 견고한 방어가 이어지는 군비 경쟁 양상을 보인다. 대규모 자기지도학습(Self-supervised Learning) 모델은 적대적 공격에 더 강한 경향이 있으며, 완벽한 방어가 어렵다는 점에서 비용 대비 효과적인 방어 전략이 요구된다.

AI 시스템의 보안 수준을 평가할 표준화된 프레임워크와 인증의 필요성도 커지고 있다. 중독과 회피 공격, 전도와 모델 추출 공격이 각각 어느 경로를 겨냥하는지 구분한 뒤, 적대적 훈련·입력 정제·출력 제한·탐지를 조합하는 다층 방어가 필요하다.