생성형 AI 공격과 AIOps 방어가 맞부딪히는 지점

AI가 공격 체인의 속도와 형태를 바꾸고 있다

생성형 AI는 공격자가 가진 기술 격차를 줄이는 동시에, 기존 공격 기법을 대규모로 반복할 수 있게 만든다. 맞춤형 피싱 콘텐츠의 생산, 악성코드 변형, 탈취 데이터 정리, 공격 인프라용 스크립트 작성까지 공격 체인의 여러 지점이 AI 활용 대상이 됐다.

Microsoft 위협 인텔리전스 팀은 2026년 4월 보고서에서 위협 행위자의 AI 활용이 단순한 도구 사용을 넘어 공격 표면으로 확대되고 있다고 경고했다. 북한 연계 그룹 Coral Sleet는 AI 코딩 도구로 악성코드 컴포넌트를 생성·정제·재구현하며 역량을 빠르게 키웠다.

2026년 FortiGate 사이버 공격에서는 금전적 동기의 위협 행위자가 생성형 AI를 이용해 소프트웨어 취약점을 악용하지 않고 55개국의 600개 이상의 FortiGate 장비를 침해했다. 기본 공격 기법에 AI 기반 자동화가 결합된 사례다.

SecurityWeek의 2026년 전망은 AI가 악성코드 개발, 페이로드 재생성, 실시간 디버깅을 지원하면서 피해자 환경에 맞춰 변하는 툴링을 만들고 있다고 설명한다. 현재는 인간이 루프에 있는 경우가 대부분이지만, 완전 자율 에이전틱 AI 공격 캠페인이 2026년 중 현실화될 수 있다는 전망도 나온다.

피싱은 더 개인화되고 더 쉽게 대량화된다

스피어 피싱은 2026년에도 초기 침투 벡터에서 큰 비중을 차지한다. LLM은 표적에 맞춘 메시지를 대량으로 만들 수 있게 하며, 연구에서는 표적 캠페인 비용이 95% 이상 줄어들면서 정밀도는 유지되는 것으로 제시됐다.

ScienceDirect에 게재된 연구에서는 101명의 참여자를 대상으로 완전 자동화된 LLM 공격을 평가했다. 클릭률은 54%였으며, 인간 전문가의 54%, 인간-AI 협업의 56%와 비슷한 수준이었다. 자동화 도구는 88% 사례에서 정확한 표적 프로파일을 생성했고, 경제성 분석에서는 AI 자동화가 대규모 피싱 캠페인의 수익성을 최대 50배 높이는 것으로 나타났다.

기존 필터도 압박을 받고 있다. StrongestLayer 분석에 따르면 AI 생성 피싱 알고리즘은 실제 캠퍼스 네트워크에서 99%의 필터 우회율을 기록했다. 같은 맥락에서 Claude 3.5 Sonnet을 활용한 방어 탐지 실험은 381개 이메일에서 97.25%의 탐지 정확도와 제로 오탐(False Positive)을 기록했다.

공격자는 OpenAI의 GPT 계열이나 Google의 Bard뿐 아니라 WormGPT, FraudGPT 같은 불법 서비스도 사용한다. 이들 서비스는 안전 필터가 제거된 LLM으로 소개되며, 악성코드 생성, 피싱 이메일 초안 작성, 취약점 스크립트 개발처럼 일반 LLM이 거부하는 작업에 활용된다.

다국어 피싱도 같은 흐름에 있다. LLM은 콘텐츠 번역과 문화적 맥락 조정, 지역별 사회공학 패턴 반영을 지원한다. 언어 장벽이 제공하던 방어 효과가 약해진 이유다.

코드 변형이 시그니처 탐지를 앞지르는 방식

2026년 탐지된 악성코드 가운데 76%는 AI 기반 폴리모피즘을 보였고, 신규 악성코드 샘플의 37%에서는 AI/ML 최적화 기법의 흔적이 발견됐다. AI 기반 공격은 전년 대비 72% 증가했다.

AI 기반 폴리모픽 악성코드는 GPT 기반 언어 모델을 이용해 실행 또는 빌드 시점마다 코드를 생성·난독화·수정한다. 실행될 때마다 구조가 다른 코드가 나타나면 정적 탐지와 전통적인 바이러스 시그니처 매칭의 효율은 크게 떨어진다.

실제 공격에서는 AI 생성 뱅킹 트로이목마 변종이 15분 간격으로 변이하며 여러 금융 기관의 시그니처 기반 탐지를 우회했다. 방어 도구가 처리해야 할 변형의 속도와 규모가 달라진 셈이다.

HYAS가 공개한 BlackMamba는 런타임 재합성의 사례다. 무해한 실행 파일이 실행 중 OpenAI에 접속해 키스트로크 탈취에 필요한 합성 악성 코드를 받아오는 구조로 설명된다. 실행마다 키로깅 기능이 새로 합성되므로, 악성 컴포넌트는 실질적인 폴리모픽 특성을 갖게 된다.

여기서 중요한 점은 악성 코드가 실행 파일 안에 고정돼 있지 않다는 것이다. 파일 내부의 악성 패턴을 찾는 시그니처 스캐너는 필요 시점에 생성되는 코드에 대해 사전 스캔만으로 대응하기 어렵다.

Microsoft 분석은 피싱 미끼 작성, 콘텐츠 번역, 탈취 데이터 요약, 악성코드 생성·디버깅, 스크립트와 인프라 스캐폴딩까지 공격 체인 전반에 생성형 AI가 쓰인다고 짚는다. 개별 공격자의 숙련도와 무관하게 공격 역량을 평준화하는 방향이다.

피싱부터 탈취 데이터 활용까지 이어지는 공격 흐름

⤢✕

방어의 기준점은 파일이 아니라 행위가 된다

폴리모픽 코드와 신규 코드가 시그니처를 우회하는 상황에서, 방어는 행동 분석과 예측적 대응으로 옮겨갈 수밖에 없다. AI 기반 행동 분석은 신원, 장치, 애플리케이션, 데이터 경로의 정상 동작을 학습하고, 작은 이탈도 포착한다. 여기에 과거 패턴과 위협 인텔리전스를 결합해 권한 상승과 측면 이동의 맥락을 찾는다.

SentinelOne의 2026년 분석은 행동 기반 탐지의 범위를 세 영역으로 제시한다.

사용자 및 엔티티 행동 분석(UEBA)을 통한 정상 기준선 이탈 탐지
네트워크 트래픽 분석을 통한 측면 이동과 데이터 유출 패턴 식별
엔드포인트 행동 모니터링을 통한 프로세스 계층 및 메모리 이상 탐지

CTI 역시 반응적·서술적·수동적 운영에서 선제적·예측적·자동화된 운영으로 이동하고 있다. Cyware는 AI 기반 CTI가 위협을 관찰하는 데서 그치지 않고, 행동을 모델링하고 방어를 준비하며 경우에 따라 사람보다 빠르게 대응하는 레이더 시스템 역할을 한다고 설명한다.

이 과정의 기반은 위협 인텔리전스 피드를 실시간으로 융합하는 일이다. AI 시스템은 오픈 소스 인텔리전스, 다크웹 모니터링, 인디케이터 오브 컴프로마이즈(IoC), 전술·기술·절차(TTP) 데이터를 수집하고 상관관계를 분석해 위협 패턴을 식별한다.

Cloudeagle.ai가 선정한 2026년 사이버보안 AIOps 플랫폼들은 대용량 보안 데이터 스트림의 실시간 처리, 이상 탐지를 위한 머신러닝 모델, 인시던트 대응 자동화, 평균 탐지 시간(MTTD)과 평균 해결 시간(MTTR) 단축을 공통 역량으로 둔다. 워크플로우 실행, 서비스 재시작, 리소스 확장, 인간 개입 없는 문제 해결도 가능한 범위에 포함된다.

SOC에서 AI와 분석가가 나눠 맡을 일

Cyber Defense Magazine은 2026년을 SOC가 수동 분류에서 자율 오케스트레이션으로 넘어가는 전환점으로 본다. AI가 일상적인 알림의 90% 이상을 해결하고, 인간의 역할은 전략적 감독과 복잡한 판단으로 옮겨간다는 분석이다.

Seceon은 AI 기반 위협 탐지가 표준이 되는 2026년에 AI 시스템이 위협 탐지, 취약점 예측, 학습한 패턴 기반의 자율 대응을 수행할 것으로 예상한다. 반면 인간 분석가는 AI 알림의 맥락 해석, 비즈니스 영향 평가, 규제 준수 판단, AI 결정에 대한 최종 책임을 맡는다.

Swimlane은 SOC 변화의 방향으로 자율 감지 및 대응, AI 기반 위협 헌팅, 생성형 AI 기반 보안 코파일럿, 공급망 위험 관리 자동화, 규정 준수 워크플로우의 AI 강화를 제시했다. AI가 속도와 확장성을 제공하는 동안 판단과 책임은 인간에게 남는다.

Simbian은 AI 에이전트가 새로운 데이터와 조사 맥락에 동적으로 적응할 수 있어 SOC에서 중요한 도구가 된다고 분석한다. 맥락 수집과 초기 평가는 AI에 맡기고, 인간 분석가는 복잡한 문제 해결에 집중하는 구조다.

역할을 분명히 나누면 AI는 데이터 수집, 초기 분류, 패턴 매칭, 자동 대응 실행을 담당한다. 인간 분석가는 고위험 사고 조사, AI 판단 검토, 새로운 위협 유형에 대한 모델 재훈련, 경영진 커뮤니케이션을 맡는다. CIO 매거진이 정리한 2026년 AI 보안 현황도 AI가 보안 스택의 단순 도구를 넘어 전략적 파트너가 됐으며, 인간의 창의성과 직관 없이 AI 방어가 완성될 수 없다는 인식이 확산되고 있음을 보여준다.

생성형 AI는 공격의 진입 장벽을 낮추고 변형 속도를 끌어올렸다. 방어 조직은 행동 기반 탐지 역량과 위협 인텔리전스 융합을 갖추는 한편, SOC 인력이 AI의 결과를 검토하고 책임질 수 있도록 역할 전환을 준비해야 한다. 방어 우위는 데이터 품질, 모델 적응 속도, 인간 전문성을 얼마나 통합하는지에 달려 있다.