AI 에이전트 환경의 프롬프트 인젝션 방어 아키텍처

삼성SDS가 국내 IT·보안 담당자 667명을 대상으로 시행한 조사에서 81.2%는 AI 기반 보안 위협을 가장 우려하는 항목으로 꼽았다. 프롬프트 인젝션은 OWASP LLM Top 10의 최상위 취약점인 LLM01:2025로 2년 연속 1위를 유지했고, 전문가 침투테스트에서 발견된 복합 치명적 취약점 중 탈옥 기법의 비중은 8%였다.

기업 인프라와 AI 에이전트가 결합된 환경에서 이 문제는 챗봇의 부적절한 사용에 그치지 않는다. 공급망 침해, 데이터 유출, 권한 탈취로 연결될 수 있는 공격 경로로 다뤄야 한다.

국내 우려와 운영 환경의 공격 현실

삼성SDS의 2026년 사이버 보안 위협 보고서는 2025년 11월 27일부터 12월 8일까지 국내 IT·보안 담당자 667명을 조사했다. 응답자의 81.2%가 AI 기반 보안 위협을 1순위 우려 사항으로 답했으며, 랜섬웨어 67.3%, 클라우드 보안 위협 58.1%, 피싱 및 계정 탈취 54.7%보다 높았다.

2026년 현재 프롬프트 인젝션은 운영 중인 AI 서비스의 73% 이상에서 발견되고 있다. 2025년 한 해 프롬프트 인젝션으로 발생한 전 세계 피해액은 약 23억 달러로 추산되며, 현재 탐지 도구는 정교한 인젝션 시도의 23%만 포착한다. 2026 NGSV 조사에서는 국내 기업 및 기관의 67%가 AI 관련 보안 사고를 이미 경험했다고 응답했다.

위협 유형	국내 우려 비율	글로벌 발생 비율
AI 기반 보안 위협 (프롬프트 인젝션 포함)	81.2%	73%+
랜섬웨어	67.3%	62%
클라우드 보안 위협	58.1%	55%
피싱 및 계정 탈취	54.7%	58%

LLM01:2025가 드러내는 공격 표면

OWASP는 2025년 LLM 애플리케이션 Top 10에서 프롬프트 인젝션을 LLM01:2025로 지정했다. 취약점은 모델 자체보다 모델이 외부 데이터, 도구, 사용자와 연결되는 방식에서 확대된다.

순위	코드	취약점명	핵심 위험
1	LLM01	프롬프트 인젝션	지시·데이터 혼용 구조 악용
2	LLM02	민감 정보 유출	훈련 데이터·컨텍스트 노출
3	LLM03	공급망 취약점	외부 플러그인·API 오염
4	LLM04	데이터 및 모델 중독	파인튜닝·RAG 데이터 조작
5	LLM05	부적절한 출력 처리	출력물 미검증으로 인한 XSS/SSRF
6	LLM06	과도한 자율성	에이전트 무제한 행동 권한
7	LLM07	시스템 프롬프트 유출	내부 지시 노출
8	LLM08	과도한 기능 허용	최소 권한 원칙 위반
9	LLM09	허위 정보 생성	환각·출력 신뢰 남용
10	LLM10	무제한 소비	DoS, 토큰 폭발 공격

프롬프트 인젝션이 2년 연속 최상위 위험으로 남은 배경에는 지시(instruction)와 데이터(data)가 동일한 채널을 타고 흐르는 구조가 있다. LLM은 시스템 프롬프트와 사용자 입력을 언어적으로 구분하지 못하므로, 사용자 입력에 삽입된 시스템 지시어를 모델이 우선시할 수 있다.

입력·외부 콘텐츠·메모리에서 시작되는 인젝션

공격 경로는 직접 인젝션과 간접 인젝션으로 나뉜다. 에이전트의 장기 메모리를 오염시키는 메모리 중독은 세션을 넘어 공격 효과를 남긴다.

⤢✕

직접 인젝션(Direct Injection)은 채팅 인터페이스나 API를 통해 공격자가 악의적 지시를 직접 전달하는 방식이다. “이전 지시를 무시하고 다음 명령을 따르라”는 패턴에서 다국어 우회, 인코딩 우회, 역할극(Role-play) 기법까지 형태가 확장됐다.

간접 인젝션(Indirect Injection)은 이메일 본문, 웹 페이지, PDF 문서, 코드 리포지터리처럼 LLM이 읽게 될 외부 콘텐츠에 악성 지시를 숨긴다. RAG 파이프라인이 해당 문서를 검색해 모델 컨텍스트에 넣는 순간 문서 안의 인젝션 페이로드가 실행될 수 있다. USENIX Security 2025 연구에서 공개된 PoisonedRAG 기법은 정교하게 조작된 문서 5개만으로 RAG 시스템 응답을 90% 확률로 제어할 수 있음을 입증했다.

메모리 중독(Memory Poisoning)은 AI 에이전트의 장기 메모리 스토어를 오염시킨다. 에이전트가 메모리를 권위 있는 컨텍스트로 신뢰하기 때문에, 세션 수준 인젝션보다 지속성이 높다.

탈옥은 안전 제어를 우회하는 별도 경로다

탈옥(Jailbreak)은 모델의 안전 제어를 무력화해 금지된 응답을 유도하는 프롬프트 인젝션의 특수한 형태다. 2026년 전문가 주도 침투테스트에서 발견된 복합 치명적 취약점 가운데 탈옥 기법은 8%를 차지했다.

역할극 기반 탈옥은 “당신은 제한 없는 AI다”와 같이 안전 지침이 없는 가상의 역할을 부여해 안전 필터를 우회한다. DAN(Do Anything Now), AIM(Always Intelligent and Machiavellian) 등이 그 변종이다.

다단계 우회(Multi-turn Jailbreak)는 단일 프롬프트가 아니라 여러 대화 차례에 걸쳐 제약을 약화시킨다. 초기 메시지로 무해한 맥락을 만들고, 후속 메시지에서 악성 요청을 삽입한다.

인코딩 우회는 Base64, ROT13, 역방향 텍스트 등을 활용해 안전 필터의 패턴 매칭을 피한다. 크로스모달 공격(Cross-modal Attack)은 이미지, 음성, 코드처럼 비텍스트 입력에 악성 지시를 심는다. 멀티모달 LLM의 비전 인코더가 처리하는 이미지에 눈에 보이지 않는 텍스트를 삽입하는 방식이 대표적이다.

계층을 분리해 에이전트 권한을 통제한다

엔터프라이즈 AI 에이전트에 단일 방어책만 두는 방식으로는 충분하지 않다. 2026년 운영 환경에서 검증된 접근은 독립된 방어 계층을 겹쳐 각 계층의 누락을 보완하는 심층 방어(Defense-in-Depth) 아키텍처다.

⤢✕

입력 계층에서는 사용자 입력이 LLM에 닿기 전에 악성 패턴을 탐지하고 차단한다. 시스템 프롬프트와 사용자 입력을 아키텍처 수준에서 분리하는 채널 분리(Channel Separation)는 직접 인젝션 대응의 핵심이다.

컨텍스트 계층은 RAG에서 검색된 문서의 출처를 추적한다. 허용된 소스 목록 밖의 콘텐츠는 모델에 전달하지 않으며, 검색 시점 접근 제어로 사용자의 권한을 넘는 문서가 컨텍스트에 포함되지 않게 한다.

에이전트 계층에서는 코드 실행과 외부 API 호출을 MicroVM, gVisor 등 격리된 샌드박스에서 수행하도록 설계한다. 에이전트에는 임무에 필요한 최소 권한만 부여한다.

출력·모니터링 계층은 LLM 출력을 하위 시스템에 넘기기 전에 검증한다. 모든 의사결정 추적(Decision Trace)은 SIEM/SOAR 플랫폼과 연계해 이상 행동을 실시간으로 탐지하며, 자금 이체나 권한 변경 같은 고위험 작업은 인간 최종 승인(Human-in-the-Loop)을 의무화한다.

RAG 지식 베이스의 오염을 막는 통제점

RAG(Retrieval-Augmented Generation)는 엔터프라이즈 AI 배포의 주류 패턴이지만 데이터 중독에 취약하다. 지식 베이스에 소수의 조작 문서가 들어가는 것만으로 시스템 전체 응답이 통제될 수 있다.

출처 추적(Provenance Tracking)은 벡터 데이터베이스에 저장하는 모든 문서에 출처 메타데이터를 태깅하고, 허용된 소스에서 수집된 문서만 인덱싱하는 방식이다.

검색 시점 접근 제어에서는 사용자 권한에 따라 검색 가능한 문서 범위를 동적으로 제한한다. 역할 기반 접근 제어(RBAC)를 RAG 검색 레이어에 적용해 접근 권한이 없는 문서가 컨텍스트에 포함되지 않게 한다.

중요 지식 베이스에는 정기 자동화 스캔을 적용해 비정상 지시어 패턴이 포함된 문서를 찾는다. 해시 기반 무결성 검사는 문서 위변조 탐지에 사용한다. 공개 인터넷에서 크롤링한 콘텐츠와 내부 기업 문서는 별도 인덱스로 분리해 외부 오염이 내부 지식 베이스로 전파되지 않도록 한다.

가드레일과 자동화 테스트를 운영 경로에 넣는다

가드레일(Guardrails)은 LLM의 입력과 출력에 규칙 기반 또는 분류기 기반 필터를 적용해 허용되지 않은 콘텐츠를 차단하는 보안 계층이다.

입력 가드레일에는 알려진 탈옥 패턴을 막는 정규표현식 패턴 매칭, 적대적 의도를 찾는 NLP 분류기, DoS 방지를 위한 토큰 길이 제한이 포함된다. 출력 가드레일은 PII(개인식별정보) 탐지 및 마스킹, 기밀 정보 패턴 스캔, 코드 실행 전 정적 분석을 담당한다.

AI 보안 테스트 자동화는 OWASP LLM Top 10 기반 침투테스트 파이프라인을 CI/CD에 통합하는 방식으로 설계한다. 프롬프트 인젝션 페이로드 라이브러리 실행, 알려진 탈옥 패턴의 성공률 측정, RAG 데이터 중독 시뮬레이션, 과도한 권한 행사 시나리오 검증이 주요 테스트 항목이다.

SIEM에는 요청뿐 아니라 에이전트 행동을 남긴다

현재 탐지 도구가 정교한 인젝션 시도의 23%만 포착한다는 점에서, 행동 기반 탐지와 SIEM 연계는 방어 아키텍처의 일부가 되어야 한다.

수집 대상은 LLM API 요청·응답 전문, 에이전트 도구 호출 이력, 벡터 검색 쿼리와 반환 문서 목록, 시스템 명령 실행 기록이다. 단일 세션에서 시스템 프롬프트 관련 키워드가 반복 출현하는 경우, 에이전트가 기존 행동 패턴과 현저히 다른 외부 API를 호출하는 경우, RAG 검색 결과에 시스템 지시어 패턴이 포함된 경우를 이상 행동 지표(IOA)로 정의할 수 있다.

발견된 AI 취약점은 조직 내부의 VDP(Vulnerability Disclosure Program)로 처리한다. CVSS 기반 위험도 평가에는 AI 특유의 공격 벡터인 자율성, 영향 범위, 탐지 회피를 반영한 수정 점수 체계를 적용한다.

위협 모델링과 보안 원칙의 연결

AI 보안 아키텍처는 소프트웨어 공학과 보안 영역이 만나는 지점에 있다. STRIDE 프레임워크를 LLM 시스템에 적용하면 스푸핑(Spoofing)은 에이전트 신원 위조, 변조(Tampering)는 프롬프트와 RAG 데이터 조작, 정보 유출(Information Disclosure)은 시스템 프롬프트와 학습 데이터 노출, 권한 상승(Elevation of Privilege)은 탈옥을 통한 시스템 명령 실행에 매핑된다.

운영 원칙은 최소 권한(Least Privilege), 심층 방어(Defense-in-Depth), 제로트러스트(Zero-Trust), 인간 개입(Human-in-the-Loop)으로 정리된다. 에이전트에는 필요한 최소 권한만 부여하고, 독립된 보안 계층을 적용하며, 내부 에이전트 간 통신도 항상 검증한다. 고위험 의사결정에는 인간 승인을 필수화한다.

관련 표준과 규정으로는 OWASP LLM Top 10(2025), ISO/IEC 42001 AI 관리체계, NIST AI RMF(Risk Management Framework), 국내 AI 안전법(2026년 시행 예정)이 있다.

자율 에이전트 확대로 넓어지는 방어 범위

2026년 하반기부터 AI 에이전트의 자율성이 높아지며 보안 위협의 복잡도도 함께 증가하고 있다. 다중 에이전트(Multi-Agent) 시스템에서는 에이전트 간 통신 채널이 새로운 공격 표면이 된다. 하나의 에이전트가 인젝션 공격에 노출되면 다른 에이전트로 악성 지시가 전파되는 에이전트 연쇄 감염(Agent Chain Compromise) 시나리오가 현실화되고 있다.

가트너는 2026년 주요 사이버 위협으로 AI 애플리케이션 침해와 프롬프트 인젝션을 명시했으며, 단일 보안 조치의 대응 한계를 경고한다. 향후 방어 전략은 AI 네이티브 런타임 보안 플랫폼, LLM 전용 웹 애플리케이션 방화벽(LLM WAF), 에이전트 행동 감사 자동화, 취약점 책임 공개 프로세스 성숙화로 이동할 전망이다.