Claude Mythos 유출과 Copilot 데이터 정책 전환, 2026년 3월에 벌어진 일

2026년 AI 에이전트는 단순한 챗봇을 넘어 기업의 핵심 업무 프로세스를 자율적으로 처리하는 존재가 됐다. 코드를 작성하고 데이터베이스를 조회하며 외부 API를 호출하고 이메일을 발송하는 AI 에이전트가 이미 수많은 조직에 배포돼 있다. 그러나 이 강력한 자율성이 개인정보·보안 관점에서 전례 없는 위험을 동반한다는 사실이 2026년 3월, 두 건의 사건을 통해 다시 한번 확인됐다.

준비된 기업은 29%뿐

Gartner는 2026년까지 기업 애플리케이션의 40%가 태스크 특화형 AI 에이전트를 내장할 것으로 전망했다 — 2025년 기준 5% 미만이었던 수치 대비 8배 이상 급증하는 셈이다. 하지만 에이전트 배포를 계획한 기업 중 해당 배포를 안전하게 보호할 준비가 됐다고 답한 곳은 29%에 불과했다.

이 간극이 문제의 본질이다. AI 에이전트는 기존 소프트웨어와 달리 자율적으로 판단하고 행동한다. 잘못된 판단 하나가 수천 건의 민감한 레코드를 몇 분 만에 유출할 수 있으며, 이는 인간이 실수를 저지르는 속도와 비교가 되지 않는다. AI 관련 공개 보안 사고는 2023년 대비 2024년에만 56.4% 증가했고, 2026년에는 그 추세가 더 가팔라지고 있다.

Claude Mythos, 접근 제어 없이 방치된 차세대 모델

2026년 3월 26~27일, Anthropic의 차세대 AI 모델 "Claude Mythos"의 존재가 보안 연구자들에 의해 발견됐다. Cambridge 대학의 Alexandre Pauwels와 LayerX Security의 수석 AI 보안 연구원 Roy Paz가 Anthropic의 공개 데이터 레이크에서 접근 보호가 설정되지 않은 채 검색 가능한 상태로 방치된 내부 초안 블로그 포스트를 발견한 것이다.

해당 문서에는 "Claude Mythos(내부 코드명 Capybara)"가 "Anthropic이 지금까지 개발한 가장 강력한 AI 모델"이라는 표현이 담겨 있었다. 이 모델이 사이버보안·소프트웨어 프로그래밍·학술적 추론 분야에서 Claude Opus 4.6을 뛰어넘는 성능을 보이며, 특히 소프트웨어 취약점을 식별하고 대규모 사이버공격을 가능하게 할 수 있다는 우려가 문서 내에 명시돼 있었다. 이 사건은 두 가지 교훈을 남겼다. AI 기업 자신도 데이터 관리의 기본 원칙(최소 권한, 접근 제어)을 지키지 못할 수 있다는 것, 그리고 강력한 AI 모델의 능력 정보가 잘못된 손에 들어가면 사이버보안 위협의 가이드맵이 될 수 있다는 것이다. Anthropic은 즉각 조기 접근 프로그램 참여자들과 함께 신중한 출시 절차를 진행 중이라고 공식 입장을 밝혔다.

Copilot, 기본값으로 코드를 학습 데이터에 넣다

2026년 3월 25일, GitHub은 개인정보 처리방침과 서비스 약관을 업데이트하며 Copilot Free·Pro·Pro+ 사용자의 상호작용 데이터를 기본값으로 AI 모델 훈련에 사용하겠다고 발표했다. 시행일은 2026년 4월 24일이며, 원하지 않는 사용자는 그 전에 직접 옵트아웃해야 한다.

수집 대상 데이터의 범위는 매우 광범위하다. 입력값, 출력값, 수락된 코드 스니펫, 커서 컨텍스트, 주석, 파일명, 리포지터리 구조, 탐색 패턴, thumbs up/down 피드백까지 모두 훈련 데이터셋에 포함될 수 있다. 비공개 리포지터리에서 Copilot을 쓰는 경우에도 해당 상호작용 데이터가 서비스 운영에 필요하다는 명목으로 처리되며, 옵트아웃하지 않으면 모델 훈련에도 활용된다. 이 데이터는 GitHub의 계열사인 Microsoft와 공유될 수 있다. Copilot Business·Enterprise 사용자는 이번 정책 변경의 적용을 받지 않지만, 전 세계 수백만 명의 개인·소규모 팀 개발자들은 사실상 묵시적 동의 방식으로 데이터 제공에 편입되게 됐다. GitHub 커뮤니티 토론 페이지에서는 압도적인 부정적 반응이 나오고 있다.

의미 계층에서 뚫리는 프롬프트 인젝션

AI 에이전트의 가장 위험한 취약점 중 하나는 프롬프트 인젝션이다. 공격자가 신뢰할 수 없는 텍스트·데이터를 AI 시스템에 주입해 원래 지시를 덮어쓰는 이 공격 방식은 기존 네트워크 보안 계층으로는 탐지가 사실상 불가능하다. 2024년 금융 서비스 업계에서는 공격자들이 조정(reconciliation) 에이전트를 속여 "패턴 X에 해당하는 모든 고객 레코드를 내보내라"는 명령을 실행하게 만든 사건이 있었다 — 패턴 X는 데이터베이스의 모든 레코드와 일치하도록 설계돼 있었다. 에이전트가 정당한 권한을 갖고 있었기 때문에 네트워크 계층은 이 요청을 승인했지만, 보안 실패는 의미 계층(semantic layer)에서 발생했다.

간접 프롬프트 인젝션(Indirect Prompt Injection)은 더 위험하다. 공격자가 일반적인 비즈니스 데이터 흐름 안에 악성 지시를 숨겨두면, AI 에이전트가 정상적인 작업을 수행하는 것처럼 보이면서 실제로는 데이터를 유출하거나 무단 작업을 실행하게 된다. OpenAI도 에이전트 안전 가이드라인에서 이 문제를 구체적으로 경고하고 있다.

권한을 너무 많이 준 대가

AI 에이전트가 필요 이상의 권한을 부여받을 때 발생하는 위험은 구조적이다. 자율적으로 업무를 수행하는 에이전트는 데이터베이스 읽기·쓰기, API 호출, 파일 시스템 접근 권한이 필요한데, 이 권한이 최소 권한 원칙에 따라 엄격히 제한되지 않으면 잘못된 판단 하나가 데이터 유출·무단 작업 실행·시스템 손상으로 이어질 수 있다. 규제 측면의 위험도 크다 — 에이전트가 부실한 프롬프트 검증으로 고객 개인정보(PII)를 유출하면, GDPR 기준으로 전 세계 연간 매출의 최대 4%에 해당하는 과징금이 부과될 수 있어 기술적 문제를 넘어 경영 리스크로 직결된다.

생성형 AI 사용자의 절반 가까이가 여전히 조직의 가시권 밖에서 개인 AI 애플리케이션을 사용하고 있으며, 소스 코드·규제 대상 데이터·지식재산이 이런 비관리 서비스로 흘러들어가는 것을 막을 방법이 없다. 기업에서 사용된 AI 프롬프트의 최대 12%가 민감한 데이터·개인정보·내부 정보를 포함하고 있었고, AI 위험 관련 데이터 정책 위반의 42%를 소스 코드가 차지한다. 개발자들이 디버깅·리팩터링을 위해 독점 코드를 AI 서비스에 입력하는 행위가 기업 지식재산의 가장 큰 유출 경로가 된 것이다. 평균적인 기업에서 매월 223건의 생성형 AI 관련 데이터 정책 위반이 발생하며, 상위 사분위 기업에서는 월 2,100건에 달한다.

⤢✕

배포 준비도 29%, 실제 확장 규모 9%

2026년 기업 현장을 수치로 보면 격차가 뚜렷하다. AI 에이전트를 실제 프로덕션에 배포한 기업 중 핵심 비즈니스 로직을 처리하는 수준으로 확장된 곳은 9%에 불과하고, IT 부서가 인지하지 못하는 섀도우 배포 형태로 운영 중인 곳이 23%다. 실질적인 에이전트 AI 리스크에 노출됐다고 보고한 기업은 56%에 이른다.

Meta는 2026년 3월 중순, 내부 AI 에이전트 시스템이 잘못된 안내를 제공해 권한이 없는 직원들에게 민감한 회사·사용자 데이터가 의도치 않게 노출되는 사고를 겪었다 — AI 에이전트의 판단 오류가 내부 데이터 유출로 이어질 수 있음을 보여주는 실제 사례다. 삼성전자도 2023년 엔지니어들이 ChatGPT에 소스 코드와 회의록을 입력해 내부 정보가 유출된 사건을 경험했고, 이후 내부 생성형 AI 서비스를 구축하고 외부 AI 서비스 사용을 제한하는 정책을 시행했지만 이미 전 세계 기업들이 유사한 위험에 노출된 뒤였다.

NIST와 EU AI Act가 그리는 규제 지형

AI 에이전트 보안은 이제 기술 문제를 넘어 규제 이슈다. NIST는 AI 에이전트 보안을 독립적인 카테고리로 취급하기 시작했고, 에이전트의 신원 확인·권한 부여에 대한 별도 의견 수렴 절차를 2026년 4월 2일까지 진행했다. 한국에서도 개인정보보호법과 정보통신망법의 틀 안에서 AI 에이전트가 처리하는 개인정보에 대한 법적 해석이 요구되고 있다 — AI 에이전트가 개인정보를 처리하는 과정에서 발생하는 사고는 전통적인 데이터 침해와 동일한 법적 책임을 유발하지만, 에이전트의 자율적 판단에 의한 사고에 대한 책임 귀속은 아직 명확히 정립되지 않았다. EU의 AI Act는 고위험 AI 시스템에 대한 투명성·책임성 요건을 규정하며, 특히 중요 인프라나 핵심 서비스에 쓰이는 AI 에이전트는 엄격한 감사 가능성(auditability) 요건을 충족해야 한다 — 에이전트가 내린 모든 결정의 로그를 유지하고 설명할 수 있어야 한다는 뜻이다.

조직·기술·개인, 층위별 대응

조직 차원에서는 어떤 데이터를 AI에 입력해도 되는지, 어떤 정보는 절대 공유하면 안 되는지에 대한 가이드라인을 전 직원에게 공유하고, 승인된 AI 서비스 목록(화이트리스트)을 관리하며 개인 AI 계정 사용을 원천 차단하는 기업 전용 AI 플랫폼 구축을 검토해야 한다. AI 거버넌스 위원회나 책임자(AI Officer)를 지정해 AI 에이전트 배포 전 보안 평가를 의무화하고, 에이전트가 접근할 수 있는 데이터·시스템의 범위를 문서화해 정기적으로 재검토하는 절차가 필요하다.

기술적으로는 최소 권한 원칙(Principle of Least Privilege)을 AI 에이전트에도 엄격히 적용해, 특정 작업 수행에 필요한 최소한의 권한만 부여하고 불필요한 시스템 접근을 차단해야 한다. 입력되는 프롬프트에서 민감 정보를 자동 탐지·경고하는 프롬프트 검증 레이어를 도입하고, 에이전트의 모든 행동·결정을 로깅해 이상 패턴 감지 시 즉시 알림이 발송되는 실시간 모니터링 체계를 갖춰야 한다. 공급망 보안도 간과할 수 없다 — 에이전트가 쓰는 외부 툴·플러그인·MCP 서버의 보안성을 검증하고, 신뢰할 수 없는 소스에서 제공되는 도구는 사용을 제한해야 한다.

개발자 개인 차원에서는 GitHub Copilot 사용자라면 즉시 설정 메뉴에서 데이터 수집 옵트아웃 여부를 확인해야 한다 — 2026년 4월 24일 이전에 옵트아웃하지 않으면 코드 인터랙션 데이터가 모델 훈련에 활용된다. 비공개 리포지터리의 코드, 특히 보안 관련 로직이나 API 키·비즈니스 핵심 알고리즘을 AI 서비스에 직접 입력하는 행위는 피해야 하며, 필요하다면 민감한 부분을 익명화·추상화한 형태로 질문하는 습관을 들여야 한다. AI 에이전트가 제안하는 코드나 실행 계획을 무조건 수락하지 말고, 특히 외부 API 호출이나 데이터베이스 쿼리를 포함하는 경우 반드시 검토하는 습관을 유지해야 한다.

Anthropic의 Claude Mythos 유출은 최고 수준의 AI 기업조차 기본적인 데이터 접근 제어를 실수할 수 있음을 보여줬고, GitHub Copilot의 정책 변경은 수백만 개발자의 코드가 AI 훈련 데이터로 활용될 수 있다는 현실을 직면하게 했다. AI 에이전트는 인간의 속도를 훨씬 뛰어넘는 속도로 결정을 내리고 행동한다. 이 자율성이 AI 에이전트의 강점이지만, 동시에 보안 사고 발생 시 피해 규모를 기하급수적으로 키울 수 있는 요인이기도 하다. 최소 권한 원칙, 프롬프트 검증, 지속적인 모니터링, 명확한 거버넌스 정책이 갖춰지지 않은 AI 에이전트 배포는 조직 전체의 보안을 위험에 빠뜨릴 수 있다.