Claude Computer Use, 화면을 보고 마우스를 움직이는 에이전트가 출시됐다

Anthropic은 2026년 3월 23일, Claude AI가 실제 사람처럼 마우스를 움직이고 키보드를 입력하고 브라우저를 조작하는 Computer Use 기능을 Claude Cowork와 Claude Code에 공식 적용했다. 텍스트를 생성하는 LLM의 한계를 넘어, AI 에이전트가 운영체제 수준에서 사용자 대신 업무를 처리하는 패러다임의 시작으로 평가받는 발표다.

스크린샷을 보고 마우스를 움직인다

Claude Computer Use는 Claude가 스크린샷을 인식하고 이미지를 분석한 뒤, 마우스 클릭·스크롤·키보드 입력이라는 저수준 시스템 이벤트를 생성해 실제 GUI 애플리케이션을 조작하는 기능이다. 단독으로 동작하지 않고 Anthropic의 데스크톱 앱 Claude Cowork, 개발자 도구 Claude Code와 통합돼 제공된다.

기존 RPA(Robotic Process Automation) 솔루션과의 핵심 차이는 사전 정의된 스크립트 없이 동적으로 판단한다는 점이다. 사용자 인터페이스가 바뀌거나 예상치 못한 팝업이 등장해도 Claude는 시각적 맥락을 이해하고 대응책을 스스로 찾아, 전통적 자동화 도구가 해결하지 못했던 "깨지기 쉬운 자동화(brittle automation)" 문제를 정면으로 겨냥한다.

Cowork 리서치 프리뷰에서 정식 통합까지

Anthropic은 2026년 1월 Claude Cowork 리서치 프리뷰를 출시하며 AI 에이전트의 일상 업무 자동화 경쟁에 참전했다. Cowork는 Claude Desktop 앱 내부에서 동작하는 에이전트 모드로, 파일 읽기·편집·생성·정리 등 로컬 컴퓨터 환경의 복합 지식 작업을 처리하도록 설계됐다. 2026년 2월에는 Windows 버전이 출시돼 플랫폼 지원이 확대됐고, 같은 달 Claude Opus 4.6과 Sonnet 4.6이 릴리즈되며 에이전트 성능이 향상됐다. 그리고 3월 23일, Computer Use가 Cowork와 Claude Code에 정식 통합되며 Claude는 "디지털 직원(digital coworker)" 수준의 PC 제어 능력을 갖췄다.

인식·추론·실행으로 나뉜 기술 스택

⤢✕

인식 레이어에서는 주기적으로 스크린샷을 캡처하고 멀티모달 비전 모델로 현재 화면 상태를 분석해, 어떤 앱이 열려 있는지·입력 필드 위치·버튼 상태를 이미지 좌표 수준에서 파악한다. 추론 레이어에서는 화면 인식 결과를 바탕으로 LLM 추론 엔진이 다음 액션을 결정해, 단순 클릭부터 다단계 작업 흐름까지 목표 달성을 위한 행동 시퀀스를 계획한다. 실행 레이어에서는 결정된 액션을 실제 시스템 이벤트로 변환하는데, macOS의 Accessibility API를 활용하거나 마우스·키보드 이벤트를 직접 시뮬레이션한다.

커넥터가 먼저, 화면 제어는 최후의 수단

Anthropic이 설계한 중요한 특징은 제어 방식의 우선순위 체계다. 첫째는 커넥터 우선(Connectors First)으로, Slack·Google Calendar·Google Drive·Gmail 등 공식 API 통합이 설정된 서비스는 커넥터를 먼저 쓴다 — 화면 스크래핑보다 훨씬 안정적이고 데이터 정합성도 높다. 둘째는 브라우저 제어(Browser Second)로, 커넥터가 없는 웹 서비스라면 브라우저를 직접 제어해 DOM 구조를 활용하는데 순수 픽셀 기반 제어보다 정확도가 높다. 셋째는 전체 화면 제어(Full Screen Control Last)로, 위 두 방법이 모두 불가능할 때만 마우스·키보드를 직접 제어한다 — 가장 범용적이지만 오류 가능성도 가장 높다. 이 우선순위 설계는 RPA 업계에서 수십 년간 축적된 교훈을 반영한 엔지니어링 결정이다.

스마트폰에서 PC로 태스크를 넘기는 Dispatch

Computer Use와 함께 주목할 기능이 Dispatch다. Claude Cowork에 내장된 크로스 디바이스 태스크 위임 시스템으로, 사용자가 스마트폰에서 지시를 내리면 데스크톱의 Claude가 그 작업을 처리한다. 출근길 지하철에서 "오늘 오전에 들어온 계약서 PDF를 열어서 주요 조항을 정리하고 팀 슬랙 채널에 공유해줘"라고 스마트폰으로 지시하면, 사무실 PC의 Claude Cowork가 해당 작업을 순차 수행하는 방식이다. Dispatch는 데스크톱·모바일 앱을 단일 세션으로 통합해 반복적인 아침 루틴 자동화나 Claude Code 세션 원격 시작 같은 워크플로를 지원하며, "어시스턴트 AI"에서 "자율 에이전트"로의 전환을 보여주는 UX 설계다.

권한 게이팅부터 VM 격리까지

AI가 PC를 직접 제어한다는 것은 막대한 보안 리스크를 수반하는 만큼, Anthropic은 다층적 보안 장치를 구현했다. 권한 게이팅(Permission Gating)은 새로운 애플리케이션에 접근하기 전 반드시 사용자 승인을 요청하고, 사용자가 허용한 폴더·커넥터 범위 내에서만 동작한다. 실시간 모델 활성화 스캔은 해석 가능성(interpretability) 연구 성과를 실용화한 것으로, 모델 내부의 활성화 패턴을 실시간 스캔해 프롬프트 인젝션 시도를 탐지한다 — 규칙 기반 필터와 달리 의미론적 수준에서 악의적 지시를 감지한다. VM 격리(VM Isolation)는 Cowork의 Computer Use를 가상 머신 환경 내에서 실행해 호스트 운영체제와 격리하고, 투명성·중단 가능성 측면에서는 사용자가 Claude의 모든 실행 단계를 실시간으로 확인하고 언제든 중단할 수 있다.

그럼에도 뚫린 사례들

앤트로픽의 안전 장치에도 불구하고 보안 연구자들은 이미 실질적 위협을 시연했다. Cowork 출시 이틀 만에 PromptArmor의 보안 연구팀은 Word 문서 내 흰색 1포인트 텍스트(사람 눈에 보이지 않는 숨겨진 지시)로 Claude를 조작해, 부분적인 주민번호가 포함된 재무 문서 등 민감한 파일을 공격자의 앤트로픽 계정으로 업로드시키는 공격을 시연했다. 화면 제어 에이전트는 이메일·웹 페이지·문서·캘린더 이벤트 등 Claude가 처리하는 모든 콘텐츠가 잠재적 공격 벡터가 되며, 악의적인 웹페이지를 방문하거나 피싱 이메일을 읽는 것만으로도 에이전트가 조작될 수 있다. Cymulate의 보안 연구팀은 Claude를 자신의 안전 지침에 역행하도록 유도하는 InversePrompt 취약점(CVE-2025-54794, CVE-2025-54795)도 발견했다. Anthropic은 공식적으로 "현재 단계에서 민감한 데이터와 함께 이 기능을 사용하지 말 것"을 권고하고 있다.

macOS 전용, 프로 요금제부터

구분	내용
출시일	2026년 3월 23일 (리서치 프리뷰)
지원 OS	macOS (Windows 지원 예정)
제공 플랫폼	Claude Cowork, Claude Code
접근 가능 요금제	Claude Pro ($20/월), Claude Max ($100~$200/월)
무료 플랜	미지원
상태	리서치 프리뷰 (프로덕션 미도달)

macOS 전용 출시가 먼저 이뤄진 것은 macOS의 Accessibility API가 타 운영체제 대비 에이전트 제어에 더 적합한 구조를 제공하기 때문으로 분석된다. Cowork 자체는 이미 2026년 2월 Windows를 지원하므로 Computer Use의 Windows 확장도 가까운 시일 내로 예상된다.

OpenAI Operator, Google Project Mariner와 나란히

Claude Computer Use는 이 분야에서 처음 등장한 것이 아니다. OpenAI의 Operator, Google의 Project Mariner, 다양한 오픈소스 프레임워크들이 이미 유사한 방향을 탐색하고 있다. Claude가 차별화를 시도하는 지점은 세 가지다. 업계 전체에서도 보기 드문 기술적 접근인 해석 가능성 기반 보안 탐지, 안전하고 안정적인 방법을 먼저 쓰고 화면 직접 제어는 최후의 수단으로 남기는 우선순위 기반 제어 체계, 모바일과 데스크톱을 단일 에이전트 세션으로 연결하는 Dispatch를 통한 크로스 디바이스 워크플로다. 반면 현재 macOS 한정이라는 플랫폼 제약과 프리뷰 단계의 성숙도는 엔터프라이즈 도입을 고려하는 기업들에게 여전히 관망 이유를 제공한다.

데이터 입력부터 UI 설계 철학까지

단기적으로 가장 빠른 가치 창출 영역은 반복적인 데이터 입력과 보고서 작성이다. ERP·그룹웨어·레거시 시스템 등 API가 없는 기업 내부 시스템을 상대로 RPA를 대체하거나 보완할 수 있으며, 기존 RPA와 달리 유지보수 부담이 낮고 UI 변경에 탄력적으로 대응할 수 있다는 점이 TCO(Total Cost of Ownership) 절감으로 이어질 것으로 전망된다.

중기적으로는 지식 근로자의 업무 패턴을 바꿀 것으로 보인다. 이메일 처리, 회의록 정리, 계약서 검토, 시장 조사 등 "컴퓨터 앞에 앉아서 처리하는 업무"의 상당 부분이 에이전트에게 위임될 수 있다는 전망이다. 장기적으로는 소프트웨어 인터페이스 설계 철학에서 가장 큰 변화가 올 것으로 예상되는데, 인간이 아닌 AI 에이전트가 주 사용자가 된다면 "에이전트 친화적 API"와 "인간 친화적 GUI"가 공존하는 소프트웨어 아키텍처가 표준이 될 수 있다는 관측이다. 보안 관점에서는 단기적으로 프롬프트 인젝션 방어 기술과 에이전트 행동 감사(audit) 체계가 급격히 발전할 것으로 보이며, 기업 환경에서 Computer Use를 도입하려면 현재보다 훨씬 정교한 권한 관리와 행동 로깅 메커니즘이 전제 조건이 될 것으로 예상된다.