OSWorld 2.0으로 장기 컴퓨터 사용 에이전트 평가하기
OSWorld 2.0의 크로스플랫폼 실행 환경, 장기 멀티앱 태스크, 자동 채점 체계를 바탕으로 컴퓨터 사용 에이전트의 업무 수행 능력을 평가하는 방법을 정리한다.
2026-08-14 · 최초 발행 2026-08-02
화면 조작 능력만으로는 업무 자동화를 판단하기 어렵다
2026년 현재 컴퓨터 사용 에이전트(CUA, Computer Use Agent)의 실질적인 성능을 비교할 표준 벤치마크 부족은 AI 에이전트 도입의 장벽이다. OSWorld 2.0은 이 문제를 전체 운영체제 환경의 장기 업무 흐름으로 다룬다. 데스크톱 앱 조작, 파일 작업, 웹 브라우징, 멀티앱 연계를 포함한 369개 태스크를 통해 단순 클릭 정확도가 아니라 실제 업무 자동화 역량을 평가한다.
이 벤치마크는 Ubuntu 22.04와 Windows 11을 대상으로 동일한 태스크를 실행할 수 있는 가상화 계층, 실제 직장인의 업무 시나리오를 재현한 데이터셋, 완료 여부를 판단하는 자동 채점 시스템, 여러 CUA 구현체를 같은 방식으로 연결하는 인터페이스 레이어로 구성된다.
OSWorld 1.0이 단일 앱에서 10단계 이내에 끝나는 태스크 중심이었다면, 2.0은 여러 앱을 오가며 30단계 이상의 연속 조작을 요구하는 장기 태스크를 대폭 포함한다. 이메일 첨부 파일을 스프레드시트에 정리하고, 그 데이터를 참조해 프레젠테이션을 만든 뒤 클라우드 스토리지에 업로드하는 흐름도 하나의 태스크로 본다.
실행은 스크린샷 기반 관찰(Observation)과 액션 생성(Action Generation)을 반복하는 루프로 이뤄진다. 에이전트는 현재 화면 이미지를 보고 마우스 클릭, 키보드 입력, 스크롤 같은 다음 조작을 결정한다. DOM 트리를 직접 파싱하는 웹 에이전트와 달리, 사람이 화면을 보며 컴퓨터를 다루는 조건을 그대로 따른다.
중간 결과까지 검증하는 멀티앱 태스크
멀티앱 태스크에서는 중간 오류가 누적돼 최종 결과에 복합적으로 영향을 준다. 최종 상태만 확인해서는 어느 단계에서 작업이 틀어졌는지, 결과가 우연히 맞아떨어졌는지를 제대로 구분하기 어렵다.
OSWorld 2.0은 주요 체크포인트마다 VM 스냅샷을 남기고, 채점 시스템이 각 상태를 정답 스냅샷과 대조하는 단계별 중간 상태 스냅샷 방식을 사용한다. 최종 점수는 완료된 체크포인트 수와 최종 결과의 정확도를 가중 평균해 산출한다.
태스크는 앱 연계 수, 플랫폼, 소요 단계로 나뉜다.
| 분류 기준 | 세부 구분 | 태스크 수 |
|---|---|---|
| 앱 연계 수 | 단일 앱 | 89개 |
| 앱 연계 수 | 2개 앱 연계 | 156개 |
| 앱 연계 수 | 3개 이상 연계 | 124개 |
| 플랫폼 | Ubuntu 전용 | 147개 |
| 플랫폼 | Windows 전용 | 112개 |
| 플랫폼 | 크로스플랫폼 | 110개 |
| 소요 단계 | 단기 (10단계 이하) | 83개 |
| 소요 단계 | 중기 (11-30단계) | 198개 |
| 소요 단계 | 장기 (31단계 이상) | 88개 |
업무 범위는 오피스 생산성, 파일 관리, 웹 브라우징, 개발 환경, 미디어 처리의 5개 도메인을 포괄한다. 문서 작성·스프레드시트·프레젠테이션부터 압축·변환·정리, 정보 검색·양식 작성·데이터 수집, 코드 편집·터미널 조작·빌드, 이미지 편집·동영상 변환까지 포함한다.
VM으로 고정한 실행 조건과 액션 인터페이스
기업 환경에는 Ubuntu 서버와 Windows 데스크톱이 함께 존재하는 경우가 많다. 한 플랫폼에서만 동작하는 CUA는 적용 범위가 제한된다. OSWorld 2.0은 QEMU 기반 가상화 위에서 플랫폼별 초기 상태를 정의한 VM 이미지를 배포한다.
연구자가 태스크를 추가하거나 수정할 수 있도록 환경 설정 스크립트와 태스크 명세 포맷(JSON)도 오픈소스로 공개했다. 플랫폼과 관계없이 에이전트 인터페이스는 다음 다섯 가지 기본 액션으로 통일된다.
screenshot(), click(x, y), type(text), key(key_combo), scroll(direction, amount)
이는 사람이 마우스와 키보드만으로 컴퓨터를 조작하는 것과 같은 제약이다.
각 태스크는 시작 전에 정의된 초기 VM 스냅샷으로 복원된다. 네트워크는 화이트리스트된 엔드포인트만 허용하는 샌드박스 모드로 제한한다. 같은 태스크를 다른 시점에 다시 실행해도 비교 가능한 결과를 유지하기 위한 설계다.
결과물의 의미를 판정하는 자동 채점
멀티앱 작업의 완료 여부는 파일 해시만 비교해서 판정하기 어렵다. 생성된 문서나 설정이 요구 사항을 충족하는지, 결과가 의미적으로 동등한지를 확인하는 채점 로직이 필요하다.
OSWorld 2.0은 태스크 성격에 따라 검증 방식을 달리 적용한다.
- 파일 생성·이동·삭제는 파일 시스템 상태를 직접 비교한다.
- 문서와 스프레드시트 생성은 특정 셀 값, 텍스트 포함 여부, 서식 조건을 검사한다.
- 애플리케이션 설정 변경은 화면 스크린샷을 OCR 처리하거나 접근성 트리(Accessibility Tree)를 파싱해 판정한다.
- 이메일 초안 작성이나 프레젠테이션 내용 적절성처럼 주관적 판단이 필요한 작업에는 GPT-4o 또는 Claude를 채점 보조 모델로 활용한다.
채점 체계 자체의 정확도는 인간 평가자와의 일치율로 확인했으며, 태스크 유형별로 87-96%의 일치율을 달성했다고 보고됐다.
벤치마크 점수를 내부 도입 평가로 연결하는 법
OSWorld 2.0의 369개 태스크 가운데 자사 업무와 가까운 유형부터 골라야 한다. 예를 들어 HR 팀의 주된 일이 스프레드시트 정리와 이메일 발송이라면, 해당 유형에서 높은 성능을 보이는 CUA를 우선 검토할 수 있다.
Claude Computer Use, OpenAI Operator, Gemini CUA 같은 후보군은 OSWorld 2.0 점수로 먼저 좁힐 수 있다. 다만 공개 벤치마크 점수가 자사 환경의 우수한 성능을 보장하지는 않는다. 벤치마크 태스크와 실제 업무 사이에는 분포 차이(Distribution Shift)가 존재한다.
후보를 선별한 뒤에는 자사 업무 환경의 복제본(VM 이미지)에서 실제 태스크를 수행하게 하는 파일럿이 필요하다. 이때 OSWorld 2.0의 태스크 명세 포맷과 채점 스크립트를 자체 환경에 맞게 수정하면, 이후의 지속적인 성능 모니터링에도 활용할 수 있다.
운영 단계에서는 단기 성능뿐 아니라 장기 태스크 완료율과 오류 패턴을 추적해야 한다. SR(Success Rate), SR@K(K번의 재시도 내 성공률), ASR(Average Step Rate)을 참고해 자체 KPI와 대시보드를 구성할 수 있다.
장기 실행에서 드러나는 실패 패턴
평가 과정에서 확인된 CUA의 실패는 시각적 혼동, 컨텍스트 단절, 오류 복구 실패, 반복 루프로 나뉜다.
시각적 혼동(Visual Confusion)은 유사한 UI 요소를 잘못 클릭하거나 작은 아이콘과 텍스트를 구분하지 못하는 문제다. 고해상도 스크린샷 제공과 UI 요소 좌표 정규화로 일부 완화할 수 있다.
컨텍스트 단절(Context Loss)은 긴 작업에서 초기 지시를 잊거나 중간 결과를 다음 단계에 올바르게 반영하지 못하는 경우다. 외부 메모리(External Memory) 모듈 통합으로 개선 사례가 보고됐다.
오류 복구 실패(Recovery Failure)는 예상하지 못한 팝업 또는 오류 메시지 앞에서 실행이 멈추는 패턴이다. 오류 처리 전용 서브루틴이 필요하다. 반복 루프(Repetitive Loop)는 같은 액션을 되풀이하다 타임아웃으로 끝나는 경우이며, 루프 감지와 대안 전략 전환 로직이 요구된다.
ScreenSpot과 WebArena가 측정하는 범위
OSWorld 2.0, ScreenSpot, WebArena는 모두 CUA 평가를 다루지만, 관찰하는 능력과 실행 환경이 다르다.
| 항목 | OSWorld 2.0 | ScreenSpot | WebArena |
|---|---|---|---|
| 평가 환경 | 전체 OS (Ubuntu/Windows) | 정적 스크린샷 | 웹 브라우저 전용 |
| 태스크 유형 | 장기 멀티앱 연계 | 단일 요소 클릭 정확도 | 웹사이트 내 태스크 |
| 태스크 수 | 369개 | 1,272개 | 812개 |
| 동적 환경 | 완전 동적 | 정적 | 준동적 |
| 크로스플랫폼 | Ubuntu + Windows | OS 무관 | 웹 전용 |
| 평가 소요 시간 | 수 시간 | 수 분 | 수십 분 |
| 실제 업무 유사도 | 매우 높음 | 낮음 | 중간 |
| 오픈소스 여부 | 오픈소스 | 오픈소스 | 오픈소스 |
ScreenSpot은 설명에 맞는 UI 요소를 정확히 클릭하는지를 평가하므로 시각 인지 능력 측정에 적합하다. 실제 업무의 전체 흐름을 평가하기에는 한계가 있다. WebArena는 웹 기반 태스크를 상세히 평가하지만, 데스크톱 애플리케이션 조작은 범위에 포함하지 않는다.
현재 CUA가 장기 작업에서 보이는 성능 격차
OSWorld 2.0 기준으로 주요 CUA 구현체를 비교하면, 현재 어느 구현체도 인간 수준인 약 72% SR에 근접하지 못한다.
| CUA | 단일앱 SR | 멀티앱 SR | 장기태스크 SR | 특징 |
|---|---|---|---|---|
| Claude Computer Use | 약 38% | 약 22% | 약 14% | 자연어 지시 이해 우수 |
| OpenAI Operator | 약 41% | 약 19% | 약 11% | 웹 태스크 특화 강점 |
| Gemini CUA | 약 35% | 약 21% | 약 12% | 멀티모달 인식 안정적 |
| 인간 평균 | 약 89% | 약 78% | 약 72% | 기준선 |
(주: 위 수치는 공개 발표 기준 추정치이며, 모델 버전 및 평가 시점에 따라 변동될 수 있음)
모든 CUA에서 멀티앱 연계와 장기 태스크로 갈수록 성능이 급격히 하락하는 현상이 관찰된다. 장시간 컨텍스트 유지와 오류 복구가 현재 CUA의 핵심 병목이라는 뜻이다.
OSWorld 2.0은 단기 정확도에서 실제 업무 완수 능력으로 CUA 평가의 초점을 옮긴다. 369개 태스크, 크로스플랫폼 지원, 자동 채점 시스템은 연구와 도입 판단에 기준선을 제공한다. 다만 현재 최고 수준의 CUA도 인간 성능의 절반 수준에 머물러 있으므로, 공개 벤치마크를 1차 필터로 쓰되 자사 업무 특성에 맞춘 평가를 함께 운영해야 한다.
Sources
- OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (arXiv) — https://arxiv.org/abs/2404.07972
- OSWorld GitHub Repository — https://github.com/xlang-ai/OSWorld
- ScreenSpot: GUI Grounding Benchmark — https://arxiv.org/abs/2401.13065
- WebArena: A Realistic Web Environment for Building Autonomous Agents — https://arxiv.org/abs/2307.13854
- Anthropic Claude Computer Use Documentation — https://docs.anthropic.com/en/docs/build-with-claude/computer-use
- OpenAI Operator Agent System Card — https://openai.com/index/operator-system-card/
- GUI Agents Survey: From Foundation to Practice — https://arxiv.org/abs/2501.04575
- Long-Horizon Computer Task Automation via Structured Execution Plans — https://arxiv.org/abs/2412.03249