understudy: 사용자 시연으로 학습하는 로컬 데스크톱 AI 에이전트

대역 배우가 주연을 지켜보듯

자동화 도구는 오랫동안 "규칙을 명시적으로 프로그래밍해야 작동한다"는 전제 위에 서 있었다. 하지만 understudy는 이 전제를 정면으로 뒤집는다. 사용자가 한 번 시연하면 에이전트가 의도를 추출하고, 스킬로 굳혀 이후 반복 작업을 스스로 처리한다. 이는 단순한 매크로 녹화가 아니라, 극단(劇團)에서 대역 배우(understudy)가 주연을 지켜보며 역할을 익혀 무대에 서는 방식을 컴퓨터 자동화에 이식한 것이다.

understudy는 오픈소스 로컬 데스크톱 에이전트 런타임이다. GUI 애플리케이션, 웹 브라우저, 셸, 파일 시스템, 메시징 도구를 단일 세션 안에서 조작할 수 있으며, 모든 처리는 사용자 로컬 환경에서 이루어진다. 클라우드 서버에 작업 데이터를 전송하지 않고, 사용자의 PC가 곧 에이전트의 실행 환경이 된다.

프로젝트 이름 "understudy"는 연극에서 주연 배우의 모든 동작과 대사를 익혀 언제든 대역을 맡을 수 있는 보조 배우를 뜻한다. 이 메타포는 에이전트의 학습 방식을 정확하게 설명한다. 에이전트는 사용자를 관찰하고, 그 의도를 학습하며, 결국 사용자 대신 업무를 수행한다.

GitHub 저장소(understudy-ai/understudy)는 2026년 초 Hacker News의 "Show HN" 섹션에 소개되며 커뮤니티의 주목을 받았다. 핵심 슬로건은 단 두 문장이다.

"An understudy watches. Then performs."

시연 한 번으로 의도를 추출하는 법

understudy의 교육 메커니즘은 /teach start 명령으로 시작된다. 이 명령을 실행하면 이중 트랙 녹화(dual-track recording)가 활성화되고, 사용자는 평소처럼 마우스와 키보드로 작업을 수행하면 된다. 특별한 준비나 스크립트 작성이 필요 없다.

녹화가 완료되면 AI가 영상과 시맨틱 이벤트를 분석하여 의도(Intent, 사용자가 왜 이 작업을 하는가), 파라미터(Parameters, 어떤 변수가 작업에 영향을 미치는가), 단계(Steps, 작업을 구성하는 구체적인 행동 순서), 성공 기준(Success Criteria, 작업 완료를 어떻게 판단하는가)을 추출한다.

기존 매크로 도구가 "좌표 (512, 308)을 클릭한다"는 위치 정보를 저장하는 것과 달리, understudy는 "결제 완료 버튼을 클릭한다"는 의미 수준의 정보를 추출한다. 화면 레이아웃이 바뀌거나 버튼 위치가 이동해도 에이전트는 의도를 기반으로 올바른 요소를 찾아낸다.

AI 분석 후에는 멀티턴 대화를 통해 스킬 초안(teach draft)을 사용자와 함께 검증하고 정제한다. 이 과정에서 모호한 파라미터를 명확히 하거나, 예외 상황에 대한 처리 방식을 추가할 수 있다.

신입사원처럼 단계를 밟아 자란다

understudy의 설계 철학은 신입 사원이 조직에 적응하는 과정을 모델로 삼는다. 다섯 개의 계층(Layer)이 점진적으로 쌓이는 구조다.

⤢✕

Layer 1(운영)은 사람이 할 수 있는 모든 GUI 조작을 에이전트가 수행할 수 있는 기반 능력이다. 화면을 보고, 클릭하고, 타이핑하고, 결과를 검증한다. 입사 첫날 기본 업무 환경에 접속하는 단계에 해당한다.

Layer 2(학습)는 사용자가 작업을 한 번 시연하면 에이전트가 의도를 추출하고 유효성을 검사하여 재사용 가능한 스킬로 저장하는 단계다. 신입 사원이 선임에게 업무를 배우는 첫 주와 같다.

Layer 3(기억)은 명시적 교육 없이 일상 사용만으로 경험을 축적하는 단계다. 반복되는 멀티턴 작업이 배경에서 자동으로 압축되어 워크스페이스 스킬로 발전한다. 입사 한 달째 업무 흐름을 체득하는 시기다.

Layer 4(최적화)는 축적된 스킬에서 더 빠른 실행 경로를 자동으로 발견하고 업그레이드하는 단계다. 3개월 차 직원이 불필요한 단계를 생략하는 나름의 노하우를 개발하는 것과 같다.

Layer 5(선제 행동)는 패턴이 충분히 반복되면 에이전트가 별도 지시 없이 워크스페이스 내에서 스스로 감지하고 처리하는 단계다. 6개월 이상 근무한 직원이 상사의 지시 없이도 상황을 파악하고 선제적으로 대응하는 단계다.

화면과 이벤트, 동시에 기록한다

/teach start 명령 실행 시 understudy는 두 가지 데이터 스트림을 동시에 기록한다. 화면 비디오 트랙은 작업 전 과정을 픽셀 수준으로 캡처한다. 이는 AI가 시각적 맥락을 이해하는 데 사용된다. 시맨틱 이벤트 트랙은 마우스 클릭, 키보드 입력, 포커스 변경, 앱 전환 등 상위 수준의 이벤트를 구조화된 데이터로 기록한다. 단순 좌표가 아니라 "어떤 UI 요소에 어떤 행동을 했는가"를 포착한다.

두 트랙을 결합하여 AI는 단순 재현이 아닌 의미론적 이해를 달성한다. 이것이 understudy가 화면 해상도가 바뀌거나 UI 테마가 변경되어도 동작할 수 있는 기술적 근거다.

학습된 스킬은 SKILL.md 파일 형태로 저장된다. 이 파일은 세 가지 계층으로 구성된다. 의도 절차(Intent Procedure)는 자연어로 기술된 작업 단계로, 인간이 읽고 이해할 수 있으며 에이전트가 고수준 계획을 수립할 때 사용하는 기본 경로다. 경로 옵션(Route Options)은 선호 경로(preferred)와 대체 경로(fallback)를 포함하며, 기본 경로가 실패했을 때 자동으로 대체 경로로 전환해 작업 연속성을 보장한다. GUI 재현 힌트(GUI Replay Hints)는 최후 수단으로 사용되는 시각적 참조 정보로, 매번 현재 스크린샷을 기준으로 재보정(re-grounding)되기 때문에 고정 좌표의 취약성 문제를 해소한다. 이 3계층 구조 덕분에 SKILL.md는 LLM이 파싱하기도 쉽고, 인간이 직접 편집하거나 버전 관리 시스템으로 추적하기도 용이하다.

Layer 3의 핵심은 별도 교육 없이 일상 사용 데이터에서 패턴을 자동 발견하는 것이다. 동일 워크스페이스에서 반복되는 멀티턴 작업을 지속적으로 관찰하고, 성공적인 실행 경로를 백그라운드에서 압축해 패턴 후보로 등록하며, 패턴이 임계 횟수 이상 반복되면 자동으로 워크스페이스 스킬로 발행한다. 발행된 스킬은 사용자에게 확인 요청 후 정식 스킬 저장소에 등록된다. 이 메커니즘은 명시적 교육의 부담을 최소화하면서도 에이전트의 역량이 자연스럽게 성장하도록 설계되어 있다.

RPA, 매크로, LLM 에이전트와 나란히 놓으면

understudy를 기존 도구들과 비교하면 패러다임의 차이가 명확하게 드러난다.

구분	전통적 RPA	매크로 녹화	LLM 기반 에이전트	understudy
설정 방식	규칙 명시적 프로그래밍	좌표/클릭 녹화	자연어 명령	시연 한 번
화면 변경 대응	취약 (재프로그래밍 필요)	취약 (재녹화 필요)	비교적 강함	강함 (의미 기반)
학습 곡선	높음 (프로그래밍 필요)	낮음	낮음	매우 낮음
암묵적 학습	없음	없음	없음	있음
로컬 실행	가능	가능	대부분 클라우드 의존	완전 로컬
스킬 누적	없음	없음	제한적	핵심 기능

전통적인 RPA(Robotic Process Automation) 도구들은 업무 분석가가 프로세스를 명시적으로 설계해야 한다. 이는 초기 구축 비용이 높고, UI가 조금만 바뀌어도 유지보수가 필요하다. 매크로 녹화 도구는 간편하지만 좌표 기반이라 UI 변경에 취약하다.

LLM 기반 에이전트(Claude Computer Use, GPT-4o with computer control 등)는 자연어 명령을 이해하는 장점이 있지만, 매 실행마다 LLM 추론을 거치므로 속도와 비용 문제가 있으며 클라우드 의존성이 높다. understudy는 한 번 학습된 스킬을 재사용하므로 반복 실행 시 추론 비용이 발생하지 않는다.

주간 보고서부터 레거시 시스템까지

understudy가 빛을 발하는 구체적인 업무 상황을 살펴보면 다음과 같다. 매주 월요일 아침 특정 데이터를 대시보드에서 복사하여 스프레드시트에 붙여넣고 슬랙 채널에 요약을 보내는 주간 보고서 작성 작업을 한 번 시연하면 에이전트가 이후 매주 자동으로 처리한다. 여러 앱을 오가며 정보를 복사하고 변환하는 데이터 마이그레이션 반복 작업을 한 번 보여주면 스킬로 등록되어 수백 건의 동일 작업을 자동화한다. API가 없는 구형 데스크톱 앱을 사용하는 레거시 시스템 인터페이스 업무에서 understudy가 GUI를 직접 조작해 데이터를 추출하거나 입력한다. 여러 시스템을 거쳐야 하는 복잡한 다단계 승인 워크플로를 일련의 스킬로 구성해 순차적으로 자동 실행한다. 특정 패턴의 이메일에 대한 응답 방식을 시연하면 에이전트가 유사한 이메일을 인식해 초안을 자동 작성하거나 발송하는 이메일 분류 및 응답도 가능하다.

로컬을 고집하는 이유

understudy가 로컬 환경을 고집하는 것은 단순한 기술적 선택이 아니다. 개인정보 보호 측면에서 업무 화면 녹화 데이터, 키보드 입력, 파일 접근 이력이 외부 서버로 전송되지 않아 법적 규제가 엄격한 금융, 의료, 법무 분야에서도 사용이 가능하다. 인터넷 연결이 불필요해 오프라인 환경이나 내부망(Intranet)에서도 완전히 동작하며, 망분리 환경의 기업 내부 시스템 자동화에 적합하다. 클라우드 API 호출 없이 로컬에서 스킬을 실행하므로 반응 속도가 빠르고, 학습된 스킬의 반복 실행은 LLM 추론 없이 직접 수행되어 비용도 발생하지 않는다는 지연 시간 제거 효과도 있다. 모든 스킬 파일(SKILL.md)이 로컬 파일 시스템에 저장되어 사용자가 완전히 소유하는 데이터 소유권도 확보된다. Git으로 버전 관리하거나 팀원과 공유하는 것도 가능하다.

GUI 없이 Python으로도 제어할 수 있다

understudy는 GUI 없이 Python SDK를 통해 프로그래밍 방식으로 제어할 수도 있다. 이는 understudy를 더 큰 자동화 파이프라인의 한 구성 요소로 통합할 수 있음을 의미한다. 예를 들어, 데이터 파이프라인 스크립트가 특정 조건을 감지하면 understudy 스킬을 호출하여 레거시 시스템에서 데이터를 추출하고, 결과를 다시 파이프라인으로 반환하는 방식의 구성이 가능하다. CI/CD 파이프라인에서 GUI 기반 테스트 자동화에도 활용할 수 있다.

스킬은 SKILL.md 파일로 관리되므로 Git 저장소에 체크인하여 팀 전체가 공유하고, 변경 이력을 추적하며, 코드 리뷰 프로세스를 적용할 수 있다. 이는 기존 자동화 도구에서는 상상하기 어려운 협업 방식이다.

아직 남은 한계

understudy의 접근 방식은 혁신적이지만 현실적인 한계도 존재한다. 에이전트가 학습한 패턴에서 크게 벗어나는 상황이나 높은 수준의 비즈니스 로직이 필요한 복잡한 판단이 필요한 작업에는 여전히 인간의 개입이 필요하다. 시연의 품질이 스킬의 품질을 좌우하는 초기 학습 품질 의존성도 있다. 비효율적인 방식으로 시연하면 비효율적인 스킬이 학습되며, Layer 4의 최적화가 이를 일부 보완하지만 한계가 있다. 의미 기반 접근이 좌표 기반보다 강건하지만, 완전히 재설계된 UI나 새로운 애플리케이션 버전에서는 재학습이 필요할 수 있는 동적 UI 대응 문제도 있다. 로컬에서 AI 추론을 실행하므로 충분한 RAM과 GPU 또는 고성능 CPU가 필요한 하드웨어 요구사항도 있어 저사양 환경에서는 성능 저하가 발생할 수 있다. Layer 5의 선제 행동은 편리하지만 에이전트가 잘못된 패턴을 자동화할 위험도 있어, 충분한 검증 메커니즘과 사용자의 주기적인 스킬 감사가 필요한 신뢰와 검증 문제도 남아 있다.

관찰에서 시작하는 2세대 자동화

understudy는 AI 에이전트가 어떻게 인간과 협업해야 하는지에 대한 새로운 관점을 제시한다. "AI에게 자연어로 명령한다"는 1세대 접근에서 나아가, "AI가 인간을 관찰하고 스스로 학습한다"는 2세대 패러다임의 구현체다.

기존 자동화의 가장 큰 장벽인 "설정의 복잡성"을 거의 제거했다는 점이 이 프로젝트가 특히 주목받는 이유다. 코드를 작성하지 않아도, 규칙을 정의하지 않아도, 그냥 한 번 해 보이면 된다. 이 접근은 자동화를 개발자의 영역에서 지식 노동자 전반의 도구로 확장할 잠재력을 가진다.

물론 아직 초기 프로젝트이며 실전 검증이 쌓여야 할 부분도 많다. 그러나 로컬 우선 철학, 시연 기반 학습, 암묵적 스킬 발견이라는 세 가지 핵심 아이디어는 데스크톱 자동화의 미래 방향을 명확히 가리키고 있다.