OpenAI Codex 데스크톱이 코딩 도우미에서 범용 에이전트로 넘어간 지점 — Computer Use와 장기 메모리

2026년 5월 OpenAI는 Codex 데스크톱 앱에 Computer Use(화면 조작 자동화), gpt-image-2 기반 이미지 생성, 대화 기억(Memory) 기능을 일괄 추가하며 단순 코딩 도우미에서 범용 데스크톱 에이전트로의 전환을 공식 선언했다. 90개 이상의 플러그인을 지원하는 에코시스템과 결합된 이번 업데이트는 단일 앱 안에서 화면 제어·이미지 창작·장기 기억을 동시에 처리하는 멀티모달 에이전트 플랫폼의 형태를 갖추기 시작했다.

코딩 도우미에 한꺼번에 들어온 기능들

Computer Use는 Codex 에이전트가 사용자의 화면을 실시간으로 인식하고 마우스 클릭·키보드 입력·스크롤 등의 액션을 직접 실행하는 기능이다. 브라우저나 네이티브 앱 구분 없이 화면에 표시된 모든 UI 요소를 대상으로 작동하며, 사용자가 허용한 앱·창에 한해 동작한다. OpenAI는 이를 Codex Mac 앱의 Computer Use 플러그인 형태로 제공하며, 사용자가 대상 앱을 명시적으로 허가한 뒤 Screen Recording과 Accessibility 권한을 macOS 시스템 환경설정에서 부여해야 활성화된다. 스프레드시트 데이터를 직접 입력·수정하거나, 레거시 데스크톱 앱의 설정을 자동으로 바꾸거나, 웹 브라우저에서 반복적인 양식 입력을 처리하는 등 API가 없는 소프트웨어도 자동화할 수 있다. 코딩 에이전트가 터미널과 에디터를 넘나들며 테스트를 실행하고 결과를 확인하는 복잡한 개발 워크플로우도 Computer Use로 처리 가능하다.

Codex 앱에 통합된 gpt-image-2는 텍스트 프롬프트 기반의 고품질 이미지를 생성하는 OpenAI의 최신 이미지 모델이다. 기존 DALL·E 계열 대비 텍스트 렌더링 정확도와 지시 사항 준수율이 향상됐고, 투명 배경 PNG 생성과 인페인팅(Inpainting) 기능도 지원한다. 코딩 워크플로우 중 UI 목업·다이어그램·문서용 일러스트를 즉석에서 생성할 수 있어 개발과 디자인 작업의 경계를 허문다. 멀티모달 에이전트 관점에서 중요한 점은 gpt-image-2가 단독 이미지 생성 도구가 아니라 에이전트 파이프라인 내 도구 중 하나로 통합된다는 것이다. 에이전트는 코드를 작성하는 과정에서 필요한 아이콘을 생성하거나, 데이터 시각화 결과를 이미지로 렌더링하거나, UI 컴포넌트의 디자인 시안을 만들어 개발자에게 승인을 요청하는 흐름을 자동으로 구성할 수 있다.

메모리 기능은 세션 간 사용자 정보와 선호도를 지속적으로 저장하고 이후 대화에 자동으로 활용하는 기능이다. 사용자가 선호하는 코드 스타일, 자주 쓰는 프레임워크, 반복적으로 등장하는 프로젝트 배경 등을 에이전트가 기억해 매번 같은 정보를 다시 설명하는 비효율을 없앤다. 저장된 메모리는 설정 화면에서 열람·수정·삭제가 가능하며, 메모리에서 제외할 정보를 선택적으로 관리할 수 있다. ChatGPT 메모리 기능의 Codex 확장으로 볼 수 있으나, 코딩 에이전트 특성상 코드베이스 구조·기술 스택·팀 컨벤션 같은 기술적 맥락 정보가 메모리의 핵심 내용이 된다는 차이가 있다.

Codex 앱은 출시 시점에 90개 이상의 플러그인을 지원한다. 플러그인은 서비스 통합형(GitHub, Jira, Slack, Linear 등), 도구 확장형(터미널 에뮬레이터, 데이터베이스 클라이언트), 전문 도메인형(의료 코딩, 법률 문서 분석)으로 크게 나뉘며, 에이전트 실행 파이프라인에 훅(Hook)으로 개입해 특정 이벤트 발생 시 자동으로 외부 서비스와 연동하거나 에이전트의 행동을 확장한다.

화면을 읽고 클릭까지 하는 파이프라인

Computer Use의 핵심 파이프라인은 세 단계로 구성된다. 화면 상태를 주기적으로 캡처하는 Perception 레이어, 캡처된 화면을 분석해 UI 요소를 인식하는 Understanding 레이어, 인식된 요소를 대상으로 액션을 실행하는 Action 레이어다.

⤢✕

macOS ScreenCaptureKit은 Apple이 제공하는 고성능 화면 캡처 프레임워크로, 특정 앱 창 또는 전체 화면을 낮은 지연시간으로 캡처한다. CGImage 형식으로 전달된 캡처 데이터는 비전 모델의 입력으로 변환되어 화면 내 텍스트·버튼·입력 필드·메뉴 등의 UI 요소를 인식한다. 순수 시각 분석만으로는 버튼의 정확한 클릭 좌표나 입력 필드의 포커스 가능 여부를 신뢰성 있게 파악하기 어렵기 때문에, macOS 접근성 API가 앱이 노출하는 UI 요소의 구조화된 트리(AXUIElement)를 함께 제공한다. 각 요소의 역할·레이블·활성화 상태·경계 좌표를 정확하게 반환하는 이 메타데이터와 비전 모델의 시각적 이해를 결합하면 UI 인식 정확도가 크게 향상된다.

인식된 UI 요소에 대한 액션 실행은 CGEvent API와 접근성 API 두 경로로 이루어진다. CGEvent는 시스템 수준의 마우스·키보드 이벤트를 생성하므로 접근성을 지원하지 않는 앱에도 적용 가능하고, 접근성 API의 AXUIElementPerformAction은 실제 마우스 이동 없이 직접 UI 요소에 액션을 수행하므로 더 빠르고 신뢰성이 높다.

⤢✕

액션 실행 직후 화면 상태를 재캡처해 의도한 변화가 발생했는지 검증한다. 버튼 클릭 후 예상한 다이얼로그가 나타났는지, 텍스트 입력 후 값이 올바르게 반영됐는지를 자동으로 확인하고, 검증 실패 시 재시도하거나 대안 경로(다른 UI 요소, 다른 액션 유형)를 탐색한다.

Computer Use는 사용자의 PC를 직접 조작하므로 안전 경계 설계가 핵심이다. Codex는 세 가지 안전 레이어를 적용한다.

안전 레이어	구현 방식	목적
명시적 앱 승인	사용자가 허용 앱 목록 직접 지정	비허가 앱 조작 방지
되돌릴 수 없는 액션 확인	파일 삭제·전송 등 전 사용자 승인 요청	실수에 의한 데이터 손실 방지
세션 범위 제한	세션 종료 시 Computer Use 액세스 만료	장기 무제한 접근 차단

EEA, 영국, 스위스에서는 데이터 보호 규정과 EU AI Act에 따라 Computer Use 기능이 기본 비활성화된다. 지역 감지는 IP 주소, 계정 등록 지역, 결제 주소의 다중 신호를 조합해 우회를 방지한다.

세션이 끝나도 기억이 남는 구조

LLM 기반 에이전트의 근본적 한계는 컨텍스트 윈도우의 유한성이다. 세션이 길어질수록 초기 대화 내용이 컨텍스트에서 밀려나고, 새 세션을 시작하면 이전 맥락이 완전히 사라진다. 장기 메모리 시스템은 이 한계를 극복하기 위해 대화 이력을 압축하고 핵심 정보를 추출해 장기 저장소에 보관한다.

압축 전략은 두 가지로 나뉜다. 요약(Summarization) 방식은 LLM으로 긴 대화를 짧은 요약문으로 변환하고, 정보 추출(Extraction) 방식은 대화에서 사용자 선호도·프로젝트 배경·기술 스택·결정 사항 같은 구조화된 팩트를 추출해 키-값 형태로 저장한다. Codex 메모리는 두 방식을 조합해 요약은 에피소드 기억으로, 추출된 팩트는 의미 기억으로 분리 저장하는 것으로 알려져 있다.

⤢✕

메모리 압축은 컨텍스트 윈도우 사용량이 일정 임계치(예: 80%)에 도달하거나 세션이 종료될 때 트리거된다. 세션 중에도 슬라이딩 윈도우 방식으로 오래된 대화를 순차적으로 압축해 컨텍스트 공간을 확보한다.

저장된 메모리를 새 세션에서 효과적으로 활용하려면 관련성 높은 메모리만 선택적으로 컨텍스트에 주입해야 한다. 모든 메모리를 무조건 주입하면 컨텍스트 낭비가 발생하고 관련 없는 정보가 판단을 흐릴 수 있다. 사용자의 현재 요청을 임베딩 벡터로 변환하고 메모리 저장소에서 의미적으로 가장 유사한 기억을 코사인 유사도로 검색하는 벡터 유사도 기반 검색, 최근 메모리일수록 높은 가중치를 부여해 오래된 메모리가 현재 판단을 지배하지 않도록 하는 시간 가중치 적용, 사용자 명시 지시는 최고 우선순위로 고정 주입하고 프로젝트 배경 정보는 관련 작업 시에만·과거 대화 에피소드는 공간이 남을 때만 포함하는 메모리 유형별 우선순위가 이 선택 기준이다.

에이전트 장기 메모리 시스템은 세 가지 스토리지 레이어로 구성된다.

스토리지 레이어	저장 내용	접근 방식	지속성
인메모리 캐시	현재 세션 활성 메모리	직접 접근	세션 한정
벡터 데이터베이스	임베딩 기반 의미 메모리	유사도 검색	영구
키-값 스토리지	구조화된 사용자 팩트	키 기반 조회	영구

인메모리 캐시는 현재 세션에서 이미 검색된 메모리를 재사용해 반복 조회 비용을 절감하고, 벡터 데이터베이스는 대화 요약과 에피소드 기억을 임베딩 형태로 저장해 의미 검색을 지원하며, 키-값 스토리지는 사용자 이름·선호 언어·기술 스택처럼 명확한 키로 조회 가능한 팩트를 저장한다. 사용자가 메모리를 수동으로 편집하거나 삭제할 수 있는 인터페이스 제공은 GDPR 등 데이터 프라이버시 규정 준수에 필수적이며, Codex 메모리 설정 화면에서 저장된 항목의 열람·수정·삭제를 지원한다.

코딩·화면 제어·이미지 생성이 하나의 루프로

Codex 데스크톱이 범용 에이전트로 진화한 핵심은 여러 모달리티(텍스트·이미지·화면)와 여러 능력(코딩·이미지 생성·화면 조작·기억)을 단일 에이전트 실행 루프 안에서 통합한 아키텍처다. 개별 기능이 독립 앱이 아닌 에이전트의 도구(Tool)로 통합되어, 하나의 작업 흐름 안에서 자연스럽게 조합된다.

⤢✕

이 구조에서 에이전트는 요청을 받으면 먼저 메모리에서 관련 컨텍스트를 검색하고, 태스크를 분석해 필요한 도구 조합을 결정한다. 코딩 작업이라면 코드 생성 도구를 쓰고, 그 결과를 테스트하기 위해 Computer Use로 실행 환경을 조작하며, 완성된 UI 컴포넌트의 디자인 검증을 위해 gpt-image-2로 참조 이미지를 생성하는 복합 시나리오도 단일 루프 안에서 처리 가능하다.

90개 이상의 플러그인이 에이전트 파이프라인에 통합되는 방식은 세 가지로 나뉜다. 훅 기반 이벤트 통합은 에이전트 실행 파이프라인의 특정 이벤트(코드 생성 완료, 파일 저장, 테스트 실행 후 등)에 훅을 등록해, 이벤트 발생 시 자동으로 외부 서비스와 연동한다 — GitHub 플러그인이 코드 변경 완료 시 자동으로 커밋·PR을 생성하거나, Slack 플러그인이 작업 완료 시 팀 채널에 알림을 보내는 방식이다. 도구 노출 통합은 플러그인이 에이전트 도구 목록에 새 도구를 추가하는 방식으로, Jira 플러그인은 이슈 조회·생성·업데이트 도구를, 데이터베이스 플러그인은 쿼리 실행·스키마 조회 도구를 노출한다. 컨텍스트 주입 통합은 플러그인이 에이전트의 컨텍스트에 외부 데이터를 직접 주입하는 방식으로, Linear 플러그인은 현재 스프린트의 이슈 목록을, 코드 리뷰 플러그인은 오픈된 PR의 리뷰 코멘트를 컨텍스트에 자동 추가해 에이전트가 최신 프로젝트 상태를 파악하도록 돕는다.

⤢✕

서드파티 플러그인이 에이전트 파이프라인에 깊이 통합되는 만큼 보안 격리도 중요하다. 각 플러그인은 허용된 도메인에만 네트워크 요청을 보낼 수 있으며, 파일시스템 접근 범위도 플러그인별 권한 프로파일로 제한된다. 플러그인 코드는 메인 에이전트 프로세스와 분리된 샌드박스에서 실행되어 악의적인 플러그인이 시스템 자원에 무단 접근하는 것을 막는다. 90개 이상의 플러그인을 효과적으로 발견하고 설치하려면 카테고리 필터·인기 순위·사용자 리뷰·에이전트 호환성 태그 같은 메타데이터를 활용한 마켓플레이스 UX 설계도 중요하며, 기업 환경에서는 내부 전용 플러그인 레지스트리를 운영해 검증된 플러그인만 직원들이 설치하도록 통제할 수 있다.

OpenAI Codex 데스크톱 앱의 이번 업데이트는 코딩 에이전트를 넘어 범용 데스크톱 에이전트로의 진화 방향을 명확히 보여준다. Computer Use의 ScreenCaptureKit과 접근성 API 결합 아키텍처는 API 없는 레거시 앱도 자동화하는 실용적인 기반을 제공하며, 에피소드·의미 메모리를 분리 관리하는 장기 메모리 시스템은 세션을 초월한 에이전트 연속성을 구현한다. 90개 이상의 플러그인 에코시스템이 훅·도구·컨텍스트 주입 세 가지 통합 패턴으로 에이전트 능력을 확장하면서, 단일 앱이 멀티모달 작업을 처리하는 범용 에이전트 플랫폼으로 성숙해가고 있다.

Sources

• Codex for (almost) everything — OpenAI
• Changelog – Codex | OpenAI Developers
• Computer Use – Codex | OpenAI Developers
• Memory and new tools in ChatGPT — OpenAI
• gpt-image-2 — OpenAI
• Engineering a macOS AI Agent: ScreenCaptureKit & Accessibility APIs — Dev Journal
• Building Long-Term Memory for LLM Agents — Towards Data Science
• Plugin architecture for AI agents — OpenAI Cookbook