데스크탑과 장기 작업으로 확장된 OpenAI Codex

코드 편집기를 벗어난 Codex

OpenAI는 2026년 4월 16일 Codex의 적용 범위를 데스크탑 전체로 넓히는 업그레이드를 공개했다. Codex는 백그라운드에서 실제 커서를 움직여 앱을 클릭하고 텍스트를 입력한다. 미래 시점의 작업을 예약한 뒤 자동으로 깨어나 장기 태스크를 계속 수행하는 기능도 추가됐다.

OpenAI가 이 변화를 설명하며 사용한 이름은 “Codex for almost everything”이다. 코딩에 국한됐던 에이전트의 작업 공간을 컴퓨터에서 수행하는 거의 모든 일로 확장하겠다는 의미다.

이번 업그레이드에는 데스크탑을 조작하는 Computer Use, 미래 작업을 정하는 Autonomous Scheduling, 이전 세션의 맥락을 유지하는 Memory가 포함됐다. gpt-image-1.5를 이용한 이미지 생성과 CodeRabbit·GitLab 등 90개 이상의 플러그인 통합도 함께 발표됐다.

여러 에이전트는 개발자가 다른 일을 하는 동안 Mac에서 병렬로 작동할 수 있다. 자율 예약 기능은 이론상 며칠~수 주에 걸친 작업을 연속해서 처리할 수 있으며, 메모리는 이전 세션에서 확인한 선호도와 수정 사항, 수집에 시간이 걸린 정보를 다음 작업에 연결한다.

플러그인 생태계에는 CodeRabbit, GitLab Issues, Atlassian Rovo, CircleCI, Microsoft Suite, Neon by Databricks, Remotion, Render 등이 포함된다.

화면을 보고 직접 조작하는 Computer Use

Codex의 백그라운드 컴퓨터 사용 기능은 OpenAI의 Computer Use API를 기반으로 한다. 에이전트가 화면을 캡처해 UI 요소를 찾고, 대상 위치에 클릭 이벤트를 보내거나 텍스트를 입력하는 구조다.

⤢✕

화면에서 버튼, 텍스트 필드, 드롭다운, 체크박스를 찾을 때는 텍스트 레이블과 아이콘 패턴, 요소의 위치를 함께 사용한다. 클릭할 대상이 정해지면 요소의 중심 좌표를 계산한다. 화면 밖에 있는 요소는 스크롤로 먼저 노출한 뒤 클릭한다.

텍스트 입력은 필드에 포커스를 맞추고 문자를 순차적으로 보내는 방식으로 처리한다. 긴 텍스트는 클립보드를 통한 붙여넣기도 지원한다. 여러 에이전트가 Mac에서 동시에 움직일 때는 가상 데스크탑이나 별도 창 컨텍스트를 이용해 서로의 작업을 격리하며, 개발자가 사용 중인 작업 환경에는 영향을 주지 않는다.

화면 기반 자동화는 정적인 API 호출과 달리 UI의 상태 변화에 대응해야 한다. 앱이 로딩 중이거나 애니메이션을 실행하면 요소의 위치가 달라질 수 있으므로, 화면이 안정될 때까지 기다리거나 변화를 감지한 뒤 다시 시도하는 로직이 필요하다.

잘못된 요소를 클릭했거나 예상하지 못한 다이얼로그가 나타나는 상황도 처리 대상이다. Codex는 액션을 실행한 다음 화면을 다시 캡처해 결과를 확인하고 오류를 감지한다. macOS나 앱이 권한 요청 창을 표시하면 가능한 범위에서 대응하고, 직접 처리할 수 없을 때는 사용자에게 알린다.

예약 시각에 다시 이어지는 장기 태스크

기존 AI 에이전트는 대체로 하나의 대화 세션 안에서 움직였다. 세션이 끝나면 작업도 멈췄고, 다음 실행을 시작하는 일은 사용자가 맡았다. Codex의 자율 작업 예약은 작업 계획과 실행 시점을 에이전트가 연결하도록 만든다.

⤢✕

긴 작업은 단계별 체크포인트를 남긴다. 체크포인트에는 지금까지의 실행 상태와 수집한 데이터, 다음 실행 계획이 저장된다. 예약된 시각에 에이전트가 다시 실행되면 이 정보를 복원해 중단했던 지점부터 이어간다.

작업 도중 오류가 발생하면 재시도 정책에 따라 같은 단계를 다시 실행하거나, 오류를 기록하고 다음 단계로 넘어간다. 복구할 수 없는 오류는 사용자에게 즉시 알린다.

에이전트가 예약한 작업은 Codex 앱에서 확인하고 수정할 수 있다. 예약 취소와 시간 변경, 즉시 실행도 이곳에서 처리한다.

다음 세션으로 넘어가는 작업 맥락

세션 메모리는 한 번의 대화에서 얻은 유용한 정보를 지속해서 보관하고 이후 세션에서 재사용하는 기능이다. 매번 프로젝트 규칙이나 사용자 선호를 처음부터 설명해야 하는 비용을 줄이는 역할을 한다.

⤢✕

저장 대상에는 함수형과 객체지향 가운데 어떤 스타일을 선호하는지, 탭과 스페이스 중 무엇을 쓰는지 같은 코딩 취향이 포함된다. 반복해서 수정한 패턴과 프로젝트별 컨벤션, 수집에 시간이 걸린 API 키·설정 정보도 메모리에 저장된다.

긴 세션 전체를 그대로 쌓는 대신, 세션이 끝날 때 핵심 정보를 의미론적으로 요약해 압축한다. 다음 세션에서는 현재 태스크와 관련된 메모리를 벡터 유사도 검색으로 찾는다. 모든 기록을 한꺼번에 불러오지 않고 현재 작업에 필요한 정보만 컨텍스트에 넣는 방식이다.

메모리는 단기와 장기 레이어로 구분된다. 단기 메모리는 최근 몇 번의 세션에서 다룬 파일, 해결한 오류, 논의한 설계 결정처럼 작업 흐름을 이어가는 정보를 보존하며 30일 이내의 최근 작업에 초점을 맞춘다.

장기 메모리에는 반복적으로 확인된 사용자 선호와 프로젝트 패턴을 저장한다. 코딩 스타일, 자주 사용하는 라이브러리, 팀의 코드 리뷰 기준이 여기에 해당하며, 명시적으로 삭제하지 않는 한 유지된다.

이미지 생성이 개발 흐름에 들어오면

gpt-image-1.5가 통합되면서 제품 목업, 프론트엔드 디자인, 게임 아트를 Codex 워크플로우 안에서 만들 수 있게 됐다. 예를 들어 제품 목업을 설명하면 이미지를 생성한 뒤 HTML 컴포넌트에 삽입하는 흐름까지 연결할 수 있다.

⤢✕

이미지를 생성하고 미리보기를 확인한 다음, 승인된 결과는 프로젝트 에셋으로 저장된다. 수정이 필요하면 프롬프트를 조정해 다시 생성하고, 선택한 이미지를 HTML/CSS 컴포넌트에 자동으로 삽입한다.

외부 도구를 연결하는 플러그인

CodeRabbit 통합은 PR 리뷰의 품질 관련 컨텍스트를 Codex에 전달하고 자동 PR 토론을 처리한다. Codex가 코드를 작성한 직후 CodeRabbit이 리뷰 의견을 남기는 워크플로우를 구성할 수 있다.

GitLab Issues는 GitHub와 동등한 수준의 GitLab 지원을 제공한다. GitLab을 쓰는 팀은 이슈 생성, PR 연동, 파이프라인 트리거를 Codex에서 자동화할 수 있다.

CircleCI와 연결하면 Codex 안에서 CI/CD 파이프라인 상태를 조회하고 실패한 빌드를 분석해 수정 코드를 생성할 수 있다. Microsoft Suite 통합은 Outlook, Teams, Excel을 연결해 회의 요약에서 코드 태스크를 추출하거나 스프레드시트 데이터를 바탕으로 코드를 작성하는 흐름을 지원한다.

Codex와 Claude Code의 플랫폼 방향

OpenAI와 Anthropic이 2026년 4~5월 에이전틱 코딩 플랫폼의 업그레이드를 잇달아 발표하면서 두 제품의 방향도 더 뚜렷해졌다.

항목	OpenAI Codex	Claude Code
실행 환경	데스크탑 앱 (로컬+클라우드)	터미널+데스크탑 앱
컴퓨터 제어	지원 (Computer Use)	미지원
세션 메모리	지원 (장단기 분리)	제한적
자율 예약 실행	지원	Routines (클라우드 기반)
코드 리뷰 자동화	CodeRabbit 플러그인	내장 Code Review
이미지 생성	지원 (gpt-image-1.5)	미지원
플러그인 생태계	90개 이상	MCP 서버 기반
사용 한도	ChatGPT 구독 기준	플랜별 (최근 2배 확대)

Codex의 강점은 컴퓨터 전체를 다루는 범용성과 플러그인 생태계다. Claude Code는 코드베이스 맥락을 깊게 이해하는 능력과 에이전트 팀 기반 코드 리뷰에 강점을 둔다.

개발 목표와 실행 사이의 경계가 달라진다

단일 파일 코드 완성 도구로 출발한 Codex는 이번 업그레이드로 컴퓨터 전체를 활용하는 에이전트에 가까워졌다. 데스크탑 제어와 자율 작업 예약, 세션 간 메모리, 이미지 생성은 따로 쓸 수도 있지만, 함께 연결하면 며칠 동안 이어지는 복잡한 개발 태스크를 자율적으로 처리하는 플랫폼이 된다.

개발자는 실행 과정을 하나씩 지시하기보다 더 높은 수준의 목표를 지정하고, 에이전트가 세부 작업을 이어서 처리하도록 맡기는 방향으로 움직이고 있다. 이번 Codex 업그레이드는 코드 작성 도구와 컴퓨터 사용 에이전트 사이의 경계가 바뀌고 있음을 보여준다.