상시 실행 개인 AI 에이전트의 목표 상태와 행동 통제 설계

사용자가 보지 않는 시간의 행동 경계를 먼저 정한다

메타는 2026년 2분기 실적 발표에서 개인용 AI 에이전트에 전면 베팅한다는 방침을 밝혔고, 마크 저커버그는 5년 내 수십억 명이 자신의 목표를 이해하는 개인 에이전트를 갖지 못할 가능성은 극히 낮다고 말했다. 건강, 재무, 인간관계, 가사 전반에서 사용자를 대신해 24시간 작동하는 소프트웨어가 전제된 이야기다.

이 구조에서는 요청을 기다리던 어시스턴트가 상시 실행 주체가 된다. 시간, 외부 이벤트, 상태 변화가 트리거가 되고, 설계의 질문도 달라진다. 기능을 얼마나 많이 제공할지보다 사용자가 화면을 보고 있지 않을 때 무엇을 독자적으로 처리해도 되는지를 먼저 결정해야 한다.

자율 행동의 편의성을 높인다는 이유로 허용 범위를 넓게 잡으면 통제하기 어려운 부작용이 생긴다. 사고 한 번이 서비스 전체에 대한 신뢰를 소모할 수 있기 때문이다. 상시 실행 구조는 목표 상태 저장, 트리거 정의, 행동 등급, 승인 게이트, 이력 감사, 도메인 격리를 하나의 통제 체계로 다뤄야 한다.

목표는 프롬프트가 아니라 지속 상태다

사용자 목표는 대화가 끝나면 사라지는 맥락이 아니라 명시적인 레코드로 남아야 한다. 목표마다 유효 기간, 우선순위, 관련 도메인, 성공 조건을 함께 기록하고, 변경 전 값도 이력으로 보관한다. 그래야 에이전트가 특정 행동을 선택한 근거를 나중에 설명할 수 있다.

트리거는 시간 기반, 외부 이벤트 기반, 상태 임계값 기반으로 구분해 등록한다. 각 트리거에는 발동 빈도 상한이 필요하다. 그렇지 않으면 사소한 상태 변화에도 반복적으로 작동할 수 있다. 또한 트리거가 발생했다는 사실과 행동 실행을 분리해야 한다. 발동 직후 실행하는 흐름은 오작동을 빠르게 증폭시킨다.

행동은 조회, 준비, 알림, 실행, 비가역 실행으로 나눠 관리한다. 같은 등급이라도 재무와 가사의 위험은 다르므로 도메인별 상한을 별도로 둔다. 특히 결제, 발송, 삭제, 외부 공개처럼 되돌릴 수 없는 행동은 사전 승인을 요구해야 한다. 승인 요청에는 행동 내용과 근거, 예상 결과, 거부했을 때의 대안을 포함하고, 승인 유효 시간이 지나면 다시 요청한다.

⤢✕

무인 실행을 운영 가능한 형태로 만드는 장치

모든 자율 행동은 트리거, 판단 근거, 참조 데이터, 결과와 함께 남겨야 한다. 사용자는 시간순 이력에서 어떤 행동이 일어났는지 확인하고, 개별 행동의 근거까지 추적할 수 있어야 한다.

중단 기능도 전체 중단과 도메인별 중단을 분리하는 편이 낫다. 하나의 도메인에서 오작동이 발생했다고 모든 기능을 끄게 만들면 사용자는 서비스를 포기할 수 있다. 중단 이후 진행 중인 작업을 되돌릴 수 있는 경로도 제공해야 한다.

건강, 재무, 인간관계 데이터는 분리 저장하고, 도메인 사이의 참조는 명시적으로 허용된 경우에만 가능하게 둔다. 여러 도메인의 맥락이 필요한 판단이라면 필요한 최소 필드만 전달한다. 알림도 총량 상한과 우선순위 기준이 없으면 상시 실행 구조에서 쉽게 폭증한다.

허용 범위는 작게 열고 정책으로 관리한다

초기 자율 실행 대상은 실패해도 손실이 작고 되돌릴 수 있는 업무가 적합하다. 정보 수집과 초안 준비가 출발점이 될 수 있다. 운영 방식은 차단 목록보다 허용 목록에 가깝게 두는 편이 낫다. 새 기능이 추가될 때마다 차단 목록에는 빈틈이 생길 수 있다.

건강 정보와 금융 거래에는 일반 도메인 규칙과 별도의 정책이 필요하다. 미성년자 계정과 취약 사용자에게 적용할 추가 제한도 정의해야 한다. 승인 조건은 금액, 대상, 공개 범위를 기준으로 명문화하고, 모델이 그 판단을 대신하게 두지 않는다. 신규 기능을 출시할 때마다 승인 목록을 검토하는 절차도 필요하다.

사용자 통제 화면에서는 실행 중인 작업, 승인 대기 중인 작업, 중단 방법을 한곳에서 확인할 수 있어야 한다. 행동 이력의 각 항목에는 되돌리기 경로를 직접 연결한다. 오작동 신고 경로와 자동 차단 임계값을 미리 정의하고, 같은 유형의 오작동이 반복되면 해당 트리거를 자동 비활성화한다.

개인정보 측면에서는 도메인별 수집·보관·참조 항목과 보존 기간을 사용자에게 고지한다. 도메인 간 데이터 이동은 별도 동의 대상으로 분리한다. 자율 행동 정책 변경도 승인 절차를 거치게 하고 변경 이력을 공개하며, 행동 이력의 보존 기간과 접근 권한을 규정해야 한다.

요청 기반 어시스턴트와 달라지는 통제 조건

구분	상시 실행 에이전트	요청 기반 응답 어시스턴트
트리거	시간·이벤트·상태	사용자 발화
편의성	선제 대응 가능	요청 시점 한정
통제 난도	높음	낮음
상태 관리	지속 상태 필수	세션 단위
사고 파급	무인 상태에서 확산	사용자 눈앞에서 발생
감사 요구	필수	선택

상시 실행 에이전트는 사용자의 요청 전에 상태 변화를 감지해 대응하므로 반복 업무를 완전히 위임할 수 있고, 놓치는 일도 줄일 수 있다. 반면 사용자가 보지 않는 동안 오판이 누적될 수 있으며 사고를 알아차리는 시점도 늦어진다. 요청 기반 어시스턴트는 행동이 사용자 눈앞에서 발생해 오류를 바로 인지하기 쉽고 통제 설계도 단순하지만, 사용자가 요청을 떠올려야 작동한다.

무인 구간의 존재가 통제 요구를 바꾼다. 상시 실행 기능을 추가하기 전에 행동 이력 감사와 중단 스위치를 먼저 갖춰야 하는 이유다.

전 도메인을 하나의 에이전트가 처리하면 건강, 재무, 일정의 맥락을 함께 활용할 수 있고 사용자는 하나의 창구만 기억하면 된다. 그러나 한 도메인의 오작동이나 정보 유출이 전 영역으로 번질 수 있고 최소 권한 원칙을 지키기도 어렵다. 도메인별 분리는 사고 범위를 도메인 안에 가두고 서로 다른 정책과 규제를 적용하기 쉽지만, 도메인을 넘는 판단에서는 맥락이 끊기며 사용자가 여러 창구를 관리해야 한다. 민감도가 크게 다른 데이터가 섞이는 경우에는 분리를 기본으로 하고 최소 필드만 명시적으로 전달하는 구성이 위험 대비 효용이 높다.

자율 행동을 기본 허용하면 사용자가 설정을 건드리지 않아도 빠르게 효용을 얻을 수 있다. 그러나 예상하지 못한 행동이 한 번만 발생해도 신뢰가 급격히 무너지고 회복에는 오랜 시간이 걸릴 수 있다. 기본 차단은 사용자가 허용 범위를 넓히면서 신뢰를 쌓고 사고가 났을 때 책임 소재를 분명히 할 수 있지만, 초기 효용이 낮아 설정 단계에서 이탈할 가능성이 있다. 되돌릴 수 있는 행동만 기본 허용하고 비가역 행동은 기본 차단하는 이중 기본값이 실무적인 절충안이다.

개인정보·내부통제·서비스 설계가 만나는 지점

상시 수집과 도메인 통합 참조는 목적 제한 원칙과 충돌하기 쉽다. 데이터 항목 단위로 보존 기간과 접근 권한을 정의하고, 도메인 간 이동을 별도 동의로 분리해야 한다.

승인 게이트와 행동 이력 감사는 업무 승인 절차와 감사 증적을 소프트웨어로 구현한 형태다. 자동 차단 임계값은 예방 통제에, 이력 감사는 적발 통제에 해당한다. 두 층이 함께 작동해야 한다.

도메인별 중단 스위치는 장애 격벽 설계와 같은 원리다. 전체 중단만 제공하면 사용자는 서비스 자체를 떠날 수 있다. 알림 총량 상한도 사용자의 주의라는 유한 자원을 다루는 부하 제어 장치로 봐야 한다.

상시 실행 에이전트에서 부상하는 설계 기준

상시 실행 에이전트가 소비자 서비스의 기본 형태로 자리 잡으면 행동 이력 공개가 경쟁 요소로 부상할 수 있다. 비가역 행동 승인 규격은 플랫폼 간 유사한 형태로 수렴하며 사용자의 학습 비용을 낮추는 방향으로 갈 수 있다.

도메인 격리와 데이터 이동 동의는 규제 요구사항으로 편입되면서 통합 에이전트 설계에 제약을 줄 수 있다. 알림 총량 제어와 주의 자원 관리 역시 에이전트 품질 지표로 다뤄질 가능성이 있다.

상시 실행 개인 에이전트의 중심 설계는 목표 상태를 지속적으로 보관하고 변경 이력을 남기는 데서 출발한다. 그 위에 비가역 행동의 승인 분리, 도메인 격리, 도메인별 중단 기능을 얹어야 한다. 사용자가 없는 시간의 자율성은 더 넓은 권한이 아니라, 더 명확한 행동 경계로 신뢰를 얻는다.