Gemini Intelligence가 Android 화면을 이해하고 앱을 넘나드는 방식

화면을 조작 가능한 상태로 바꾸는 인식 계층

Google은 The Android Show 2026에서 Gemini Intelligence를 발표했다. 이 에이전틱 AI 레이어는 화면 내용을 읽고 앱 사이를 이동하면서 멀티스텝 태스크를 자율적으로 수행하며, Samsung Galaxy와 Google Pixel 기기에 먼저 배포된다.

기존 스마트폰에서 앱을 조작하는 주체는 사용자였다. 화면 인식 에이전트는 이 경계를 바꾼다. 화면에 어떤 요소가 있는지만 찾는 것이 아니라, 각 요소가 현재 작업에서 어떤 의미를 가지며 다음에 무엇을 실행해야 하는지 판단한다.

접근성 정보와 시각 정보를 함께 읽는다

Android의 AccessibilityService API는 화면에 표시된 UI 요소를 View Hierarchy로 제공한다. Gemini Intelligence는 이 구조에서 버튼과 입력 필드 같은 컴포넌트를 식별하고, 해당 요소가 수행하는 역할까지 해석한다. 예를 들어 화면에 버튼이 있다는 사실을 넘어 결제를 확정하는 버튼이며 누르면 X원이 결제된다는 의미를 파악하는 방식이다.

화면 파싱은 두 경로에서 병렬로 진행된다. View Hierarchy 경로는 접근성 API를 통해 UI 컴포넌트의 구조를 추출한다. 시각적 분석 경로에서는 화면 캡처 이미지를 멀티모달 모델로 해석해 구조 정보만으로 드러나지 않는 시각적 맥락을 보완한다. 통합 레이어는 두 결과를 합쳐 현재 화면 상태를 구성한다.

⤢✕

앱마다 다른 UI 문법에 대응한다

Gmail과 카카오톡은 화면 구성과 이동 방식이 다르다. Gemini Intelligence는 이런 차이를 처리하기 위해 두 전략을 조합한다.

사전 학습된 앱 지식(Pre-trained App Knowledge)은 인기 앱의 UI 패턴에서 주요 액션과 내비게이션 경로를 빠르게 찾는 데 쓰인다. 사전에 학습하지 않은 앱에서는 동적 화면 이해(Dynamic Screen Understanding)를 적용한다. 현재 화면을 실시간으로 분석하고 조작할 수 있는 요소를 식별하는 방식이다.

화면을 읽는 범위는 개인정보 보호 경계와 맞물린다. 처리 레벨은 세 단계로 나뉜다. 금융 정보, 의료 정보, 비밀번호가 포함된 화면은 온디바이스 전용(On-device Only)으로 처리한다. 일반 콘텐츠는 사용자가 명시적으로 설정한 경우에만 클라우드 처리를 허용한다. 결제나 메시지 전송처럼 되돌리기 어려운 액션에는 사용자 확인 필요(User Confirmation Required)를 적용한다.

실행할 수 있는 입력과 확인 절차

액션 실행기가 시뮬레이션하는 입력은 세 종류다. 탭(Tap)은 특정 좌표나 접근성 노드를 누르고, 텍스트 입력(Text Input)은 포커스된 필드에 내용을 입력한다. 제스처(Gesture)는 스와이프, 핀치, 드래그와 같은 복합 동작을 수행한다.

모든 액션에는 실행 전 미리보기를 표시하는 옵션이 있다. 결제 버튼을 누르기 전에 다음 단계와 대상 액션을 보여주고 계속할지 묻는 식이다. 에이전트가 화면을 이해하는 능력과 실제 조작 권한 사이에 사용자의 명시적 동의를 둘 수 있는 안전장치다.

복합 지시를 앱 단위 실행 계획으로 바꾸는 과정

Gemini Intelligence의 핵심은 화면 안에서 단일 액션을 수행하는 데 그치지 않는다. 하나의 요청을 여러 작업으로 나누고, 필요한 앱을 차례로 이동하면서 전체 워크플로우를 완수한다.

사용자가 “오늘 저녁 7시 레스토랑 예약하고 친구에게 카카오톡으로 알려줘”라고 요청했다고 가정한다. 먼저 전체 지시에서 최종 목표와 제약 조건을 읽는다. 이어 독립적으로 실행할 서브태스크를 찾고, 각 작업 사이의 순서 의존성을 분석한 뒤 실행 계획을 만든다.

이 요청은 레스토랑 앱 열기, 날짜와 시간 선택, 예약 완료, 예약 정보 추출, 카카오톡 열기, 친구 선택, 메시지 작성 및 전송으로 이어진다. 뒤쪽 작업이 앞선 결과를 필요로 하므로 단순한 액션 목록이 아니라 의존성을 가진 계획으로 다뤄야 한다.

⤢✕

예상과 다른 화면을 만났을 때

앱 내비게이션은 현재 화면에서 목표 화면까지 이동할 경로를 구하는 문제다. Gemini Intelligence는 그래프 탐색 알고리즘으로 최단 액션 시퀀스를 계산한다. 하지만 실제 앱은 계획대로만 움직이지 않는다. 예상과 다른 화면이 나타날 수 있고, 오류나 네트워크 문제로 실행이 중단되기도 한다.

일시적 오류로 판단하면 같은 액션을 재시도(Retry)한다. 현재 경로가 막혔다면 동일한 목표로 이어지는 대안 경로(Alternative Path)를 탐색한다. 일부 서브태스크만 끝난 상태라면 부분 완료 보고(Partial Completion Report)를 통해 완료한 작업과 남은 작업을 사용자에게 알린다. 에이전트가 자체적으로 해결할 수 없는 상황에서는 사용자 도움 요청(User Help Request)으로 개입을 요구한다.

자동 실행과 사용자 승인의 경계

모든 단계에서 확인을 받으면 자동화의 효용이 떨어진다. 반대로 확인 절차가 지나치게 적으면 사용자가 의도하지 않은 작업까지 실행될 수 있다. Gemini Intelligence는 액션의 위험도에 따라 확인 여부를 정하는 리스크 기반 확인 요청(Risk-Based Confirmation Request)을 적용한다.

구매와 구독처럼 비용이 발생하는 액션, 연락처와 캘린더 같은 개인정보 접근, 메시지 전송, 계정 설정 변경에는 항상 확인을 요청한다. 앱 내부 이동, 정보 읽기, 검색처럼 되돌릴 수 있는 액션은 자동으로 실행한다.

Apple Intelligence와 갈리는 설계 방향

Apple Intelligence와 Gemini Intelligence는 모바일 AI 에이전트를 구현하지만 아키텍처의 우선순위가 다르다.

Apple Intelligence는 온디바이스 처리를 우선한다. 민감한 태스크는 Private Compute Cloud에서 처리하되 서버에 데이터를 저장하지 않는다는 점을 강조한다. Gemini Intelligence는 온디바이스 처리와 클라우드 연산을 유연하게 조합한다. 복잡한 추론을 수행할 수 있는 대신 클라우드 의존도가 높다.

지원 범위에서도 차이가 난다. Apple Intelligence는 Mail, Messages, Notes, 캘린더 등 Apple 생태계 앱에 깊게 통합된다. Gemini Intelligence는 Android 생태계 전반을 대상으로 하며 서드파티 앱 지원 범위가 넓다. Gmail, Maps, Calendar, Drive를 비롯한 Google 서비스와의 깊은 통합도 강점이다.

화면 접근 권한이 만드는 프라이버시 문제

화면을 읽을 수 있는 AI 에이전트는 금융 정보, 개인 메시지, 건강 정보 같은 민감한 데이터에도 접근할 수 있다. 편리한 자동화 기능인 동시에 강력한 데이터 수집 도구가 될 수 있다는 뜻이다. Google은 화면 내용의 클라우드 전송을 최소화하고 온디바이스 처리를 확대하겠다고 밝혔다.

EU의 GDPR과 AI Act는 자동화 에이전트의 데이터 처리에 엄격한 요건을 부과한다. 자동화 결정(Automated Decision Making)에 대한 설명과 사용자의 거부권 보장이 핵심이다. Gemini Intelligence가 각 액션을 사용자에게 드러내는 투명성 레이어는 이런 규제 요건을 충족하기 위한 설계다.

Android의 공통 AI 레이어가 되려는 전략

화면 인식 에이전트에 대한 초기 사용자 반응은 엇갈린다. 편의성을 우선하는 사용자는 적극적으로 받아들이지만, 프라이버시를 중시하는 사용자는 화면 내용에 접근한다는 사실 자체에 거부감을 보인다. Google은 기능을 단계적으로 공개하고 권한 요청 과정을 투명하게 제시해 신뢰를 구축하는 전략을 취하고 있다.

Gemini Intelligence는 개별 앱에 붙는 보조 기능이 아니라 Android OS의 핵심 AI 레이어로 자리 잡으려는 Google의 장기 계획에 속한다. 앱 생태계 전반에서 에이전트가 일관된 방식으로 작동하는 플랫폼을 구축해 Apple의 생태계 통합 강점에 대응하려는 구상이다.

접근성 API를 이용한 화면 파싱, 앱별 맥락 해석, 리스크 기반 확인 요청, 실패 복구가 맞물리면 스마트폰은 사용자가 직접 조작하는 도구에서 태스크를 대신 수행하는 에이전트로 바뀐다. 다만 화면 접근이 만들어내는 프라이버시 트레이드오프와 규제 요건을 어떻게 다루느냐가 대중적 수용을 좌우한다.