Gemini Spark와 Omni로 설계하는 상시 실행 개인 AI 에이전트

Gemini Spark의 퍼시스턴트 세션과 Gemini Omni 세계 모델이 상시 추론, 장기 메모리, 선제적 행동을 구성하는 방식을 분석한다.

2026-08-14 · 최초 발행 2026-05-24

Gemini Spark는 대화를 기다리는 챗봇이 아니다. Google이 AI Ultra 구독자를 대상으로 베타 출시한 이 시스템은 클라우드 VM에서 24시간 실행되며, 여러 앱에서 수집한 사용자 맥락을 바탕으로 스스로 추론하는 개인 AI 에이전트다. 그 뒤에서는 Gemini Omni가 사용자 행동의 흐름과 물리 환경을 세계 모델(World Model)로 표현하고 다음 상태를 예측한다.

두 시스템의 결합이 겨냥하는 것은 요청에 반응하는 자동화가 아니라, 앞으로 필요할 일을 미리 판단하고 준비하는 에이전트다. 이를 가능하게 하는 퍼시스턴트 세션, 앱 연동, 장기 메모리, 불확실성 제어 구조를 차례로 짚어본다.

기기가 꺼져도 이어지는 에이전트 세션

Gemini Spark의 출발점은 에이전트 실행 상태를 사용자 기기에 묶지 않는 것이다. 스마트폰의 배터리나 네트워크 연결 상태와 별개로 Google Cloud VM에서 퍼시스턴트 세션을 유지한다. 기기가 꺼지면 함께 멈추는 온디바이스 어시스턴트와는 신뢰성 계층 자체가 다르다.

사용자마다 격리된 컨테이너 환경이 제공되고, 세션 상태는 Spanner 기반 분산 스토리지에 체크포인트로 기록된다. 접속이 끊겨도 컨텍스트가 사라지지 않으며, 사용자가 돌아오면 멈춘 지점에서 작업을 이어갈 수 있다. 요청마다 상태를 새로 구성하는 stateless API와 대비되는 설계다.

상시 실행이 곧 항상 최대 자원을 사용한다는 뜻은 아니다. Spark는 활동 예측에 따라 컴퓨팅 할당을 조절한다. 사용자가 수면 중이거나 평소 앱을 쓰지 않는 시간대에는 VM 리소스를 축소하고, 회의 알림이나 결제 도달, 메시지 임계치 같은 중요 이벤트가 감지되면 풀 컴퓨팅으로 확장한다.

여러 앱의 변화를 하나의 맥락으로 묶는 방법

에이전트가 앱 전반의 정보를 함께 판단하려면 데이터 수집 경로부터 통합해야 한다. Spark의 브릿지 레이어는 연결 대상에 따라 서로 다른 방식을 쓴다.

Gmail, Calendar, Drive, Maps, YouTube 같은 Google 앱은 내부 gRPC 스트림으로 연결된다. 변경 사항을 지연 없이 컨텍스트에 반영하고, 별도의 권한 협상 없이 풍부한 메타데이터를 사용할 수 있다. Slack, Notion, Spotify를 비롯한 서드파티 앱은 OAuth 2.0 기반 앱 커넥터 SDK로 연동한다. 커넥터를 제공하지 않는 서비스는 디바이스 알림 채널과 스크린 컨텍스트 캡처를 통해 간접적으로 정보를 수집한다.

모든 앱을 같은 주기로 확인하지도 않는다. 금융 앱의 결제 알림과 임박한 캘린더 일정은 25초 간격의 준실시간 폴링 대상으로 다루고, 일반 소셜 미디어 업데이트는 30120초 단위로 묶어 처리한다. 우선순위 큐는 사용자의 행동을 학습하면서 개인화되고, 축적된 패턴에 맞춰 폴링 전략도 달라진다.

오래 쌓인 컨텍스트를 감당하는 계층형 메모리

24/7 에이전트에서는 대화 한 번의 컨텍스트보다 장기간 누적되는 기록이 더 큰 문제다. Spark는 모든 기록을 같은 형태로 보관하지 않고, 사용 시점과 목적에 따라 메모리 계층을 나눈다.

작업 메모리(Working Memory): 최근 24시간, 전체 토큰 윈도우 유지
에피소딕 메모리(Episodic Memory): 최근 30일, 중요 이벤트 요약 압축
시맨틱 메모리(Semantic Memory): 장기 패턴·선호·관계 벡터 임베딩

오래된 컨텍스트는 중요도 점수(Importance Score)에 따라 요약하거나 벡터화한다. 전체 토큰을 계속 유지하는 대신 핵심 정보를 고밀도 임베딩으로 전환하면 추론 비용을 최대 80% 줄일 수 있다. 과거 맥락이 다시 필요해지면 벡터 검색으로 관련 에피소드를 찾아 디컴프레스하고, 이를 작업 메모리에 주입한다.

이 구조에서 메모리는 단순한 기록 보관소가 아니다. 최근 상황은 원문에 가까운 형태로 빠르게 참조하고, 중기 사건은 압축된 에피소드로 불러오며, 장기적인 선호와 관계는 검색 가능한 의미 표현으로 사용한다.

사용자 행동을 세계 상태로 바꾸는 Gemini Omni

Gemini Omni는 언어 모델과 세계 모델을 결합한다. 텍스트의 다음 토큰만 예측하는 대신, 사용자 행동과 환경 상태를 시공간적으로 인코딩해 다음 상태를 추론한다.

입력은 하나의 형식으로 제한되지 않는다. 탭, 스크롤, 텍스트 입력 같은 앱 조작 이벤트와 위치, 가속도계, 환경음 같은 센서 데이터가 들어온다. 여기에 캘린더 상태와 일정, 메시지 빈도와 통화 시간대 같은 통신 패턴도 결합된다. 각 입력은 도메인 특화 인코더를 거친 뒤 크로스 모달 어텐션 레이어에서 하나의 임베딩 공간으로 통합된다.

시간 역시 단순한 타임스탬프로만 표현하지 않는다. 상대적 시간 임베딩(Relative Temporal Embedding)은 사용자의 반복되는 리듬 안에서 사건의 위치를 나타낸다. 이를테면 월요일 오전 9시를 절대 시각에 고정하지 않고 주간 루틴이 시작되는 시점으로 인코딩한다. 시간대나 국가가 달라져도 같은 의미를 가진 행동 패턴을 학습하기 위한 방식이다.

다음 상태와 결과를 함께 예측한다

세계 모델은 현재 상태 (S_t)에서 행동 (a_t)가 주어졌을 때 다음 상태 (S_{t+1})을 예측하는 트랜지션 함수를 학습한다. Gemini Omni는 이를 멀티스케일 트랜스포머 아키텍처로 구현한다.

(1) 행동 시퀀스 입력(앱 이벤트·센서·통신)도메인별 인코더(App / Sensor / Comm)크로스 모달 어텐션(Cross-Modal Attention)세계 상태 표현(World State Embedding)Gemini Omni트랜지션 모델(2) 다음 상태 예측P(S_t+1 | S_t, a_t)불확실성 정량화(Uncertainty Head)신뢰 구간 출력(High / Mid / Low Conf)(3) 보상 예측(Outcome Prediction)Gemini Spark계획 에이전트

크로스 모달 어텐션은 서로 다른 도메인에 나타난 신호의 상관관계를 찾는다. GPS가 특정 카페를 가리키고, 캘린더에 미팅이 없으며, 음악 재생이 시작되는 조합이 반복되면 이를 여유로운 개인 시간이 시작되는 상태로 학습할 수 있다. 이후 비슷한 조합이 나타났을 때 에이전트는 같은 상태를 높은 신뢰도로 예측한다. 단일 모달 입력만으로는 잡기 어려운 맥락을 여러 신호의 관계에서 읽어내는 셈이다.

개인화는 계속하되 확신이 낮으면 멈춘다

세계 모델은 새로운 관측 결과를 반영하지 않으면 사용자 습관의 변화를 따라갈 수 없다. Gemini Omni는 온라인 파인튜닝(Online Fine-tuning)과 베이지안 업데이트를 결합해 모델을 지속적으로 조정한다.

각 추론 사이클에서는 예측과 실제 결과의 차이로 예측 오차(Prediction Error)를 계산한다. 이 오차는 사용자별 어댑터 레이어에 역전파된다. 기반 모델의 가중치는 고정하고 경량 LoRA 어댑터만 갱신해 연산 비용을 줄이면서 개인화를 이어간다.

다만 예측했다고 해서 언제나 행동으로 옮기지는 않는다. Omni의 불확실성 헤드(Uncertainty Head)는 각 예측에 분포 기반 신뢰 구간을 부여한다. 신뢰도가 임계값보다 낮으면 Spark는 자율 실행을 멈추고 사용자에게 확인을 요청하거나, 더 안전한 기본 행동(conservative action)으로 폴백한다. 선제적 에이전트에서는 무엇을 예측하는가만큼 언제 개입하지 않을지를 판단하는 장치가 필요하다.

온디바이스 어시스턴트와 다른 선택

개인 AI 에이전트 시장에서 Apple Intelligence(iOS 18+), Samsung Bixby AI, Gemini Spark는 서로 다른 아키텍처 방향을 택한다.

Apple Intelligence는 온디바이스 처리를 우선하고 Private Cloud Compute를 통해 민감한 데이터가 기기 밖으로 나가지 않도록 설계한다. 프라이버시가 최우선이지만, 기기가 꺼지거나 배터리가 부족하면 지속적인 배경 추론도 멈춘다는 제약이 있다.

Samsung Bixby AI는 Galaxy 디바이스에 최적화된 에이전트다. 카메라와 통화, 앱 간 데이터 공유처럼 삼성 기기 고유 기능과 깊이 결합하는 데 강점이 있다. 반면 서드파티 앱 연동 범위와 클라우드 추론의 깊이에는 한계가 있다.

Gemini Spark의 선택은 클라우드 퍼시스턴스와 세계 모델 추론이다. 기기와 무관한 24/7 실행, 수백 개 앱을 아우르는 통합 추론, Gemini Omni를 이용한 선제적 의사결정이 차별점이다. 그 대가로 민감한 데이터가 클라우드에 집중되는 데 따른 프라이버시 우려와 네트워크 의존성을 감수해야 한다.

AI Ultra 구독과 데이터 록인

Gemini Spark는 Google의 프리미엄 AI 수익화 전략 안에서 AI Ultra의 핵심 기능으로 배치된다. AI Ultra는 2026년 기준 월 $249.99이며, Gemini 1.5 Ultra 접근 권한과 2TB 스토리지, YouTube Premium, Google One 혜택을 포함한다.

에이전트가 오랜 기간 사용자 행동을 학습할수록 서비스 이전은 어려워진다. Spark가 수개월 동안 개인의 패턴을 축적해 맞춤형 세계 모델을 만들면, 이를 경쟁 서비스로 그대로 옮기기 어렵기 때문이다. Google은 이 록인(Lock-in)을 구독 갱신율과 장기 고객 생애 가치(LTV)를 높이는 기반으로 삼는다.

요청을 기다리지 않는 에이전트의 경쟁력

반응형 에이전트는 사용자가 요청한 뒤 행동한다. 세계 모델 기반 에이전트는 앞으로 필요한 것이 무엇인지 예측하고 요청 전에 준비한다.

사용자가 공항에 도착하기 1시간 전을 가정해보자. Spark는 이동 패턴과 캘린더 데이터를 Gemini Omni로 분석하고 항공편 상태, 탑승권, 환전 정보, 목적지 날씨를 미리 준비한다. 사용자가 각각의 정보를 요청하지 않아도 필요한 시점에 제공하는 것이 예측적 에이전트(Proactive Agent)의 핵심이다.

이 경쟁은 예측 정확도와 개인화 깊이에 달려 있다. Google은 Omni의 멀티모달 세계 모델과 사용자 데이터 기반으로 우위를 유지하려 하지만, Microsoft Copilot과 Amazon Alexa+도 세계 모델 통합을 서두르고 있다. 원본의 전망대로라면 2026년 하반기에는 기술 경쟁이 더 치열해지고, 향후 2~3년이 시장 구도를 좌우하는 시기가 된다.

클라우드 퍼시스턴트 세션과 세계 모델 추론의 결합은 AI 에이전트를 요청 응답형 도구에서 자율 예측형 시스템으로 옮기는 설계다. 동시에 프라이버시 민감 데이터의 클라우드 집중과 AI Ultra 구독의 높은 진입 장벽은 대중화에 앞서 풀어야 할 문제로 남는다.

Sources

Gemini SparkGemini Omni개인 AI 에이전트세계 모델멀티모달 AI