Gemini 3.1 Flash Live, 실시간 AI 대화의 지연을 200ms 아래로

2026년 3월, Google은 Gemini 3.1 Flash Live 모델을 공식 출시하며 실시간 멀티모달 AI 처리 영역에서 새로운 이정표를 세웠다. 기존 Flash 계열이 속도와 비용 효율성을 강점으로 내세웠다면, Flash Live는 여기에 실시간 음성·영상 스트리밍 처리 능력을 결합하여 인터랙티브 AI 애플리케이션의 구현 가능성을 한 단계 높였다. 이 모델은 단순한 업데이트가 아니라, Google이 AI를 정적인 추론 도구에서 실시간 대화 파트너로 전환하려는 전략적 전환점을 의미한다.

Flash 계열의 계보에서 나온 Live API

Gemini Flash 계열은 2024년 중반 처음 등장했다. Gemini 1.5 Flash가 128K 컨텍스트 윈도우를 유지하면서 Gemini 1.5 Pro 대비 비용을 대폭 낮추는 방식으로 시장에 안착했고, 이후 Gemini 2.0 Flash, 2.5 Flash를 거치며 지속적으로 성능을 향상시켜 왔다.

Live API의 개념이 처음 등장한 것은 Gemini 2.0 Flash Experimental 단계에서였다. 당시 Google은 WebSocket 기반의 지속적 연결을 통해 오디오·영상 스트림을 처리할 수 있는 실험적 API를 공개했다. Gemini 3.1 Flash Live는 이 실험적 기능을 정식 프로덕션 수준으로 끌어올린 결과물이다. 200ms 미만의 음성 응답 지연(round-trip latency)을 목표로 설계되었으며, 이는 자연스러운 인간-AI 대화를 구현하기 위한 임계값으로 업계에서 인정받는 수치다.

저지연을 만드는 기술적 결정

Gemini 3.1 Flash Live의 저지연 특성은 세 가지 기술적 결정에서 비롯된다.

스트리밍 토큰 생성(Streaming Token Generation). 전통적인 모델은 전체 응답을 생성한 뒤 한꺼번에 전달하지만, Flash Live는 토큰을 생성하는 즉시 스트리밍으로 전송한다. 사용자는 모델이 응답을 완성하기를 기다리지 않아도 된다.

네이티브 오디오 처리. ASR(Automatic Speech Recognition) → LLM → TTS(Text-to-Speech)의 파이프라인 대신, 오디오를 직접 입력으로 받아 처리하는 엔드투엔드 구조를 채택했다. 중간 변환 단계가 줄어들수록 지연이 감소한다.

KV 캐시 지속성(Persistent KV Cache). Live API의 세션 내에서 컨텍스트 캐시를 유지하여 반복적인 컨텍스트 재처리를 피한다. 긴 대화에서 누적되는 지연을 방지하는 핵심 메커니즘이다.

Gemini 3.1 Flash Live는 동시에 여러 모달리티를 처리할 수 있다. 구체적으로는 오디오 스트림(16kHz PCM), 비디오 프레임(최대 1fps로 지속 전송), 텍스트 입력을 동시에 수신하고 처리한다. 출력은 텍스트 및 오디오(24kHz PCM) 형태로 제공된다.

컨텍스트 윈도우는 1M 토큰을 지원하며, 이는 장시간 대화 세션이나 긴 영상 스트림 분석에도 충분한 용량이다. 함수 호출(Function Calling)과 Google 검색 도구(Grounding with Google Search)도 Live API 세션 내에서 실시간으로 활용할 수 있다.

요청-응답에서 지속 연결로

기존 Gemini API는 요청-응답(Request-Response) 모델이다. 클라이언트가 전체 입력을 전송하고, 모델이 처리를 완료한 뒤 응답을 반환한다. 이 구조는 문서 요약이나 코드 생성 같은 비실시간 작업에 적합하지만, 대화 중 끊김 없는 상호작용에는 적합하지 않다.

Live API는 WebSocket 기반의 양방향 지속 연결을 사용한다. 세션이 열려 있는 동안 클라이언트와 서버가 지속적으로 데이터를 주고받는다. 이 구조의 가장 큰 장점은 **인터럽션 처리(Interruption Handling)**다. 사용자가 모델의 응답 도중 말을 끊으면, 모델이 즉시 감지하고 새로운 입력에 반응한다. 자연스러운 대화에서 필수적인 기능이다.

특성	Gemini API (표준)	Gemini Flash Live API
연결 방식	HTTP REST	WebSocket 지속 연결
응답 방식	완성 후 반환	스트리밍 실시간
오디오 처리	파일 업로드	실시간 스트림
인터럽션 처리	불가	지원
지연 시간	1-5초	200ms 미만 목표
컨텍스트 유지	요청별 독립	세션 내 지속

⤢✕

실시간 음성 비서부터 화면 설명까지

Live API의 가장 직접적인 활용은 음성 AI 어시스턴트 구현이다. 기존에는 STT(Speech-to-Text) API, LLM API, TTS API를 각각 호출하고 파이프라인을 직접 구성해야 했다. 이는 각 단계마다 지연이 누적되어 전체 응답 시간이 3-5초에 달하는 경우가 많았다.

Flash Live를 사용하면 단일 WebSocket 연결로 전체 파이프라인을 대체한다. Python SDK 기준으로 client.aio.live.connect(model='gemini-3.1-flash-live') 컨텍스트 매니저 내에서 send_realtime_input()으로 오디오를 스트리밍하고, 응답 이벤트에서 오디오 청크를 수신하는 방식으로 구현된다.

웹캠이나 화면 캡처 스트림을 1fps로 전송하면서 음성으로 질문하면, 모델이 현재 보이는 화면 내용을 인식하고 대답한다. 예를 들어 실시간 코드 리뷰, 접근성 지원(시각 장애인을 위한 화면 설명), 라이브 영상 분석 등에 적용 가능하다. 1fps는 낮아 보이지만 대부분의 실용적 시나리오에서 충분하며, 더 높은 프레임 레이트는 네트워크 및 토큰 비용을 급격히 증가시킨다.

Flash의 경량화 철학이 실시간과 만났을 때

Gemini Flash 계열의 핵심 철학은 "충분한 성능을 최저 비용으로"다. Gemini Ultra나 Pro 계열이 최고 성능을 추구한다면, Flash는 대부분의 실용적 태스크에서 Pro와 비슷한 결과를 1/10 이하의 비용으로 달성하는 것을 목표로 한다.

이 철학이 Live API와 만났을 때 파급력이 생긴다. 실시간 AI 인터랙션은 지속적인 API 호출을 수반하므로 비용이 매우 빠르게 누적된다. Pro 급 모델로 실시간 음성 서비스를 운영하면 사용자당 분당 수십 원의 비용이 발생할 수 있지만, Flash Live는 이를 1/5~1/10 수준으로 낮출 수 있다. 소비자 향 서비스에서 이 차이는 비즈니스 모델의 성립 여부를 결정짓는다.

GPT-4o Realtime과 나란히 놓으면

OpenAI의 GPT-4o Realtime API는 2024년 10월 공개 이후 실시간 음성 AI의 사실상 표준처럼 여겨져 왔다. Gemini 3.1 Flash Live는 이에 정면 도전하는 구도다.

GPT-4o Realtime과 비교했을 때 Flash Live의 차별점은 멀티모달 범위에 있다. GPT-4o Realtime은 주로 오디오-텍스트 양방향에 집중하지만, Flash Live는 동시 비디오 스트림 처리를 정식 지원한다. 또한 Google 검색과의 실시간 연동(Grounding)은 GPT-4o Realtime에서 제공하지 않는 기능이다. 가격 경쟁력도 Flash Live가 유리한 위치에 있다.

반면 GPT-4o Realtime은 감정 표현, 웃음, 숨소리 등 더 자연스러운 음성 합성 품질에서 앞선다는 평가를 받는다. Flash Live의 음성 출력은 기능적으로 충분하지만, 감성적 자연스러움 측면에서는 아직 개선 여지가 있다.

시작하는 법과 알아둘 제약

Gemini 3.1 Flash Live는 Google AI Studio와 Google Cloud Vertex AI 모두에서 사용할 수 있다. Google AI Studio는 실험 및 프로토타입 단계에, Vertex AI는 프로덕션 엔터프라이즈 환경에 적합하다.

Python 기준 핵심 코드 패턴은 다음과 같다. google-genai SDK 버전 1.x 이상에서 types.LiveConnectConfig를 통해 응답 모달리티(AUDIO/TEXT), 음성 설정(voice_name), 시스템 지시사항을 설정한다. 세션 내에서 session.send_realtime_input()으로 오디오 청크를 전송하고, 비동기 이터레이터로 응답 이벤트를 수신하는 구조다.

주의할 점은 Live API 세션의 최대 지속 시간이 현재 15분으로 제한되어 있다는 것이다. 장시간 운영이 필요한 서비스는 세션 재연결 로직을 구현해야 한다. 또한 함수 호출 결과를 세션에 반환할 때 tool_response 메시지 형식을 정확히 따라야 하며, 비동기 함수 호출 모드(ASYNC)에서는 모델이 함수 결과를 기다리지 않고 계속 응답할 수 있다는 점도 고려해야 한다.

Gemini 3.1 Flash Live는 단순히 빠른 모델이 아니라, AI 인터랙션의 형태 자체를 바꾸는 도구다. 실시간 음성과 영상을 동시에 처리하면서 200ms 미만의 지연을 목표로 하는 이 모델은, 지금까지 구현 비용이 너무 높아 상용화가 어려웠던 실시간 AI 서비스의 문턱을 낮춘다. Flash 계열의 비용 효율성과 Live API의 실시간 처리 능력이 결합된 Gemini 3.1 Flash Live는, 대화형 AI 어시스턴트, 실시간 접근성 도구, 라이브 영상 분석 등 다양한 분야에서 새로운 서비스를 가능하게 할 것이다. Google이 Gemini 생태계를 통해 실시간 AI 인터랙션의 주도권을 잡으려는 의지가 분명히 드러나는 출시다.