Gemini 3.5 Flash와 3.1 Ultra의 에이전트 모델 라우팅 설계
Gemini 3.5 Flash와 3.1 Ultra의 속도·컨텍스트·멀티모달 차이와 Managed Agents API 기반 에이전트 라우팅을 분석한다.
2026-08-14 · 최초 발행 2026-08-02
빠른 실행과 긴 맥락을 한 시스템에 배치한다
Google I/O 2026에서 공개된 Gemini 3.5 Flash와 Gemini 3.1 Ultra는 같은 제품군 안에서도 서로 다른 역할을 겨냥한다. Flash는 기존 대비 4배 빠른 추론과 에이전틱 코딩 최적화에 초점을 맞췄다. Ultra는 2M(200만) 토큰 컨텍스트와 강화된 멀티모달 처리 능력을 갖춘 플래그십 모델로 제시됐다.
함께 공개된 Managed Agents API는 이 둘을 연결하는 실행 계층이다. 개발자가 단일 API 호출로 자율 에이전트를 스핀업할 수 있도록 추상화하고, Google Cloud Vertex AI와 네이티브로 통합해 엔터프라이즈 에이전트 배포의 복잡성을 줄인다. 이 인터페이스는 2026년 에이전틱 AI 인프라의 핵심 접점으로 자리 잡을 전망이다.
Gemini 3.5 Flash가 속도를 확보한 방식
Gemini 3.5 Flash의 4배 추론 속도는 하드웨어 변경 하나로 설명되지 않는다. 스펙큘레이티브 디코딩, 입력에 따른 컴퓨트 할당, KV 캐시 관리, 에이전틱 코딩 특화 학습이 함께 작동한다.
스펙큘레이티브 디코딩에서는 작은 드래프트 모델이 토큰 후보를 만들고 대형 모델이 이를 병렬로 검증한다. 반복적이며 일정한 패턴이 자주 나타나는 에이전틱 코딩 작업에서는 후보 검증 성공률이 높아 속도 이득을 얻기 쉽다.
동적 컴퓨트 할당은 요청의 복잡도에 맞춰 레이어별 연산량을 조절한다. 단순한 코드 완성과 복잡한 아키텍처 설계가 같은 연산 자원을 소비하지 않도록 해 평균 처리 비용을 낮추는 구조다.
장시간 이어지는 에이전트 세션에서는 코드베이스와 시스템 프롬프트처럼 반복 참조되는 정보가 KV 캐시에 쌓인다. 이를 압축하고 공유해 메모리 대역폭 병목을 줄인다. 코드 생성, 리팩토링, 디버깅, 테스트 작성으로 이어지는 전형적인 작업 순서에 특화된 파인튜닝은 태스크의 단계 수(step count)와 오류율을 낮추는 역할을 맡는다.
병렬 실행은 Flash, 통합 검토는 Ultra
단일 대형 모델에 모든 작업을 몰아주는 대신 여러 Flash 인스턴스가 독립적인 서브태스크를 병렬로 처리하고, Ultra가 전체 결과를 검증하는 구조를 사용할 수 있다.
이 배치에서 Flash는 처리량과 낮은 지연(latency)이 필요한 실행 레이어를 담당한다. Ultra는 전체 컨텍스트를 읽어야 하는 검증과 결과 통합에만 투입한다. 역할을 분리하면 고비용 플래그십 모델의 호출 범위를 제한하면서 병렬 처리의 이점을 활용할 수 있다.
2M 토큰을 다루는 Ultra의 메모리 구조
2M 토큰은 약 150만 단어 또는 수천 페이지의 문서를 하나의 컨텍스트 창에 넣을 수 있는 규모다. 이 길이를 실용적으로 처리하려면 어텐션 레이어의 시퀀스 길이만 늘려서는 부족하다.
계층적 어텐션은 근거리(local) 어텐션과 원거리(global) 어텐션을 결합한다. 전체 2M 토큰에 O(n²) 연산을 그대로 적용하는 대신 희소 어텐션(sparse attention) 패턴으로 필요한 관계를 처리한다.
오래된 컨텍스트는 점진적으로 압축하고 요약한다. 중요한 정보는 남기면서 KV 캐시의 메모리 사용량을 관리하는 방식이며, 인간의 작업 기억(working memory)과 장기 기억(long-term memory) 모델에서 영감을 받은 설계다.
대용량 입력은 청크 단위로 나눠 병렬 처리한 뒤 결과를 합친다. 이 분산 처리 파이프라인은 단일 GPU의 메모리 한계를 넘어선 컨텍스트 처리를 지원한다.
긴 컨텍스트와 멀티모달이 만나는 작업
Gemini 3.1 Ultra는 텍스트, 이미지, 오디오, 비디오, 코드를 함께 처리하는 멀티모달 플래그십을 지향한다. 2M 토큰 컨텍스트와 결합하면 입력 전체를 함께 검토해야 하는 작업에 적용할 수 있다.
대규모 코드베이스 분석에서는 수십만 줄의 코드와 설계 문서, 테스트 결과, 이슈 트래커 데이터를 한 컨텍스트에 넣어 종합적인 리팩토링 전략을 도출한다. 장편 영상에서는 수 시간 분량의 강의, 회의, 다큐멘터리를 전체적으로 이해해 인덱싱·요약·질의응답을 수행한다.
기업 문서 환경에서는 수천 개의 내부 문서를 컨텍스트에 직접 넣어 벡터 검색 기반 RAG가 겪는 검색 정밀도와 청크 경계 손실을 우회할 수 있다. 법률, 의학, 금융처럼 방대한 참조 문헌을 동시에 고려해야 하는 분야에서는 복잡한 다단계 추론을 수행하는 전문가 시스템에 연결할 수 있다.
Managed Agents API가 감추는 실행 인프라
에이전트 배포에는 오케스트레이션 프레임워크, 메모리 관리, 도구 바인딩, 오류 처리, 스케일링 인프라가 필요하다. Managed Agents API는 이 실행 환경을 추상화해 AWS Lambda나 Cloud Functions와 같은 위치를 에이전틱 AI 인프라에서 노리는 제품이다.
# Managed Agents API 사용 예시 (개념적 코드)
from google.cloud import agents_v1
client = agents_v1.AgentServiceClient()
response = client.run_agent(
model="gemini-3-5-flash",
agent_config={
"tools": ["code_execution", "web_search", "file_read"],
"max_steps": 50,
"memory_mode": "ephemeral"
},
task="다음 Python 코드의 성능 병목을 분석하고 최적화된 버전을 작성하라: ...",
context_files=["main.py", "utils.py", "tests/"]
)
print(response.result)
print(response.steps_taken)
print(response.tool_calls_made)이 인터페이스 뒤에서는 에이전트 실행 샌드박스, 도구 접근 제어, 상태 관리, 자동 재시도, 비용 상한 설정을 Google이 관리한다. 개발자가 에이전트의 목표와 허용 도구를 지정하면 실행 인프라는 관리형 영역에 남는다.
Managed Agents API는 Vertex AI 에이전트 빌더, Cloud Run, Cloud Functions, AlloyDB, BigQuery와 네이티브로 통합된다. 기존 GCP 인프라 위에 에이전트를 배치할 때 서비스 연결을 단순화하는 구조다.
워크로드에 따라 Flash와 Ultra를 나눈다
| 항목 | Gemini 3.5 Flash | Gemini 3.1 Ultra |
|---|---|---|
| 추론 속도 | 기존 대비 4배 향상 | 표준 (플래그십 수준) |
| 컨텍스트 창 | 표준 (수십만 토큰 수준) | 2M 토큰 |
| 비용 효율성 | 높음 (저비용 에이전틱) | 낮음 (고비용 플래그십) |
| 멀티모달 | 기본 지원 | 강화된 멀티모달 |
| 주요 유즈케이스 | 에이전틱 코딩, 반복 태스크, 실시간 응답 | 대용량 문서 분석, 복잡한 추론, 연구 보조 |
| 에이전틱 최적화 | 코딩·도구 호출 특화 | 종합 추론·검증 특화 |
| 배포 패턴 | 다수 병렬 인스턴스 | 단일 또는 소수 인스턴스 |
| 적합한 SLA | 저지연, 고처리량 | 고정밀, 긴 처리 허용 |
운영 패턴은 요청의 복잡도와 모델이 맡을 책임을 기준으로 나뉜다.
Flash-우선 구조에서는 대부분의 요청을 Gemini 3.5 Flash로 처리한다. 낮은 신뢰도 스코어나 복잡한 추론이 감지될 때만 Ultra로 에스컬레이션한다. 95% 이상의 요청을 Flash에 배치하면 비용을 대폭 줄이면서 품질을 유지할 수 있다.
태스크 기반 라우팅은 요청 유형을 사전에 나눈다. 코드 생성, 번역, 요약처럼 정형화된 작업은 Flash가 맡고, 법률 문서 전체 분석이나 복잡한 수학 증명, 멀티모달 복합 추론은 Ultra로 보낸다.
반대로 Ultra가 전략적 초안이나 아키텍처 설계를 만든 뒤 Flash가 세부 구현을 반복해서 다듬는 흐름도 가능하다. 창의적이고 전략적인 판단과 반복 실행을 분리하는 방식이다.
경량 에이전틱 모델을 고르는 기준
2026년 경량 에이전틱 LLM 시장에서는 Gemini 3.5 Flash, Claude Haiku 4.5, GPT-4o mini가 서로 다른 생태계와 운영 특성을 내세운다.
| 비교 항목 | Gemini 3.5 Flash | Claude Haiku 4.5 | GPT-4o mini |
|---|---|---|---|
| 속도 | 최고 수준 (4배 업그레이드) | 매우 빠름 | 빠름 |
| 에이전틱 코딩 | Google 생태계 최적화 | 안전성·신뢰성 강조 | OpenAI 툴 생태계 통합 |
| 컨텍스트 창 | 장문 지원 | 200K 토큰 | 128K 토큰 |
| 멀티모달 | 강력한 비전 | 텍스트·비전 | 텍스트·비전·오디오 |
| 에코시스템 | Google Cloud / Vertex AI | AWS Bedrock / Claude API | Azure OpenAI / OpenAI API |
| 가격 경쟁력 | 적극적 가격 인하 | 중간 수준 | 중간 수준 |
| 에이전트 프레임워크 | Managed Agents API | Claude Agent SDK | Assistants API |
| 안전성 | Google Safety 정책 | Constitutional AI | OpenAI 안전 정책 |
GCP, Gmail, Workspace, BigQuery를 주력으로 쓰는 조직은 Gemini 3.5 Flash와 Managed Agents API의 통합 비용과 운영 복잡성을 검토할 수 있다. 의료, 법률, 금융처럼 안전성과 규제 준수를 우선하는 환경에서 AI 에이전트의 예측 가능성과 Constitutional AI 기반 안전 장치를 중시한다면 Claude Haiku 4.5가 경쟁력을 갖는다. 이미 OpenAI API와 Assistants API를 사용하는 팀에는 GPT-4o mini가 기존 인프라와 연결하기 쉬워 마이그레이션 부담이 적다.
기존 아키텍처 개념으로 읽는 에이전트 계층
Managed Agents API가 태스크를 나누고 Flash 에이전트 풀에 전달하는 구조는 분산 컴퓨팅의 태스크 병렬화(task parallelism)와 마스터-워커(master-worker) 패턴으로 해석할 수 있다. Flash는 병렬 실행 가능한 서브태스크 레이어에서 성능과 비용을 조절하고, Ultra는 종합 추론과 검증을 맡아 정확도와 품질을 보완한다.
2M 토큰 컨텍스트 관리는 메모리 계층 구조를 소프트웨어 레이어에 옮긴 사례로 볼 수 있다. KV 캐시는 CPU 캐시, 압축된 컨텍스트는 주기억장치, 외부 문서 저장소는 보조기억장치에 대응한다.
Managed Agents API의 단일 호출 방식은 SOA(Service Oriented Architecture)의 서비스 추상화와 마이크로서비스의 자율 배포 원칙을 결합한 형태다. API 게이트웨이와 서비스 오케스트레이터 역할을 맡아 태스크 분해(task decomposition), 병렬 실행, 결과 통합(aggregation)을 연결한다. 이때 SOA의 느슨한 결합(loose coupling)과 서비스 재사용성 원칙을 적용할 수 있다.
Flash와 Ultra의 선택은 성능과 정확도, 비용과 품질 사이의 트레이드오프다. ATAM(Architecture Tradeoff Analysis Method)처럼 품질 속성과 아키텍처 드라이버를 비교하는 방식으로 모델 배치를 결정할 수 있다.
경량 모델과 플래그십 모델의 역할은 더 갈라진다
2026년 AI 모델 시장은 경량·고속 모델과 대형·고성능 모델로 양극화될 전망이다. Gemini 3.5 Flash와 3.1 Ultra의 동시 발표도 이 방향을 보여준다. 중간 규모 범용 모델의 입지는 점차 줄고, 비용 효율을 극대화한 엣지·에이전틱 모델과 정밀도를 극대화한 플래그십 모델의 2원 체제가 산업 표준이 될 것이다.
에이전트 실행 인프라도 클라우드 관리형 서비스로 이동하는 흐름을 보인다. AWS의 Amazon Bedrock Agents, Microsoft의 Azure AI Agent Service, Google의 Managed Agents API가 에이전트-as-a-Service 시장의 3대 플레이어 구도를 형성한다.
2M 토큰 컨텍스트는 RAG(Retrieval-Augmented Generation) 구성에도 영향을 준다. 기업의 소규모 지식베이스는 벡터 데이터베이스를 거치지 않고 컨텍스트에 직접 넣는 방식이 현실적인 대안이 된다. 다만 2M 토큰을 모두 사용하면 비용이 급격히 증가하므로 컨텍스트 효율화와 선택적 활용이 2026년 MLOps의 핵심 역량으로 부상할 것이다.
실무의 초점은 어느 모델 하나를 고르는 데 있지 않다. 루틴 태스크는 Flash에 맡기고, 전체 맥락을 요구하는 검증과 통합 단계에는 Ultra를 배치하는 계층형 구성이 비용과 품질을 함께 조절한다. Gemini 생태계에 투자한 조직이라면 Managed Agents API와 Vertex AI의 네이티브 통합으로 에이전틱 AI 도입의 진입 장벽을 낮출 수 있다. 2026년은 에이전틱 AI가 실험 단계를 벗어나 엔터프라이즈 인프라로 자리 잡는 전환점이 될 것이다.
Sources
- Google I/O 2026 Keynote — Gemini 3.5 Flash & 3.1 Ultra 발표 공식 영상 (2026)
- Google DeepMind Blog: "Gemini 3.5 Flash: Speed and Efficiency for Agentic Coding" (2026)
- Google Cloud Blog: "Managed Agents API: Simplifying Agentic AI Deployment" (2026)
- Vertex AI Documentation: Agent Builder Integration Guide (2026)
- Google Research: "Speculative Decoding at Scale: Lessons from Gemini Flash" (2026)
- The Verge: "Google's Gemini 3.1 Ultra puts 2 million tokens in a single context window" (2026)
- TechCrunch: "Google I/O 2026: Everything announced about Gemini" (2026)
- VentureBeat: "Gemini Flash vs Claude Haiku vs GPT-4o mini: The lightweight agentic LLM showdown" (2026)