Gemini Flash 티어링과 에이전트 워크로드 라우팅 설계

Flash 계열 재편이 보여주는 모델 선택의 변화

구글은 2026년 7월 21일 Gemini 3.6 Flash, 3.5 Flash-Lite, 3.5 Flash Cyber를 동시에 공개했다. Gemini 3.5 Pro는 coding 성능 미달로 6월 출시 창을 놓친 뒤 다시 연기됐고, 발표 직후 알파벳 주가는 약 3% 하락했다.

대신 이번 발표는 저지연·저비용 Flash 계열을 agentic workload에 맞춰 세분화하는 데 초점이 맞춰졌다. Gemini 3.6 Flash의 output token 사용량은 3.5 Flash 대비 17% 줄었으며, Artificial Analysis Index를 기준으로 한 수치다. output 가격은 100만 토큰당 $9.00에서 $7.50로 낮아졌고 input 가격은 $1.50로 유지됐다. knowledge cutoff도 2025년 1월에서 2026년 3월로 전진했다.

Gemini 4는 training에 착수했으며, Pichai가 실적 발표에서 로드맵을 공유할 예정이다. 보안 취약점 탐지·수정에 특화된 3.5 Flash Cyber는 정부와 신뢰 파트너를 대상으로 한 제한적 pilot으로만 제공된다.

비용과 지연을 함께 낮추는 Flash 티어

경량 Flash 티어의 목적은 품질을 크게 해치지 않으면서 추론 비용과 지연을 함께 낮추는 데 있다. 대형 모델의 능력을 축소된 파라미터로 옮기는 distillation은 서빙 비용과 latency를 줄이는 방향으로 작동한다. quantization은 가중치와 활성값을 INT8·FP8 등의 저정밀도로 표현해 메모리 대역폭과 연산량을 줄이고 throughput을 높인다.

3.6 Flash는 동일 작업을 더 적은 turn과 짧은 출력으로 끝내는 데 초점을 뒀다. DeepSWE(Datacurve) 벤치마크에서는 최대 65% token 절감이 보고됐다. 3.6 Flash와 3.5 Flash-Lite는 모두 100만 토큰 input context와 최대 output 64,000 토큰을 제공한다. Flash-Lite는 초당 약 350 output tokens의 high-throughput을 제공해 agentic search와 문서 처리에 맞춘 위치를 차지한다.

비용 구간은 Flash-Lite, 3.6 Flash, 지연된 Pro로 이어진다. 시간 민감도가 낮은 요청은 batch로 처리하면 전 모델에 50% 할인이 적용된다.

⤢✕

요청 특성으로 모델 티어를 고르는 방식

모델 선택은 단일 최고 성능 모델을 고르는 문제가 아니라, 요청을 어느 티어에 보낼지 정하는 문제로 바뀐다. 분류·추출·요약처럼 정형화된 작업은 Flash-Lite에 두고, 다단계 도구 호출과 coding은 3.6 Flash로 보낸다. 복잡한 추론만 상위 티어로 분리하는 방식이다.

이때 latency 예산(SLA), 요청당 비용, 정답률을 기준으로 티어를 매핑해야 과잉 스펙을 줄일 수 있다. 3.6 Flash 기준 요청당 비용은 다음 식으로 산출하고, 일·월 호출량을 반영해 예산 상한을 잡을 수 있다.

(입력 토큰 × $1.50 + 출력 토큰 × $7.50) / 1,000,000

비실시간 요청은 batch 큐에 모아 50% 할인 경로로 분리하고, 실시간 경로와 섞지 않는다. router 계층은 프롬프트 복잡도, 토큰 길이, 도구 사용 여부를 신호로 삼아 적절한 티어를 자동 선택한다. 상위 티어가 미가용 상태이거나 타임아웃이 발생하면 하위 티어로 자동 강등하고, 품질이 부족한 응답은 상위 티어로 재시도하는 escalation을 둔다.

각 모델이 맡는 자리

항목	3.6 Flash	3.5 Flash-Lite	3.5 Flash Cyber
포지션	범용 agentic·coding	최저비용·고throughput	보안 취약점 특화
가격(입력/출력, 100만 토큰)	$1.50 / $7.50	클래스 내 최저가	pilot 한정
지연·처리량	균형형	약 350 tok/s	미공개
context / 최대 output	100만 / 64K	100만 / 64K	미공개
토큰 효율	3.5 Flash 대비 17%↓	대량 병렬에 최적	취약점 탐지 정확도 우선
가용성	일반 공개	일반 공개	정부·파트너 제한

단순 작업까지 대형 모델에 보내면 요청당 비용이 커진다. 티어링은 비용을 수 배 낮출 수 있지만, 그 대가로 라우팅 복잡도를 감수해야 한다. 시간당 수천 회 실행되는 agent에서는 토큰 1개 절감이 누적 비용을 좌우하므로 Flash 계열이 유리하다. 심층 추론과 정밀 coding은 상위 티어가 필요한 영역으로 남는다.

Cyber는 범용 모델을 보안 도메인에 fine-tuning한 수직 특화 티어다. 규제와 신뢰 요건 때문에 접근 자체를 제한하는 배포 모델이라는 점에서도 구분된다.

서비스 아키텍처에 포함되는 비용 거버넌스

경량 티어링은 AI 서비스 설계와 IT 거버넌스가 맞물리는 지점이다. model tier를 아키텍처 컴포넌트로 명시하고, router와 fallback은 SPOF 없이 이중화해 가용성·성능 목표(SLA)에 맞춰야 한다.

토큰은 원가 동인으로 관리할 수 있다. 서비스와 팀별 호출 쿼터, 예산 한도를 두고 실사용을 모니터링하면 chargeback·showback 체계를 구성할 수 있다. 티어 강등으로 생길 수 있는 품질 저하는 회귀 테스트로 감시해야 하며, Cyber처럼 규제 대상 워크로드는 접근 통제와 감사 로그를 필수화해야 한다.

특정 벤더 모델에 대한 lock-in을 낮추려면 티어 추상화 계층도 필요하다. Gemini 3.5 Pro 지연처럼 벤더 로드맵이 흔들리는 상황에 대비하는 장치가 된다.

저비용 모델과 오케스트레이션의 확산

시장은 대형 단일 모델 경쟁에서 workload별 경량 티어 경쟁으로 이동하고 있다. 충분히 좋은 저비용 모델이 대량 트래픽을 흡수하고, 토큰 효율은 벤치마크 못지않은 지표가 된다. 요청당 원가와 turn 수 역시 핵심 마케팅 포인트로 자리 잡을 전망이다.

router와 fallback을 기본 탑재한 multi-tier 오케스트레이션은 표준 아키텍처 패턴이 될 수 있다. Cyber처럼 도메인 특화와 접근 제한을 결합한 모델도 늘어나며, 규제 대응형 배포 모델이 확산될 전망이다.