Gemini Flash 티어링으로 설계하는 저지연 LLM 라우팅

Flash 계층은 최고 성능보다 요청당 비용과 지연을 겨냥한다

구글은 2026년 7월 21일 Gemini 3.6 Flash, Gemini 3.5 Flash-Lite, 보안 특화 Gemini 3.5 Flash Cyber를 함께 공개했다. Gemini API, Google AI Studio, Android Studio에는 3.6 Flash와 3.5 Flash-Lite가 동시에 배포됐다.

이번 구성은 최대 추론 성능을 밀어 올리는 플래그십 중심 전략과 다르다. 출력 토큰, 응답 지연, 단위비용을 낮추는 Flash 계층을 세분화한 것이다. 3.5 Pro는 여러 차례 출시가 지연됐고, Gemini 4가 예고된 상황이다.

3.6 Flash는 다단계 추론을 맡는 주력 모델이다. 3.5 Flash보다 출력 토큰을 17% 적게 생성하며, 지식 컷오프도 2025년 1월에서 2026년 3월로 확장됐다. Flash-Lite는 트리아지나 번역처럼 추론 부담이 낮은 대량 요청에 맞춰졌고, Artificial Analysis Index 기준 초당 약 350 출력 토큰을 처리한다. Flash Cyber는 소프트웨어 취약점 탐지에 특화됐으며 CodeMender 제한 파일럿을 통해 정부와 신뢰 파트너에 우선 제공된다.

요청 특성에 따라 모델을 분기하는 게이트웨이

경량 모델은 파라미터 규모 축소, 증류, 양자화를 통해 추론 지연과 메모리 풋프린트를 줄인다. 장문 컨텍스트 처리 능력을 유지하면서 단가를 낮추는 방향이다. 특히 같은 품질의 응답을 더 짧은 출력 토큰으로 만들 수 있다면, 출력 토큰 비용은 직접 줄어든다.

티어링 구조에서는 단일 대형 모델을 모든 요청에 호출하지 않는다. 요청 복잡도, 지연 목표, 비용 예산을 판단하는 라우팅 계층이 모델 티어를 고른다. 고처리량 파이프라인은 Flash-Lite로 병렬 처리하고, 다단계 추론이나 품질 요구가 높은 요청은 3.6 Flash로 보낸다. 보안 취약점 분석은 Flash Cyber의 접근 범위 안에서 별도 경로로 처리한다.

⤢✕

라우팅 정책은 품질·지연·비용을 함께 본다

요청을 저추론 대량형, 다단계 추론형, 보안 분석형으로 먼저 나누면 티어 선택 기준이 명확해진다.

Flash-Lite는 트리아지, 번역, 문서 추출, 에이전틱 검색처럼 지연과 단가에 민감한 작업에 맞는다. 3.6 Flash는 다단계 추론과 도구 호출 오케스트레이션처럼 품질 요구가 큰 작업을 담당한다. Flash Cyber는 접근 승인이 필요한 제한 파일럿 환경에서 코드 취약점 스캐닝에 사용한다.

운영 정책은 지연·비용·품질을 SLO로 두고 각 티어의 목표치를 연결하는 방식으로 설계할 수 있다. 월간 비용은 입력·출력 토큰 단가와 예상 호출량을 기준으로 시뮬레이션한다. 대량 처리에는 배치 큐와 Flash-Lite 병렬 워커를 두고, 요청 급증을 다루기 위한 백프레셔를 적용한다.

저티어를 먼저 호출한 뒤 품질 게이트를 통과하지 못하면 상위 티어로 재시도할 수 있다. 이때 최대 재시도 상한을 두어 무한 폴백을 막아야 한다. 반복 프롬프트는 컨텍스트 캐시를 사용해 입력 토큰의 중복 과금을 피한다.

모델별 역할과 비용 범위

구분	Gemini 3.6 Flash	Gemini 3.5 Flash-Lite	Gemini 3.5 Flash Cyber
포지션	주력·다단계 추론	고처리량·저지연	보안 취약점 탐지
입력 단가(1M)	약 $1.50	약 $0.30	제한 파일럿
출력 단가(1M)	약 $7.50	약 $2.50	제한 파일럿
속도	표준 Flash 수준	약 350 토큰/초	미공개
대표 워크로드	도구 호출·추론	트리아지·번역	코드 스캐닝
제공 채널	일반 API·AI Studio	일반 API·AI Studio	CodeMender 제한

저추론 대량 요청을 Flash-Lite가 흡수하면 입력은 약 5배, 출력은 약 3배의 비용 절감 여지가 있다. 고난도 요청만 상위 티어로 격상하는 방식이 전체 비용을 조절하는 핵심이다.

에이전틱 검색과 문서 처리는 Flash-Lite로 응답 속도를 확보하고, 복잡한 계획 수립과 다단계 도구 호출은 3.6 Flash로 품질을 확보할 수 있다. 3.6 Flash의 17% 출력 토큰 감소는 대량 호출 환경에서 비용을 선형으로 낮춘다.

Flash-Lite의 품질 지표도 개선됐다. Terminal-Bench 2.1은 54%로 이전 31%보다 높아졌고, 장문 컨텍스트 성능은 72.2%로 이전 60.1%에서 상승했다.

AI 서비스 운영에 필요한 거버넌스

모델 티어링은 단일 모델 종속을 줄이고 비용과 성능의 탄력성을 확보하는 방식이다. 토큰 단가, 호출량, 티어 분포는 FinOps 지표로 관리할 수 있으며, 부서와 서비스 단위의 챠지백 체계도 여기에 연결된다.

품질 측면에서는 티어별 정확도와 지연 SLO를 정하고 폴백 정책으로 품질 하한을 관리한다. Flash Cyber 같은 보안 특화 모델은 접근 통제와 데이터 취급 정책을 사전에 검토해야 한다.

3.5 Pro 출시 지연은 최상위 추론 수요에 대한 벤더 종속성 리스크이기도 하다. 멀티 벤더 전략과 자체 라우팅 계층을 확보하면 이 공백에 대응할 여지가 생긴다. 요청 라우팅, 추론, 검증을 분리하고 토큰·비용·품질을 로깅하며 배치 처리 확장성을 갖추는 구성이 필요하다.

라인업 세분화가 바꾸는 운영 방식

Flash 계층은 속도와 단가를 기준으로 계속 나뉘고, 워크로드 특화 파생 모델도 늘어날 전망이다. 복잡도 기반 자동 라우팅과 모델 게이트웨이는 애플리케이션의 표준 계층으로 정착할 가능성이 있다.

출력 토큰 절감 경쟁과 단가 하향은 대량 에이전틱 워크로드의 확산을 촉진한다. Flash Cyber와 같은 도메인 특화 모델이 제한 파일럿에서 일반 공급으로 전환될지도 중요한 변수다. 3.5 Pro 지연과 Gemini 4 예고 사이의 플래그십 공백에서는 최상위 추론 수요가 경쟁 벤더로 일부 이동할 수 있다.

토큰 예산과 티어 분포 최적화를 자동화하는 AI FinOps 도구의 채택도 확대될 전망이다. 모델을 선택하는 일은 더 이상 단발성 비교가 아니라, 요청마다 비용·지연·품질을 조정하는 운영 문제에 가까워지고 있다.