경량·특화 모델 시대의 AI 라우팅 아키텍처

Google은 2026년 7월 21일 Gemini 3.6 Flash, Gemini 3.5 Flash-Lite, 보안 취약점 탐지용 Gemini 3.5 Flash Cyber를 함께 공개했다. 이틀 뒤 xAI는 음성 인식 전용 Grok STT 1.0을 내놓았고, 해당 모델은 7월 24일 LLM Gateway에 등재됐다.

이 흐름은 모델 티어가 프런티어·중간·경량이라는 성능 축만으로 나뉘지 않는다는 점을 보여준다. 음성, 보안, 코딩처럼 모달리티와 도메인 축까지 함께 분화되고 있다. 모든 요청을 단일 프런티어 모델에 보내기보다, 경량·음성·보안 특화 모델을 조합하고 워크로드별로 보내는 포트폴리오 설계가 비용과 지연을 다루는 방식이 됐다.

요청의 성격에 따라 모델을 배치하는 구조

Gemini 3.6 Flash는 표준 업무를 처리하는 워크호스 역할에 가깝다. 3.5 Flash와 비교해 출력 토큰 사용량은 17% 감소했고, 출력 단가는 $9.00/M에서 $7.50/M로 낮아졌으며 입력 단가는 $1.50/M으로 유지됐다.

Gemini 3.5 Flash-Lite는 고처리량 작업을 겨냥한다. 입력 $0.30/M, 출력 $2.50/M의 가격과 초당 약 350 출력 토큰이 특징이다. 3.6 Flash와 3.5 Flash-Lite는 모두 100만 토큰 입력 컨텍스트와 최대 64,000 토큰 출력을 제공한다.

출력 토큰 절감과 단가 인하는 구분해서 봐야 한다. 단가가 내려가는 효과와, 같은 작업에서 생성량 자체가 줄어드는 효과는 각각 실효 비용에 영향을 준다.

음성 전사는 별도 경로로 두는 편이 맞다. 전사는 지연에 민감하고, 오류 양상도 텍스트 추론과 다르다. 따라서 전사에는 별도 SLO와 평가셋이 필요하며, 전사 결과를 텍스트 정규화한 뒤 LLM 이해·응답 단계로 넘기는 구조가 자연스럽다.

⤢✕

캐스케이딩은 승격 조건으로 관리한다

라우터는 요청의 길이, 모달리티, 난이도, 도메인을 바탕으로 최초 티어를 선택한다. 대량의 단순 요청은 경량 모델로 먼저 처리하고, 결과가 기준에 미치지 못할 때만 상위 티어로 보내는 방식이 캐스케이딩이다.

신뢰도는 모델의 자기 보고 확신도만으로 판단하지 않는다. 출력 형식 검증, 규칙 기반 후처리 검사, 소형 판정 모델을 함께 사용할 수 있다. 이때 경량 모델의 실패를 뒤늦게 발견하는 비용까지 고려해야 한다. 재시도와 사람 검수가 누적되면 낮은 단가의 이점은 줄어든다.

승격률이 대략 20~30%를 넘으면 캐스케이딩의 비용 이점이 사라질 수 있다. 따라서 승격률은 모델 품질을 보는 지표이면서 동시에 손익분기 판단과 예산 통제를 위한 지표다.

워크로드 카탈로그부터 만든다

도입 시에는 모델 이름을 먼저 고르는 대신, 처리해야 할 작업을 분류하는 편이 낫다. 분류 축은 텍스트·오디오·이미지 같은 모달리티, 오류 비용, 지연 요구, 처리량, 도메인 특수성이다.

각 워크로드에는 기본 모델, 상위 티어 승격 조건, 폴백 대상을 명시한다. 분류, 라우팅, 요약, 추출, 형식 변환, 1차 검수처럼 정답 검증이 값싼 작업은 경량 모델에 맡기기 적합하다. 반대로 되돌리기 어려운 조치, 다단계 도구 실행, 법적·재무적 판단이 결부된 산출물은 경량 모델 위임 범위에서 신중히 다뤄야 한다.

SLO도 하나의 숫자로 묶지 않는다.

관점	확인할 지표
지연	p50/p95 응답 시간, 스트리밍 첫 토큰 지연(TTFT)
비용	요청당 실효 단가, 승격률(escalation rate), 캐시 적중률
품질	태스크 성공률, 형식 준수율, 전사 정확도(WER)

전사 정확도와 텍스트 추론 정확도를 같은 지표로 합치면 장애의 원인을 분리하기 어렵다. 모달리티별 품질 지표를 따로 관리해야 한다.

멀티벤더 폴백이 만드는 운영 부담

벤더 장애나 rate limit이 발생했을 때 동급의 다른 벤더 모델로 자동 전환하는 경로가 필요하다. 이를 위해 벤더 간 대체 모델을 최소 2개 확보하고, 프롬프트와 툴 스키마를 벤더 중립 형식으로 유지한다.

단일 벤더 티어링은 통합, 과금, SDK 관리가 단순하다. 대신 장애와 정책 변경에 함께 노출된다. 멀티벤더 조합은 이식성과 가용성을 확보하지만, 프롬프트 이중 관리와 평가 비용 증가를 감수해야 한다.

폴백은 문서에만 존재해서는 안 된다. 정기적인 폴백 훈련(fire drill)으로 실제 전환 경로가 동작하는지 검증하고, 비용·품질 대시보드에서 모델별 상태를 상시 확인할 필요가 있다.

모델 변경을 정책 계층에서 흡수하기

신모델이 1주 단위로 등장하는 환경에서는 라우팅을 애플리케이션 로직에 고정하기 어렵다. 모델 선택과 승격 조건은 별도 정책 계층으로 분리해야 코드 수정 없이 바꿀 수 있다.

모델 수명주기도 변경관리 대상으로 다룬다. 폐기 예고, 전환 기간, 회귀 결과를 기록하고, 후보 평가 주기를 릴리스 주기와 맞춘다. 티어별 예산 상한을 정해 초과 시 강등(degrade)하거나 큐 지연으로 흡수하는 방식도 정책의 일부가 된다.

경량 모델의 컨텍스트 창이 100만 토큰 수준으로 상향 평준화되면서 경량 모델을 짧은 컨텍스트 작업에만 쓰던 전제는 약해졌다. 보안·음성 특화 소형 모델의 라인업은 성능과 도메인이라는 2차원 매트릭스를 만들고 있다. 라우터와 게이트웨이는 관측성, 예산 통제, 폴백을 함께 담당하는 독립 인프라 계층으로 자리 잡는 중이다.

조직의 경쟁력은 특정 모델 하나를 고르는 일보다, 요청을 어떤 티어에 보낼지 결정하고 그 결과를 측정하는 운영 역량에 더 가까워지고 있다.