경량 LLM 캐스케이딩 라우팅의 비용·품질 설계

경량 모델이 라우팅 설계를 바꾼 배경

Google은 2026년 7월 21일 Gemini 3.6 Flash를 공개했다. 이 모델은 100만 토큰 컨텍스트를 유지하는 경량 주력 모델이며, 출시 당일부터 AI Studio, Gemini API, Gemini 앱에서 제공됐다.

입력 비용은 100만 토큰당 $1.50, 출력 비용은 $7.50이다. 출력 단가는 전 세대의 $9.00에서 낮아졌고, 출력 토큰 사용량도 약 17% 감소했다. 출력 속도는 약 304 토큰/초다. 코딩에서는 SWE-Bench Pro 58.7% 대 55.1%, 컴퓨터 사용에서는 OSWorld Verified 83% 대 78.4%로 전 세대를 앞섰으며, 장문 검색 성능도 개선됐다.

Gemini 3.5 Flash-Lite도 함께 출시되면서 경량 계열 안에서도 티어를 나누는 선택지가 생겼다. 단순 분류, 추출, 요약을 프런티어 모델에 일괄 배정하는 방식은 비용 대비 설득력이 약해지고 있다. 어떤 요청을 어느 모델에 보낼지 결정하는 로직은 이제 인프라 옵션이 아니라 애플리케이션 코드와 운영 정책의 일부다.

요청을 배정하고 검증한 뒤 승격하는 흐름

첫 단계는 요청 난이도를 가르는 일이다. 입력 길이, 요청 유형(분류·추출·요약·생성·추론), 도구 호출 필요 여부, 사용자 등급을 규칙으로 삼을 수 있다. 경량 모델에게 난이도 판정 자체를 맡기는 방법도 있지만, 판정 호출 비용이 추가되므로 그 호출이 충분히 저렴해야 한다.

실무에서는 명확한 요청은 규칙으로 곧바로 보내고, 경계가 모호한 요청만 별도 판정으로 넘기는 혼합 구성이 안정적이다. 이후 경량 모델의 출력이 스키마 검증, 필수 필드, 신뢰도 조건을 통과하지 못하면 상위 티어로 승격한다.

⤢✕

승격의 신호는 경량 모델의 자기 신뢰도 표명, 출력 형식 검증 실패, 필수 필드 누락, 거절·회피 응답, 도구 호출 실패, 후처리 검증 불통과가 될 수 있다. 경로는 경량 모델에서 중간 티어를 거쳐 플래그십 모델로 이어지지만, 단계가 많아질수록 최악 지연도 누적된다. 따라서 통상 2단계로 제한한다.

1차 응답을 상위 모델 프롬프트의 참고 정보로 재사용할 수도 있다. 정확도가 올라갈 수 있는 대신 토큰이 늘어나므로, 이 선택은 실측으로 판단해야 한다.

신뢰도와 지연을 같은 설계 문제로 다루기

신뢰도는 로그 확률, 자기 평가 점수, 다중 샘플 일치율(self-consistency), 구조화 출력 스키마 검증 통과 여부로 추정할 수 있다. 임계값은 정확도와 승격 비율의 트레이드오프를 직접 바꾸며, 이 값 하나만으로도 비용 곡선이 크게 움직인다.

경량 모델의 장점은 단가뿐 아니라 지연에도 있다. 하지만 지연 SLO가 없으면 승격 경로가 그 이점을 잠식한다. SLO는 p50·p95·p99로 정의해야 하며, 캐스케이딩은 특히 p99 꼬리를 늘리는 구조이므로 p99 관리가 핵심이다.

폴백은 장애를 다루는 경로이고, 승격은 품질을 다루는 경로다. 로그에서 둘을 구분하지 않으면 원인을 분석할 수 없다. 최소한 판정 결과, 1차 처리 모델, 승격 여부와 사유, 최종 처리 모델, 단계별 토큰·지연을 남겨야 한다.

위임 범위는 트래픽과 품질 하한에서 정한다

도입 전에 실제 트래픽을 요청 유형별로 집계해 비중을 확인한다. 분류·추출·요약이 호출 건수의 다수를 차지하는 경우가 흔하지만, 위임 범위는 추정으로 정할 일이 아니다. 유형별 요구 정확도와 허용 지연을 명시한 뒤, 경량 모델의 실측 정확도가 요구선을 넘는 유형만 배정한다. 그렇지 않으면 승격 비율이 폭증한다.

구조화 추출, 분류·라벨링, 정형 요약, 형식 변환, 1차 필터링, 임베딩 전처리는 경량 모델에 적합한 작업이다. 반면 다단계 추론, 상충 정보 판단, 장문 코드 수정, 최종 사용자 노출 문장의 미묘한 톤 관리는 위임에 적합하지 않다.

유형별 최소 정확도와 형식 준수율은 품질 하한으로 명시하고, 하한에 미달하면 자동 승격해야 한다. 이 기준이 없으면 캐스케이딩은 비용 절감이 아니라 품질 저하를 정당화하는 장치가 된다.

승격 비율이 목표를 넘으면 절감 효과는 사라지고 지연만 늘어난다. 대응은 위임 범위 축소, 임계값 조정, 프롬프트 개선으로 나뉜다. 형식 위반이 많다면 프롬프트나 스키마 문제일 가능성이 크고, 신뢰도 미달이 많다면 위임 범위를 재검토해야 한다.

비용은 도입 전 전량 플래그십 처리 비용과 실제 비용을 비교해 측정한다. 이때 승격으로 발생한 이중 호출 비용을 반드시 포함한다. 단가 인하와 출력 토큰 사용량 감소는 함께 실사용 비용에 반영된다.

일괄 호출과 비교할 때 확인할 지점

구분	경량 우선 캐스케이딩	프런티어 일괄 호출
평균 단가	낮음	높음
p50 지연	낮음	중간
p99 지연	승격으로 증가	안정적
구현 복잡도	높음(판정·검증·승격)	낮음
품질 일관성	유형별 편차 발생	균일
관측 요구	라우팅 로그 필수	낮음
실패 모드	승격 폭증 시 이중 비용	단순

호출 건수가 많고 단순 작업의 비중이 높다면 경량 우선 전략의 절감폭이 커진다. 호출량이 적거나 대부분이 복잡 추론이라면 판정·검증 구현 비용이 절감분을 상쇄할 수 있다. 손익분기는 단순 작업 비중과 승격 비율의 함수이며, 승격 비율이 일정 수준을 넘으면 일괄 호출보다 비용이 커진다.

고정 규칙 라우팅은 예측 가능하고 디버깅하기 쉽지만, 유형 경계에 걸친 요청은 잘못 배정될 수 있다. 신뢰도 기반 자동 승격은 이런 오배정을 사후 교정하지만 신뢰도 추정 자체가 부정확할 수 있고 이중 호출 비용을 낸다. 유형이 뚜렷한 워크로드에는 규칙이, 입력 다양성이 큰 워크로드에는 신뢰도 기반이 유리하다. 실무의 표준은 규칙으로 1차 배정하고 검증 실패 시 승격하는 혼합 방식이다.

같은 작업을 경량 모델로 여러 번 실행해 다수결을 취하는 방법도 있다. 중간 티어 모델을 한 번 호출하는 방식과 비교할 때 총비용은 단가 배율과 필요한 샘플 수에 따라 달라진다. 경량 모델 단가가 중간 티어의 1/3 수준이면 3회 미만 샘플링에서만 유리하다. 병렬 호출은 지연을 상쇄할 수 있지만 레이트리밋은 더 빨리 소진한다.

운영 정책은 비용 통제와 품질 통제다

캐스케이딩은 평균 지연을 낮추는 대신 꼬리 지연을 높인다. 평균만으로 SLO를 정의하면 승격 경로에서 악화되는 사용자 경험이 지표에서 사라진다. p99를 관리하려면 승격 단계 수를 제한하고, 승격 시 타임아웃 예산을 단계별로 배분해야 한다.

모델 단가 인하는 벤더가 제공하지만 워크로드 배분은 조직이 결정한다. 실질적인 절감의 대부분은 후자에서 나온다. 출력 토큰 사용량 감소는 단가 인하와 곱셈으로 작용하므로, 단가표만 보는 벤더 평가는 실사용 비용을 과대 추정한다.

라우팅 정책은 품질과 비용을 동시에 결정하는 형상 항목으로 관리해야 한다. 정책 변경에는 회귀 평가가 따라야 하며, 개별 팀이 임의로 조정하면 서비스 전반의 품질 일관성이 무너질 수 있다. 사용자에게 노출된 응답이 어느 모델에서 처리됐는지 추적할 수 있어야 품질 이슈와 감사에 대응할 수 있다.

경량 티어가 늘어난 뒤의 방향

Flash와 Flash-Lite처럼 경량 계열 내부의 티어가 분화하면서 캐스케이딩 단계 설계의 선택지도 늘고 있다. 코딩과 컴퓨터 사용 성능이 개선되면 위임 가능한 범위가 넓어지고, 프런티어 모델 호출은 소수 경로로 축소된다.

라우팅 정책은 애플리케이션 코드에서 분리돼 정책 엔진이나 게이트웨이 계층으로 이동하는 방향이다. 단가 인하 경쟁도 출력 토큰 효율 경쟁으로 확장되며, 벤더 비교의 기준은 실사용 비용으로 정착할 가능성이 크다.