LLM 요청 라우팅으로 비용과 품질을 함께 제어하는 방법

2026년 8월에는 8개 프로바이더에서 14개 모델이 공개됐고, GLM-5.3 Flash는 8월 26일 마지막으로 합류했다. 이 모델은 상위 세대인 GLM-5.2보다 성능 우위를 유지하면서 약 10분의 1 가격을 제시했다. Qwen3.8-Flash-Next의 가격도 입력 100만 토큰당 0.16달러, 출력 0.47달러로 책정됐다.

등가 품질의 단가가 한 달 사이 자릿수 단위로 달라지는 시장에서는 특정 모델에 모든 요청을 고정하는 방식이 오래 버티기 어렵다. 쉬운 요청까지 최고 성능 모델로 처리하면 과잉 비용이 쌓이고, 반대로 저가 모델 하나로 통일하면 어려운 요청의 품질 저하와 재시도 비용이 뒤따른다. 필요한 것은 가장 싼 모델을 고르는 일이 아니라 요청마다 필요한 계산 예산을 판정하고 배분하는 구조다.

요청별 모델 선택을 담당하는 계층

라우팅은 단일 규칙이 아니라 여러 통제 지점이 연결된 운영 체계다. 입력 길이, 요구하는 산출 형식, 도메인 특수성, 다단계 추론 필요 여부를 기준으로 요청 난이도를 판정한 뒤, 그 결과를 모델 선택에 사용한다.

분류기 자체가 비싸면 라우팅으로 얻는 이익이 사라진다. 따라서 소형 모델이나 규칙 기반 분류를 사용하고, 분류 처리에는 별도의 지연 예산을 둔다.

모델 정보는 코드에 박아 넣기보다 카탈로그로 관리한다. 입력·출력 단가, 지연 특성, 컨텍스트 상한, 모달 지원, 라이선스 조건을 구조화 필드로 보관하면 신규 모델을 배포 없이 편입할 수 있다.

라우팅 정책 엔진은 난이도 등급, 요청 유형, 테넌트 등급, 남은 예산을 받아 목적지 모델을 정한다. 정책은 선언형으로 남기고 변경 이력을 기록해야 한다. 이 규칙은 비용과 품질을 동시에 바꾸는 통제 지점이기 때문이다.

저가 모델의 응답이 품질 기준에 미달하면 상위 모델로 다시 요청하는 폴백 승격 경로가 필요하다. 승격 조건과 최대 승격 횟수는 정책에 명시한다. 승격률이 높다면 단순히 비용이 늘었다는 뜻을 넘어, 난이도 분류기가 요청을 잘못 배정하고 있다는 신호다.

응답 평가는 형식 준수, 스키마 검증, 자기 모순 탐지처럼 비용이 낮은 검사부터 적용한다. 더 비싼 모델 기반 평가는 필요한 경우에만 붙이고, 평가 비용이 절감액을 넘지 않도록 표본 비율을 조절한다.

프로바이더 오류율이나 지연 상승이 감지되면 사전 검증된 동등성 세트 안에서 동급 모델로 전환한다. 프로바이더 단위 회로 차단기를 두고, 복구가 확인되기 전에는 트래픽을 되돌리지 않는다.

요청군마다 단가 상한과 지연 상한을 정해 초과 시 하위 모델로 강등하거나 거절할 수 있어야 한다. 예산 소진 속도도 실시간으로 추적해 월 단위 초과를 사후가 아니라 사전에 막는다. 요청에는 테넌트·기능·팀 식별자를 붙여 비용을 귀속하고, 승격으로 생긴 비용은 기본 비용과 분리해 기록한다.

⤢✕

운영 환경에서 임계값을 잡는 방식

초기 설계는 실제 요청 유형의 표본 분석에서 출발한다. 트래픽 표본으로 난이도 분포를 측정하면 쉬운 요청이 차지하는 비중과 절감 상한을 볼 수 있다. 동시에 요청 유형별 실패 비용도 계산해야 한다. 실패 비용이 큰 유형은 비용 절감 경로에서 제외하는 편이 낫다.

후보 모델은 자체 과제 세트로 평가한다. 공개 벤치마크 점수만으로는 해당 도메인의 성능을 대신할 수 없다. 신규 모델이 월 단위로 나오므로, 벤치마크 실행을 자동화해 편입 검토 비용을 낮춘다.

난이도 점수와 모델 배정의 경계값은 처음에는 보수적으로 둔다. 이후 승격률을 보면서 조정하고, 임계값 변경은 A/B 방식으로 검증한다. 이때 품질 지표와 비용 지표를 함께 봐야 한다.

절감률 목표만 두면 품질이 희생될 수 있고, 허용 품질 저하 폭만 두면 비용이 통제되지 않는다. 두 기준을 함께 정하고 승격 비용을 포함한 실질 절감액으로 목표를 관리한다.

정책 변경, 신규 모델 편입, 프로바이더 전환은 승인 대상에 포함한다. 모델 편입 심사에서는 데이터 처리 지역과 학습 활용 여부도 필수적으로 확인한다.

고정 모델 구조와 달라지는 운영 부담

구분	동적 요청 라우팅	단일 모델 고정
비용 절감	큼	없음
운영 복잡도	높음	낮음
품질 편차	존재	균일
공급 위험	분산	집중
디버깅	어려움	용이
신규 모델 수용	빠름	느림

동적 요청 라우팅은 쉬운 요청을 저가 모델로 보내 전체 단가를 크게 낮출 수 있다. 신규 저가 모델이 나오면 카탈로그 편입만으로 절감 범위를 넓힐 수 있고, 프로바이더를 나누면 공급 중단 위험도 줄어든다. 대신 요청마다 처리 모델이 달라 동일 입력에서도 품질 차이가 생길 수 있다. 장애를 분석할 때는 어느 모델이 요청을 처리했는지부터 확인해야 하며, 분류기·평가기·정책 엔진을 지속적으로 운영해야 한다.

단일 모델 고정은 사용자에게 균일한 품질을 제공하고, 프롬프트 튜닝과 장애 진단을 한 모델에 집중할 수 있다. 그러나 쉬운 요청에도 최고가를 지불하게 되며, 단가가 자릿수 단위로 바뀌는 시장 변화를 흡수하기 어렵다. 공급자 정책 변경에도 직접 노출된다. 트래픽 규모가 커져 절감 절대액이 추가 운영 비용을 넘는 시점이 라우팅 도입의 판단 기준이다.

저가 모델 우선 폴백은 대부분의 요청이 저가 경로에서 끝나 평균 단가가 낮고, 저가 모델의 실제 성능 데이터를 계속 얻을 수 있다. 다만 승격된 요청은 두 번 호출되어 지연이 두 배 가까이 늘며, 승격률이 예상보다 높으면 재시도 비용이 절감액을 잠식한다.

고가 모델 우선은 첫 호출에서 품질을 확보하므로 지연을 예측하기 쉽고 재시도가 드물다. 반면 쉬운 요청까지 최고가로 처리해 비용 절감 여지를 잃고, 저가 모델의 실사용 성능 데이터도 쌓이지 않는다. 지연에 민감한 요청은 고가 모델 우선으로, 배치성 요청은 저가 모델 우선으로 나누는 유형별 이원 정책이 두 손해를 함께 줄인다.

다중 프로바이더는 한 곳의 장애나 계약 종료가 전체 중단으로 이어지는 것을 막고, 가격 협상력과 모델별 강점의 선택지를 준다. 반대로 인증 방식과 응답 형식이 달라 통합 계층을 유지해야 하며, 데이터 처리 지역과 보안 요건을 프로바이더 수만큼 검토해야 한다. 품질 동등성 검증 세트도 계속 갱신해야 한다.

단일 프로바이더는 통합과 계약·보안 검토가 단순하고 지원 창구가 명확하다. 그러나 공급자 정책 변경이 서비스 중단으로 이어질 수 있고, 가격 인상이나 더 나은 모델 출시에 대응하기 어렵다. 동급 대체 프로바이더 한 곳을 상시 연결 상태로 유지하면 전환 시간을 몇 주에서 며칠 단위로 줄일 수 있다.

비용 제어와 서비스 연속성을 함께 다루기

프로바이더 회로 차단기와 동등성 세트 기반 전환은 장애를 격리하고 서비스 연속성을 확보하는 설계다. 요청군별 지연 상한은 서비스 수준 목표를 실행 계층에서 집행하는 방법이기도 하다.

테넌트와 기능 단위의 비용 귀속은 활동 기준 원가 계산을 API 호출 단위에 적용한 형태다. 승격 비용을 별도 항목으로 분리하면 절감 정책이 실제로 효과를 내는지 원가 관점에서 검증할 수 있다.

모델 카탈로그를 설정으로 분리하는 일은 변동성이 큰 요소를 코드 밖으로 옮기는 관심사 분리다. 난이도 분류와 품질 평가를 독립 계층으로 두는 구조 역시 정책과 실행을 분리하는 방식이다.

바뀌는 시장에 맞춘 라우팅 정책

모델 카탈로그와 라우팅 정책을 표준 형식으로 기술해 게이트웨이 사이의 이식성을 확보하려는 사양이 등장하는 방향이다. 모델이 난이도를 직접 판정하고 하위 모델에 작업을 위임하는 자기 라우팅 구성도 실험되고 있다.

단가의 자릿수 변동이 이어지면서 연 단위 예산 대신 분기 단위 재산정이 표준 관행이 되는 흐름도 예상된다. 공급 계약 종료 사례가 누적되면 대체 프로바이더를 상시 연결하는 조건이 조달 요건에 포함될 수 있다.

한 달 사이 8개 프로바이더가 14개 모델을 내놓고, 그중 하나가 상위 세대를 약 10분의 1 가격에 대체하는 환경이다. 라우팅의 핵심은 저가 모델 자체가 아니라 요청 난이도를 먼저 판정해 계산 예산을 배분하는 데 있다. 판정이 어긋나면 승격 비용이 절감액을 잠식하므로, 승격률은 비용 지표이면서 분류기 품질 지표다.