AI 모델 티어 라우팅과 단가 변동 대응 설계

단가 차이가 커질수록 라우팅이 비용 구조가 된다

OpenAI는 2026년 7월 30일 GPT-5.6 Luna 단가를 80%, Terra 단가를 20% 인하했다. Luna는 100만 토큰당 입력 0.20달러·출력 1.20달러, Terra는 입력 2달러·출력 12달러가 됐다. Sol은 입력 5달러·출력 30달러를 유지했다.

7월 9일 GPT-5.6 계열 출시 후 3주 만에 이뤄진 재조정이다. Luna는 입력 1달러·출력 6달러에서 입력 0.20달러·출력 1.20달러로, Terra는 입력 2.50달러·출력 15달러에서 입력 2달러·출력 12달러로 내려갔다. Luna와 Sol의 입력 단가 격차는 인하 전 5배에서 인하 후 25배가 됐다.

경쟁 압력이 배경으로 지목된다. OpenRouter 기준 중국계 모델이 미국 기업 토큰 사용량의 46%를 차지했다는 보도가 있었고, DeepSeek V4 Pro는 0.435달러/0.87달러 수준으로 가격을 형성하고 있다.

이 조건에서는 상위 모델을 사용할 예산보다, 요청을 하위 티어에서 끝낼 수 있는지가 비용 통제의 핵심이 된다. 단, 하위 티어의 실패는 재시도와 상위 티어 승격으로 돌아온다. 호출 단가만 비교한 절감액은 실제 손익을 설명하지 못한다.

요청 신호를 바탕으로 티어를 결정한다

티어 선택은 주관적인 난이도 라벨보다 관찰 가능한 요청 신호에 기대는 편이 안정적이다. 입력 길이와 요구되는 출력 길이, 정답의 자동 검증 가능 여부, 스키마 고정 여부, 되돌리기 난이도를 분류 기준으로 삼을 수 있다.

모델 세대가 바뀌어도 이런 신호의 정의는 유지된다. 분류 결과는 요청 메타데이터로 남겨야 한다. 기록이 없으면 특정 요청이 왜 해당 티어로 라우팅됐는지 사후에 재현할 수 없다.

라우팅 규칙은 애플리케이션 코드가 아니라 외부 설정 테이블에 둔다. 단가 변경 발표가 발생했을 때 배포 없이 테이블만 갱신해 비용 경계를 옮기기 위해서다. 테이블에는 작업 유형, 허용 최저 티어, 기본 티어, 승격 대상 티어, 최대 재시도 횟수, 토큰 상한을 포함한다.

개인정보 판단, 금액 계산, 규정 해석처럼 후속 검증이 어려운 요청은 하위 티어 금지 목록으로 별도 관리한다.

⤢✕

품질 게이트와 승격 경로를 함께 설계한다

하위 티어 배분은 결과를 자동으로 판정할 수 있을 때 경제성이 있다. 게이트에는 스키마 검증, 필수 필드 존재 여부, 값 범위 검사, 근거 인용 존재 여부, 동일 입력 재호출 결과의 자기 일관성, 룰 기반 사후 검증을 사용할 수 있다.

사람 검토만으로 품질을 가릴 수 있는 업무에서는 호출비 절감이 리뷰 부담으로 이전된다. 따라서 하위 티어 배분 전에는 품질 하한을 어떤 방식으로 확인할지부터 정해야 한다.

게이트에서 실패한 요청은 상위 티어로 올리되, 실패 사유를 함께 전달한다. 같은 프롬프트만 상위 모델에 다시 보내면 앞선 실패에서 얻은 정보를 활용하지 못한다. 승격은 기본적으로 1단만 허용한다. 다단 승격은 지연을 누적시키고 비용 예측을 어렵게 만든다.

작업 유형별 승격률은 지속적으로 집계한다. 승격률이 임계값을 넘는다면 하위 티어 배분 자체가 적절하지 않았다는 뜻이며, 그 호출 비용은 낭비가 된다. 손익 경계는 하위 티어 단가 + (승격률 × 상위 티어 단가)가 상위 티어 직행 단가를 넘는 지점이다.

요청별로 티어, 입력 토큰, 출력 토큰, 승격 여부, 게이트 통과 여부를 함께 기록해야 절감액을 산출할 수 있다. 캐시 적중 토큰과 일반 입력 토큰은 단가 체계가 다르므로 분리해 집계한다.

가격표와 예산은 변경 이력을 가져야 한다

단가는 상수로 하드코딩하지 않고 유효 기간을 둔 테이블로 관리한다. 그래야 인하 전후 비용을 비교할 수 있다. 과거 단가로 계산한 예산 문서도 함께 버전 관리해야 하며, 인하를 반영하지 않은 예산은 과다 편성으로 남는다.

인하 직후에는 기존 예산을 재산정해야 한다. 절감분을 호출량 확대에 쓸지, 예산 축소로 회수할지도 먼저 결정한다. 결정이 없으면 호출량이 조용히 늘어날 수 있다.

업무별 최소 요구 티어와 그 근거를 문서화하는 일도 필요하다. 개발자별 임의 선택이 누적되면 비용 구조를 설명하기 어려워진다. “경험상 하위 티어로는 부족하다”는 판단은 모델 세대가 바뀔 때 다시 검증해야 할 대상이다.

티어를 낮추기 전에는 실제 트래픽 표본으로 구성한 품질 회귀 평가셋을 사용한다. 평가셋 없이 단가만 보고 전환하면 품질 저하는 사후에야 드러난다. 평가셋은 주기적으로 갱신해야 하며, 고정된 평가셋은 시간이 지나면 트래픽 분포를 대표하지 못한다.

운영 지표가 드러내는 배분 실패

팀과 기능별 토큰 소비, 티어 구성은 정기적으로 쇼백 리포트에 포함한다. 비용이 보이지 않으면 티어 최적화는 우선순위에서 밀린다. 특히 승격 비용은 총액과 분리해 표시해야 배분 실패를 확인할 수 있다.

시간당 토큰 소비, 승격률, 게이트 실패율에는 임계값을 두고 알림을 설정한다. 루프성 재시도는 짧은 시간에 큰 비용을 만들 수 있다. 알림을 받았을 때 어떤 경로를 차단하거나 조정할지 대응 절차까지 문서화해야 한다.

라우팅 테이블과 단가 테이블에는 소유자를 둔다. 벤더의 단가 변경 공지를 추적하는 책임도 명시한다. 티어 하향은 비용 담당자만의 판단이 아니라 품질 평가 결과를 근거로 승인해야 한다.

단일 모델 방식과 비교할 때의 선택 기준

구분	난이도별 티어 배분	전 구간 단일 모델
총비용	낮음 (배분 정확도 의존)	높음 또는 품질 부족
비용 예측성	승격률에 따라 변동	예측 용이
구현 복잡도	분류·게이트·승격 필요	단순
품질 하한	게이트가 보장	모델이 보장
단가 변동 대응	테이블 갱신으로 흡수	전량 영향
적합 조건	자동 판정 가능 작업 다수	판정 어려운 작업 중심

난이도별 배분은 단가 격차가 큰 구간에서 총비용을 크게 낮출 수 있다. 대신 분류, 게이트, 승격 계측을 구현해야 하며 승격률에 따라 비용이 변동한다. 단일 모델은 단순하고 비용 예측이 쉽지만, 상위 모델 고정은 과지출로, 하위 모델 고정은 품질 부족으로 이어진다.

자동 판정 가능한 분류·추출·요약 트래픽 비중이 높은 조직에는 티어 배분이 맞는다. 반대로 판단이 어려운 업무 중심 조직에서는 단일 상위 모델이 합리적일 수 있다.

하위 티어 우선 시도는 성공했을 때 단가가 낮지만, 실패하면 두 번의 호출 비용과 지연을 부담한다. 상위 티어 직행은 단가가 높아도 단일 호출로 지연이 고정돼 예측 가능하다. 승격률이 낮고 지연 예산이 여유 있는 배치 처리에는 우선 시도가, 사용자 대기 경로에는 직행이 유리하다. 단가 격차가 25배로 벌어진 현재는 상당히 높은 승격률까지도 우선 시도가 유리한 구간에 들어간다.

벤더 인하를 즉시 반영하면 절감은 빠르지만, 하위 티어 품질을 검증하지 않은 트래픽 이동과 되돌리기 절차 부재가 장애로 이어질 수 있다. 평가셋 검증과 카나리 비중 확대를 거치는 단계 전환은 안전하지만 절감 실현이 늦고, 인하가 다시 바뀌면 검증이 무의미해질 수 있다. 판정 자동화가 된 작업에는 즉시 전환하고 판단 업무에는 단계 전환을 적용하는 이원 정책이 실무적이다.

비용·서비스 수준·추상화 계층의 관점

티어 배분은 업무 요구 수준에 자원 등급을 맞추는 구조다. 스토리지 계층화나 인스턴스 타입 선택과 유사하다. 쇼백·차지백이 없으면 최적화의 동기도 약해진다. 소비 주체가 비용을 볼 수 있어야 배분을 개선할 수 있다.

서비스 수준에서는 품질 하한 없이 하위 티어를 배분하는 일을 경계해야 한다. 이는 서비스 수준 저하를 비용 절감으로 오인하게 만든다. 승격에 따른 지연 증가는 서비스 수준 지표에 포함해야 하며, 응답 시간 분포의 상위 구간은 승격 경로에서 발생한다.

단가와 라우팅 규칙을 외부화하는 것은 변동 요소를 설계에서 분리하는 일이다. 벤더 가격 정책은 통제할 수 없는 변수이므로 코드에 고정하면 안 된다. 모델 추상화 계층을 두면 티어 교체와 벤더 교체를 같은 인터페이스로 처리할 수 있다. 계층 없이 SDK를 직접 호출하면 인하 대응은 전면 수정이 된다.

티어 배분이 기본 운영 항목이 되는 흐름

계열 안의 티어별 단가 격차가 확대되면서 티어 라우팅은 선택적 최적화가 아니라 기본 설계 항목으로 이동하고 있다. 경쟁 압력에 따른 단가 인하가 반복되면 단가 테이블의 버전 관리와 예산 재산정도 정기 운영 절차에 들어간다.

티어 배분의 실질 제약은 게이트의 자동 판정 가능성이다. 검증 가능한 출력 형식 설계가 프롬프트 설계보다 앞서는 방향으로 이어질 수 있다. 토큰 총량만 보는 대신 승격률, 게이트 통과율, 티어별 실효 단가를 함께 보는 비용 관측 지표가 필요하다.