GPT-5.6 티어 라우팅 설계: 요청 난이도에 맞춘 Sol·Terra·Luna 배분

요청마다 다른 티어를 고르는 일이 설계가 됐다

OpenAI는 GPT-5.6을 Sol·Terra·Luna로 나누어 출시했다. GPT-5.6은 2026년 6월 26일 공개됐고, 세 티어의 GA는 7월 9일에 이뤄졌다. 모든 티어가 1M 토큰 컨텍스트를 제공한다.

표준 구간의 100만 토큰당 가격은 Sol이 입력 $5·출력 $30, Terra가 입력 $2.50·출력 $15, Luna가 입력 $1·출력 $6이다. Sol과 Luna의 차이는 입력과 출력 모두 5배다. 표준 구간을 넘는 장문 요청에서는 Sol $10/$45, Terra $5/$22.50, Luna $2/$9로 가격이 높아지며, 이 구간에서도 티어 간 배율은 같다.

같은 벤더와 API 인터페이스 안에서 품질과 비용이 이 정도로 계층화되면, 모든 요청을 최상위 모델로 보내는 방식은 설명하기 어려워진다. 티어 선택은 단순한 모델 교체가 아니라 요청 난이도에 따라 비용·품질·지연을 배분하는 애플리케이션 로직이 된다. 실시간 음성 모델 GPT-Live도 함께 공개되면서 이 제품군은 음성 채널까지 포괄한다.

난이도 판정부터 검증과 계측까지 연결하기

요청 분류에는 입력 길이, 요구되는 출력 형식의 복잡도, 도구 호출 필요 여부, 다단계 추론 여부, 업무 유형 태그를 쓸 수 있다. 구현 방식은 업무 유형을 테이블에 연결하는 규칙 기반, Luna로 난이도를 판정하는 경량 모델 기반, 과거 결과를 학습하는 방식으로 나뉜다. 재현성만 놓고 보면 규칙 기반이 가장 유리하다.

분류기도 비용을 발생시킨다. 절감을 위해 도입한 구조에서 난이도 판정을 상위 티어에 맡기면 효과가 상쇄될 수 있으므로, 판정은 최하위 티어 또는 비모델 로직에 두는 편이 맞다.

기본 매핑은 업무 유형별 최소 요구 티어를 정하는 방식이다. 분류·추출·요약에는 Luna, 일반 생성·대화에는 Terra, 복잡한 추론과 코드 생성에는 Sol을 연결한다. 이 테이블은 코드에 박아 넣기보다 설정으로 분리해야 모델 세대가 바뀌어도 재배포 없이 조정할 수 있다.

⤢✕

하위 티어의 응답이 신뢰도 임계값 아래로 내려가면 상위 티어로 다시 호출하는 승격 경로를 둔다. 신호로는 자체 평가 점수, 스키마 검증 실패, 특정 회피 표현 탐지가 있다. 다만 승격은 하위와 상위 호출에 모두 과금된다. 승격률이 30%를 넘으면 처음부터 상위 티어를 쓰는 편이 싸다. 이 지점을 계산하지 않으면 절감 구조가 비용 증가 구조가 된다.

구조화 출력은 스키마 검증으로 빠르게 판정할 수 있어 하위 티어를 활용하기 좋다. 자유 서술은 검증이 어려워 승격 판단도 부정확해진다. 폴백 체인은 Luna → Terra → Sol로 두되, 최대 시도 횟수를 강제해 무한 승격을 막아야 한다.

응답 속도가 중요한 경로에서는 하위 티어가 유리할 수 있다. 반면 승격이 일어나면 지연은 두 배가 되므로, 지연 SLO는 최초 호출이 아니라 승격을 포함한 최악 경로를 기준으로 잡아야 한다.

계측은 요청 ID × 티어 × 입출력 토큰 × 승격 여부 단위로 남긴다. 이 축이 없으면 티어 배분 효과를 사후에 측정할 수 없다. 롱컨텍스트 구간 진입 여부도 별도 플래그로 기록해야 단가 배증의 원인을 추적할 수 있다.

최소 티어를 검증하고 변경을 통제하는 방식

업무마다 품질 기준을 통과하는 최소 티어를 평가셋으로 확인한 뒤 매핑을 확정한다. 감으로 정한 매핑은 과소 품질 또는 과잉 지출 중 한쪽으로 기울기 쉽다. 모델 세대가 바뀌면 이 최소 티어도 다시 확인해야 한다. 하위 티어의 성능이 높아졌는데 기존 매핑을 유지하면 불필요한 비용을 계속 쓰게 된다.

업무별 승격률 상한도 필요하다. 상한을 넘는다면 해당 업무의 최소 티어 판단을 재검토해야 한다. 기준은 승격률 × 상위 티어 단가 + 하위 티어 단가가 상위 티어 단일 호출보다 비싸지는 지점이다.

티어 하향은 비용 절감으로 보이기 때문에 승인되기 쉽지만, 품질 저하는 즉시 눈에 띄지 않을 수 있다. 평가셋 통과를 배포 게이트로 강제하고 정답률, 형식 준수율, 거부·회피 응답 비율을 확인해야 한다. 하위 티어는 형식 준수율에서 먼저 차이가 날 수 있다.

티어 변경은 모델 변경과 같은 수준의 변경관리 대상이다. 프롬프트가 상위 티어에 맞춰 조정돼 있다면 하위 티어에서는 다른 동작을 보일 수 있다. 하위 티어에 더 명시적인 지시와 예시가 필요한 경우도 있으므로, 프롬프트를 티어별로 나눌지 공통으로 유지할지 정책을 정해야 한다.

비용은 티어·업무·부서 기준으로 쇼백해 사용 주체가 선택의 원가를 보게 한다. 쇼백이 없으면 최상위 티어 요구가 계속된다. 배분 리포트에 승격으로 발생한 비용을 따로 표시하면 매핑을 고칠 동기도 생긴다.

대시보드에는 티어별 요청 비중, 승격률, 티어별 평균 지연, 롱컨텍스트 진입률, 업무당 평균 비용을 둔다. 티어 매핑 테이블의 변경 이력과 변경 전후 품질·비용 지표를 함께 남겨야 이후의 판단 근거가 쌓인다.

혼합 라우팅이 맞는 조건

구분	3단 티어 혼합 라우팅	단일 플래그십 일괄 호출
비용	요청 구성에 따라 대폭 절감	최대
품질	하위 티어 구간에서 변동	균일
구현 복잡도	분류·승격·검증 로직 필요	없음
지연	하위 티어 유리, 승격 시 배증	일정
운영 부담	매핑 유지·재평가	낮음
적합 상황	요청 난이도 편차 큼	난이도 균일·고품질 필수

요청 난이도 분포가 넓을수록 혼합 라우팅의 절감 폭은 커진다. 단순 분류·추출 작업이 트래픽의 다수를 차지한다면 효과가 크지만, 모든 요청이 복잡 추론이라면 라우팅 로직은 부채만 남긴다. 도입 전에 실제 트래픽의 난이도 분포를 측정해야 하는 이유다.

자동 난이도 판정은 하나의 업무 안에 있는 난이도 차이까지 반영할 수 있다. 대신 판정이 틀리면 품질 문제가 조용히 발생할 수 있다. 업무 유형 고정 매핑은 재현성과 감사에 유리하지만 업무 내부의 편차를 반영하지 못한다. 규제 업무에는 고정 매핑을, 일반 서비스에는 고정 매핑 위에 신뢰도 기반 승격을 더하는 구성이 균형점이 된다.

동일 벤더의 티어 분화는 API 인터페이스와 프롬프트 호환성이 유지돼 배분 구현 비용이 낮다. 멀티벤더 혼합은 벤더 종속을 낮추고 협상력을 확보할 수 있지만, 프롬프트·출력 형식·도구 호출 규약의 차이를 흡수하는 추상화 계층이 필요하다. 티어 분화 자체가 벤더 락인을 강화하는 방향으로 작동할 수 있다는 점도 도입 판단에 포함해야 한다.

품질·비용·지연을 함께 보는 운영 지표

티어 선택은 품질, 비용, 지연이라는 세 축을 동시에 결정한다. 한 축만 조정하면 나머지 두 축에서 예상하지 못한 결과가 생길 수 있다. 특히 사용자 체감과 지표가 어긋나지 않도록 승격 경로를 포함한 최악 지연을 SLO 기준으로 삼아야 한다.

동일 API 안에 5배 차이의 단가가 있다면 티어 배분 로직은 비용 통제 수단이 된다. 다만 롱컨텍스트 구간에 들어가면 단가가 배로 뛰므로, 티어를 낮춰 얻은 절감이 컨텍스트 확대로 상쇄되지 않는지 함께 봐야 한다.

티어별 품질 차이는 사용자에게 직접 보이지 않는다. 업무별 품질 하한을 내부 SLA 항목으로 정의해야 하향 조정이 통제된다. 비용 쇼백은 서비스 수준과 원가를 연결한다. 원가를 알 수 없는 부서는 항상 최고 수준을 요구하게 된다.

티어 라우팅이 향하는 방향

제품군 안의 티어 분화는 주요 벤더의 공통 관행으로 자리잡고, 모델 선택은 벤더 선택보다 티어 배분 설계의 문제가 될 전망이다. 난이도 분류와 티어 라우팅을 프레임워크 기본 기능으로 제공하는 흐름도 확산되며 자체 구현 필요성은 줄어들 수 있다.

티어별 성능 격차가 좁아지면 하위 티어로 처리할 수 있는 업무 범위는 넓어진다. 그만큼 매핑 재평가는 정례 업무가 된다. 롱컨텍스트 구간의 별도 단가 체계가 일반화되면 컨텍스트 예산 관리 역시 티어 선택만큼 중요한 비용 항목이 된다.

GPT-5.6의 Sol·Terra·Luna 분화는 같은 API 안에 5배의 단가 차이를 만들었다. 핵심은 복잡한 자동 판정기를 만드는 데 있지 않다. 평가셋으로 업무별 최소 티어를 확정하고, 비용 계산으로 승격률 상한을 정하며, 티어·업무·부서 축의 계측과 쇼백으로 결과를 계속 조정하는 데 있다.