GPT-5.6 티어 라우팅으로 설계하는 LLM 비용 최적화

OpenAI는 2026년 7월 9일 GPT-5.6 패밀리인 Sol, Terra, Luna를 GA로 출시하고 ChatGPT 기본 모델로 전환했다. 세 모델은 같은 세대에 속하지만 지능, 속도, 비용이 다른 지속 가능한 티어로 구분된다. 이제 LLM 선택은 최고 성능과 저비용 가운데 하나를 택하는 문제가 아니라, 요청별로 적절한 티어를 배정하는 라우팅 설계에 가깝다.

세대와 티어를 분리한 GPT-5.6

GPT-5.6에서 숫자 5.6은 세대를, Sol·Terra·Luna는 각각 독립적으로 발전하는 능력 티어를 뜻한다.

Sol은 최고 지능, 복잡한 추론, 에이전트 자율 실행에 맞춘 플래그십 티어이며 단가도 가장 높다. Terra는 GPT-5.5급 성능을 절반 가격으로 제공하는 균형형 티어로, 일반적인 실무 트래픽을 담당하는 워크호스에 해당한다. Luna는 분류, 추출, 라우팅 프리필터처럼 대량의 경량 요청을 낮은 단가로 처리하는 티어다.

세 티어는 지식 컷오프가 2026년 2월 16일이며, 100만 토큰(1M) 이상 컨텍스트 윈도우와 최대 출력 12만 8천(128K) 토큰을 공통 사양으로 둔다. 티어가 세대 업그레이드와 별개로 개선되는 구조이므로, 애플리케이션은 티어명을 비교적 안정적인 계약 지점으로 사용할 수 있다.

토큰 비율이 실효 비용을 바꾼다

100만 토큰 기준 입력·출력 단가는 Luna가 $1 / $6, Terra가 $2.50 / $15, Sol이 $5 / $30이다. 모든 티어에서 출력 단가는 입력 단가의 6배다.

RAG나 요약처럼 입력 비중이 큰 워크로드와 코드 생성·장문 작성처럼 출력 비중이 큰 워크로드는 같은 모델을 써도 비용 구조가 다르다. 특히 긴 응답을 만드는 챗과 에이전트는 출력 비용이 전체 비용을 지배할 수 있다.

Sol의 단가는 이전 세대 GPT-5.5와 같고, Terra는 GPT-5.5에 가까운 성능을 절반 단가로 제공한다. 세대 교체만으로 동일 성능 기준 2배 비용 절감 효과를 기대할 수 있는 이유다.

요청별 max_output_tokens 상한, 입력 컨텍스트 프루닝, 불필요한 서술을 줄인 응답 포맷은 출력 토큰 예산을 관리하는 수단이다.

티어별 역할과 비용 비교

구분	Luna	Terra	Sol
포지션	저비용·대량	밸런스·표준	플래그십·고난도
입력(1M 토큰)	$1	$2.50	$5
출력(1M 토큰)	$6	$15	$30
상대 단가(Sol=100%)	20%	50%	100%
성능 기준	준수한 범용	GPT-5.5 근접	최상위 추론
주 용도	분류·추출·라우팅	일반 대화·RAG·코딩	복잡 추론·에이전트
지연(상대)	최저	중간	높음

대량 분류 작업을 Sol에서 Luna로 옮기면 동일 토큰 기준 약 80% 비용 절감이 가능하다. 반대로 모든 요청을 Luna에 고정하면 고난도 작업의 품질 리스크를 감수해야 한다.

대부분의 프로덕션 트래픽은 Terra가 흡수하도록 두고, 난이도나 실패 비용이 높은 요청만 Sol로 보내는 구성이 비용 효율의 중심이 된다.

캐시가 되는 프롬프트의 배치 방식

캐시 읽기에는 캐시된 입력 토큰 기준 90% 할인이 적용된다. 반복되는 시스템 프롬프트, 도구 정의, 참조 문서처럼 정적인 입력이 많을수록 이 차이가 커진다.

캐시 쓰기는 미캐시 입력 단가의 1.25배로 과금된다. 처음에는 프리미엄이 붙지만, 이후 재사용 횟수가 손익을 좌우한다. 최소 캐시 수명은 30분이며, 세션이나 배치 단위로 동일 컨텍스트를 반복 호출하는 경우에 효과가 크다.

명시적 캐시 브레이크포인트인 prompt_cache_breakpoint로 캐시 경계를 직접 지정할 수 있고, 최대 50개 선행 브레이크포인트 룩백을 지원한다. 이는 Anthropic의 20블록 대비 넓은 룩백 예산이다.

캐시 우선 설계에서는 시스템 프롬프트, 도구 정의, 참조 문서 같은 정적 컨텍스트를 프롬프트 앞부분에 고정하고, 사용자 입력처럼 변하는 내용은 뒤에 둔다.

⤢✕

요청 난이도에 맞춰 티어를 올리는 방식

티어 선택에는 정확도 요구 수준, 허용 지연, 요청당 단가, 트래픽 규모, 오답의 실패 비용을 함께 반영해야 한다.

Luna는 의도 분류, 엔티티 추출, 스팸·독성 필터, 라우팅 프리필터, 대량 배치 태깅에 적합하다. Terra는 고객 응대 챗봇, 문서 요약, 표준 RAG 질의응답, 일반 코드 생성과 리뷰를 맡기기 좋다. 다단계 추론, 에이전트 자율 실행, 법률·의료·금융 같은 고위험 판단, 복잡한 코드베이스 리팩터링은 Sol의 대상이다.

자동 라우팅은 Luna나 경량 분류기로 요청 난이도를 먼저 평가하고 적절한 티어로 분배하는 방식이다. 저난도 요청이 상위 티어를 점유하지 않도록 막는다.

하위 티어 응답의 신뢰도나 검증 결과가 임계값에 미달하면 Sol로 재시도하는 폴백도 필요하다. Luna에서 Terra, Sol 순으로 올리는 캐스케이딩은 저비용 처리를 우선하고 필요할 때만 고비용 티어를 쓰는 패턴이다. 평균 단가를 낮추면서도 최악의 정확도를 방어하는 데 목적이 있다.

기본 모델 전환 전에 확인할 계약

ChatGPT 기본 모델이 GPT-5.6으로 바뀌면 API 사용처는 명시적 모델 핀 고정으로 의도하지 않은 동작 변화를 막아야 한다.

기존 프롬프트와 평가셋을 새 모델에 다시 실행해 출력 포맷, 톤, 정확도 변화를 확인하는 회귀 테스트가 필요하다. 대표 입력과 기대 출력 쌍으로 골든 데이터셋을 만들고, 신·구 모델을 병렬 실행한 뒤 diff를 비교하면서 프롬프트를 조정한다. 이후 카나리 배포로 소규모 트래픽을 먼저 전환해 지표를 관찰하고, 단계적으로 전체 전환을 진행하되 롤백 계획은 유지한다.

출력 토큰 상한, JSON 스키마, 함수 호출 계약은 신모델에서도 먼저 검증해야 한다. 이 계약이 달라지면 하류 파서가 깨질 수 있다.

벤더를 함께 운영할 때의 비교 기준

단일 벤더 종속 리스크를 낮추기 위해 Claude와 Gemini를 병행하는 구성이 제시된다. 2026년 7월 기준 100만 토큰 입력·출력 단가는 다음과 같다.

모델	입력	출력	포지션
GPT-5.6 Sol	$5	$30	플래그십
GPT-5.6 Terra	$2.50	$15	밸런스
GPT-5.6 Luna	$1	$6	저비용
Claude Opus 4.8	$5	$25	최상위 추론
Claude Sonnet 4.6	$3	$15	밸런스
Claude Haiku 4.5	$1	$5	저비용
Gemini 3.1 Pro	$2	$12	밸런스(장컨텍스트 강점)
Gemini 3 Flash	$0.50	$3	초저비용

Terra와 Sonnet 4.6은 입력 $2.50 대 $3으로 단가가 가깝고 출력은 모두 $15다. 이 경우에는 성능과 프롬프트 호환성을 기준으로 선택할 수 있다.

Luna, Haiku 4.5, Gemini 3 Flash는 저비용 티어에서 경쟁하며, 대량 워크로드에서는 Gemini 3 Flash가 최저 단가다. 다만 Gemini 3.1 Pro는 20만 토큰을 초과하는 프롬프트에서 입력 단가가 2배($2→$4)로 적용되는 등 세부 과금 조건을 사전에 확인해야 한다.

병행 운영에서는 게이트웨이 계층으로 모델 인터페이스를 통일하고, 장애나 쿼터 초과 시 크로스벤더 폴백을 적용한다. 워크로드별로 최적 벤더를 선택하는 라우팅도 이 계층에서 다룬다.

비용과 SLA를 함께 관리하는 운영 체계

Terra가 전세대 성능을 절반가에 제공하는 사례처럼, 세대 교체에 따라 동일 성능의 실효 단가는 지속 하락하는 방향이다. 장기 비용 계획은 이 단가 인하를 전제로 세울 수 있다.

월 비용은 일일 요청 수, 티어별 평균 입력·출력 토큰, 단가, 캐시 절감분을 조합해 시뮬레이션한다. 티어 믹스 시나리오별 민감도 분석도 필요하다.

운영 거버넌스에서는 티어·워크로드·팀별 토큰 사용량을 태깅해 대시보드로 보고, 예산 초과 알림을 둔다. 티어별 지연과 가용성 목표를 정하고 폴백·재시도 정책을 SLA와 맞춘다. 입력 데이터의 민감도 등급에 따라 모델과 리전을 선택하며, 캐시에 저장되는 데이터의 보존·삭제 정책도 수립해야 한다. 단가와 정책 변경, 모델 폐기(deprecation) 일정은 계속 추적하고 멀티벤더 구성으로 연속성을 확보한다.

2026년에는 티어링 기반 워크로드 라우팅이 LLM 운영의 표준 아키텍처로 자리 잡고 있다. 비용 최적화의 초점도 어떤 모델을 선택하는가에서, 각 요청을 어느 티어로 얼마나 흘릴 것인가로 옮겨간다.