OpenRouter 실사용 데이터로 본 LLM 라우팅과 오픈웨이트 모델 선택

토큰 소비가 보여주는 모델 선택의 기준

OpenRouter의 실호출 데이터는 모델 리더보드와 다른 선택을 드러낸다. 400개 이상 모델과 70개 이상 프로바이더를 단일 OpenAI 호환 API로 중개하는 이 게이트웨이에서, GPT와 제미나이(Gemini)는 상위 토큰 소비 모델에서 밀려났다. 미국 상용 진영에서는 앤트로픽(Anthropic) 클로드(Claude)가 상위권에 남았고, 딥시크(DeepSeek)·미니맥스(MiniMax)·문샷(Moonshot)·지푸(Zhipu) 등 중국 오픈웨이트(open-weight) 모델이 빈자리를 채웠다.

앤트로픽의 토큰 점유율은 12개월 동안 29.1%에서 13.3%로 내려갔으며, 클로드는 상위 6개 중국 모델에 추월당했다. 딥시크는 단일 프로바이더 기준 최대 16.3% 점유율을 기록해 구글·앤트로픽·OpenAI를 앞섰다. 구글·OpenAI·앤트로픽 3사의 합산 점유율은 약 70%(2025.06)에서 약 30%(2026.06)로 줄었고, 중국산 모델은 상위 10개 토큰의 약 44%를 차지했다. 주간 집계에서는 전체 비중이 61%까지 도달했다.

이 지형은 지능 지표만으로 설명되지 않는다. 클로드 오푸스(Opus) 4.8은 지능 지표 1위지만 일간 토큰 소비량은 7위다. 고위험 추론은 품질 우선으로 클로드에, 대량 에이전트 워크로드는 비용 우선으로 중국 오픈웨이트 모델에 라우팅되는 흐름이 나타난다. 개발자의 API 결제는 리더보드 순위보다 비용 대비 성능(cost-performance Pareto frontier)에 반응한다.

라우터가 모델과 프로바이더를 고르는 방식

OpenRouter 라우터는 애플리케이션과 다수의 모델·프로바이더 사이에서 요청의 목적지를 정한다. 이 계층은 모델 선택(model selection), 프로바이더 선택(provider selection), 부하 분산(load balancing), 장애 조치(failover)를 맡는다.

기본 정책은 최근 30초 내 장애가 있었던 프로바이더를 후순위로 보내고, 최저가 프로바이더 가운데 가격 역제곱 가중 방식으로 대상을 선택한 뒤, 나머지를 폴백 대상으로 둔다. 이 구조에서 오픈웨이트와 상용 API는 장애 대응 방식이 다르다.

오픈웨이트 모델은 같은 가중치를 여러 인프라 프로바이더가 서빙할 수 있으므로, 프로바이더 장애가 나도 동일 모델을 유지한 채 provider failover가 가능하다. 반면 상용 API 모델은 단일 벤더 종단점에 의존하므로, 장애 시 다른 모델로 넘기는 model fallback이 필요하다.

⤢✕

모델별로 발표된 가동시간과 30초 헬스 윈도우를 활용하면 단일 벤더에 직접 연결하는 경우보다 최악 가동시간을 개선할 수 있다. 다만 게이트웨이도 단일 장애점(SPOF)이 될 수 있다. 2025년 8월 OpenRouter 게이트웨이 다운타임 사례가 있었던 만큼, 클라이언트 측 재시도(retry)를 함께 설계해야 한다.

오픈웨이트 도입에서 확인할 조건

오픈웨이트 모델을 채택할 때는 리더보드가 아니라 자사 워크로드에서의 실호출 결과를 기준으로 판단해야 한다. 코딩과 에이전트 작업처럼 실제로 발생하는 요청을 대상으로 검증하는 방식이다.

라이선스도 별도로 검토할 대상이다. 상업적 파인튜닝 제한, 지역 금지, 귀속 조항을 확인해야 한다. 딥시크 R1은 MIT 라이선스로 상업 배포 불확실성을 제거한다.

자체 호스팅과 API 게이트웨이의 비용 구조도 다르다. API 게이트웨이는 인프라 관리 없이 통합 키와 통합 과금을 제공하므로 소·중규모 트래픽에 유리하다. 자체 호스팅은 대량의 상시 트래픽에서 토큰 단가를 낮추고 데이터 주권을 확보할 수 있지만, GPU 하드웨어와 운영 인력의 고정비를 감당해야 한다. 손익분기는 월간 토큰량 × (게이트웨이 단가 − 자체 서빙 단가)와 GPU·운영 고정비를 비교해 산정한다.

중국 오픈웨이트 모델은 제3자 가중치와 추론 스택에 대한 보안 감사가 없는 경우가 많다. 체크섬 검증과 격리 환경 선배포가 필요하다. 자체 호스팅은 데이터 주권 문제를 해소할 수 있지만, 향후 Entity List 지정과 같은 규제 리스크까지 없애지는 못한다.

비용·성능 지표가 가리키는 각 모델의 위치

모델	진영/유형	입력·출력 단가($/M)	주요 지표	포지션
DeepSeek V4 Flash	중국·오픈웨이트	0.054 / 0.242	SWE-bench 79.0%	최저가 대량 에이전트
GLM 5.2	중국·오픈웨이트	0.447 / 3.31	AAII 51(1위)	오픈웨이트 최고 지능
MiniMax M3	중국·오픈웨이트	0.098 / 1.21	AAII 44, 1M 컨텍스트	저가 멀티모달
Nemotron 3 Ultra	미국·오픈웨이트	0.423 / 2.61	AAII 48	미국산 오픈 대안
Claude Opus 4.8	미국·상용	5~25	지능 1위, 토큰 7위	고위험 추론 전용

중국 오픈웨이트 모델은 상위 토큰에서 다수 점유를 보이고, 클로드는 미국 상용 모델 가운데 상위권에 남아 있다. 미니맥스와 딥시크는 클로드보다 17~20배 저렴하면서 벤치마크에서 근접한 성능을 보인다.

오픈웨이트와 프런티어 모델의 능력 격차는 3~6개월이며, 18개월 동안 확대되지 않았다. GLM-4.7은 클로드 1/7 비용에 SWE-bench 73.8%를 기록했다. 게이트웨이는 가동시간과 비용 최적화에 유리하지만, 자체 SPOF는 별도 리스크로 다뤄야 한다.

티어별 라우팅 정책을 운영 표준으로 만들기

단일 벤더 종속(vendor lock-in)을 피하려면 게이트웨이 추상화 계층을 통해 모델 교체 비용을 줄여야 한다. 고위험 작업은 클로드, 대량 작업은 오픈웨이트, 멀티모달 작업은 제미나이 계열처럼 티어별 라우팅 정책을 문서화할 수 있다.

모델 조달 기준 역시 마케팅 벤치마크에서 실호출 TCO(총소유비용), 라이선스, 데이터 주권 리스크의 3축으로 옮겨야 한다. 단일 진영이나 단일 벤더에 의존하지 않는 원칙을 명문화하고, 게이트웨이 추상화 계층을 표준화하는 접근이 필요하다.

민감 데이터는 자체 호스팅 오픈웨이트 모델로 국내·역내에서 처리하고, 규제 대응 문서를 갖출 수 있다. 중국·미국 진영의 수출통제와 Entity List 같은 지정학 리스크에는 시나리오별 대체 경로를 미리 확보해야 한다. 오픈웨이트 가중치의 체크섬을 검증하고 격리 환경에 먼저 배포하며, 제3자 감사가 없는 모델은 미검증이라는 전제 아래 운영한다.

티어별 라우팅 정책, 폴백 SLA, 클라이언트 재시도는 ISP·ISMS와 연계한 아키텍처 표준으로 편입할 수 있다.

모델 조달의 판단 축이 바뀌는 흐름

리더보드 1위 모델과 최다 호출 모델이 분리되는 흐름은 표준 인식으로 자리 잡을 전망이다. 중국 오픈웨이트 모델은 17~~20배의 비용 우위와 3~~6개월 능력 격차를 바탕으로 대량 에이전트 워크로드에서의 우위를 이어갈 전망이다.

미국 상용 진영은 클로드를 중심으로 고위험 추론 프리미엄을 방어하고, 오픈 진영은 Nemotron 등 미국산 오픈웨이트 모델로 대응을 시도한다. 멀티모델 라우팅과 폴백은 프로덕션의 기본값으로 자리 잡고, 게이트웨이 SPOF에 대비한 이중화 설계도 확산될 전망이다. 데이터 주권과 수출통제 리스크는 모델 조달 의사결정의 1차 필터가 된다.