오픈웨이트 LLM 라우팅과 AI 조달 거버넌스

토큰 사용량이 바꾼 모델 API 시장

OpenRouter의 주간 토큰 처리량은 1년 전 약 2조에서 2026년 6월 45조 규모로 늘어 20배 이상 성장했다. 상위 호출 모델의 구성도 달라졌다. OpenAI GPT와 Google Gemini는 밀려났고, 상위 10개 가운데 8개를 DeepSeek을 비롯한 오픈웨이트 모델이 차지했다. 미국 상용 모델 중에서는 Anthropic Claude만 상위권에 남았다.

트래픽 변화는 단순히 모델 선호가 바뀐 결과가 아니다. 코딩과 에이전트 워크로드가 전체 토큰의 절반 이상을 차지하게 됐으며, 2025년 초 11%였던 비중에서 크게 늘었다. 이 수요에서는 저비용과 성능, 공급자 전환 가능성이 함께 작동한다.

중국계 오픈웨이트 모델인 DeepSeek, Alibaba Qwen, MiniMax, Moonshot Kimi, Xiaomi는 45~61%의 트래픽을 차지했다. 1년 전 2% 미만이었던 수준과 비교하면 급격한 반전이다. 저렴한 전력과 효율적 아키텍처를 기반으로 한 초저가 토큰 정책, MIT 라이선스 등을 통한 개방형 배포권이 이런 흐름의 경제적 배경이 됐다.

게이트웨이가 맡는 라우팅 경로

이 환경에서 API 게이트웨이는 애플리케이션과 모델 서빙 프로바이더 사이에서 라우팅, 집계, 계량을 담당한다. 모델 우선 정책은 지정된 모델을 제공하는 여러 프로바이더를 먼저 시도하고, 필요하면 백업 모델로 넘어간다. 비용 우선 정책에서는 최저가 프로바이더를 고를 수 있다.

⤢✕

프로바이더 장애나 레이트리밋이 발생하면 같은 모델을 제공하는 대체 프로바이더로 자동 전환할 수 있다. 이 구조에서는 오픈웨이트 API와 상용 폐쇄형 프런티어 API를 함께 접근하는 이중 경로도 가능하다.

게이트웨이는 토큰 계량, 프로바이더 헬스, 지연, 비용을 단일 지점에서 수집한다. 다중 프로바이더 오케스트레이션은 단일 벤더 의존을 낮추면서 가용성을 확보하는 수단이 된다.

토큰 마크업이 패스스루 방식으로 사라지는 흐름에서는 경쟁의 중심도 바뀐다. 크레딧 수수료는 약 5.5%, BYOK는 월 100만 요청까지 무료이고 이후 5% 과금이며, 셀프호스팅은 수수료가 없다. 플랫폼 수수료, BYOK, 셀프호스팅 지원 여부가 게이트웨이 선택의 주요 기준으로 이동한다.

비용만으로 정할 수 없는 채택 기준

오픈웨이트 모델은 SWE-bench 등의 벤치마크, 최대 1M 컨텍스트 길이, 토큰 단가, MIT 라이선스 여부를 함께 평가해야 한다. 자체 호스팅과 API 게이트웨이 사이의 선택도 같은 방식으로 판단한다.

월 API 지출이 약 1,000달러라면 게이트웨이 수수료는 약 55달러다. 이에 비해 셀프호스팅 서버비는 월 20~50달러 수준이다. 이 비교를 바탕으로 운영 여력과 손익분기를 산정할 수 있다.

SOC 2, HIPAA, 데이터 레지던시 요구가 있다면 LiteLLM 같은 MIT 라이선스 프록시를 이용해 온프레미스에서 키를 관리하는 선택지가 있다. 반대로 인프라 부담을 줄이고 가장 넓은 모델 카탈로그가 필요하다면 호스티드 라우터가 맞을 수 있다.

중국 벤더를 사용하는 경우에는 데이터가 중국 관할권으로 유입되지 않도록 통제해야 한다. 개인·의료 데이터 전송을 금지하고, 감사로그와 설명가능성의 부족을 보완하는 운영 장치도 필요하다. 정치적 트리거 입력에서 취약 코드 생성이 최대 50% 증가하는 등의 편향·안전성 문제는 사전 레드팀 대상으로 다뤄야 한다.

프라이머리를 오픈웨이트 모델로 두고 상용 모델을 백업으로 두는 이원화는 가용성과 규제 대응을 함께 고려할 수 있는 방식이다. 모델 화이트리스트, 데이터 분류별 라우팅 정책, 비용 상한, BYOK 키 관리는 조직 표준으로 관리할 항목이다.

개방형과 상용 API의 조달 차이

비교 항목	오픈웨이트 모델	미국 상용 프런티어 API
OpenRouter 점유	상위 10개 중 8개, 중국계 45~61%	GPT 약 8%대, Claude만 상위권 잔존
토큰 단가	초저가, 상용 대비 최대 1/10 수준	상대적 고가
개방성	가중치 공개·MIT 라이선스 다수	폐쇄형 API, 가중치 비공개
배포 방식	셀프호스팅·게이트웨이 병행 가능	벤더 API 종속
감사·설명가능성	상대적 미흡, 편향·안전성 리스크	레드팀·감사로그 등 엔터프라이즈 통제 성숙
데이터 주권	중국 관할권 유입 위험, 호스티드 시	서구 관할권, 규제 대응 수단 다양
종속성	라우팅 기반 저종속	단일 벤더 고종속

OpenRouter 같은 라우팅 구조는 폴백, 비용 최적화, 가용성 확보에 강점이 있다. 단일 벤더 API는 통합의 단순성과 엔터프라이즈 SLA가 장점이다.

오픈웨이트 생태계는 비용과 자율성에 유리하지만, 폐쇄형 프런티어 생태계는 거버넌스, 안전성, 지원 면에서 우위를 가진다. 조달 평가는 비용뿐 아니라 데이터 주권, 라이선스, 감사 가능성을 함께 가중치로 반영해야 한다.

라우팅 정책을 AI 거버넌스에 편입하기

모델 조달 평가 항목에는 토큰 단가 외에 데이터 관할권, 라이선스, 공급망 리스크를 명시할 필요가 있다. 특정 국가나 벤더에 대한 의존을 피하려면 멀티벤더 폴백과 셀프호스팅 옵션을 확보해야 한다.

데이터 분류와 라우팅을 직접 연결하는 방식도 필요하다. 민감·개인정보 워크로드는 온프레미스 오픈웨이트 모델 또는 서구 상용 API로 보내고, 저민감 워크로드에만 초저가 모델을 허용하는 식이다.

정치적 트리거에 따른 편향이나 취약 코드 생성처럼 모델 고유의 위험은 정보보호 위험평가에 통합해야 한다. 게이트웨이 수수료와 셀프호스팅 운영비, 규제 준수 비용은 TCO 관점에서 함께 산정한다. 모델 화이트리스트, BYOK 키 관리, 라우팅 정책은 정보보호 관리체계(ISMS) 통제 항목으로 편입할 수 있다.

오픈웨이트 모델의 급성장에 대응하려면 모델 수명주기와 전환 계획도 필요하다. 모델이나 프로바이더를 바꿀 수 있다는 사실만으로는 충분하지 않으며, 전환 조건과 경로를 미리 관리해야 한다.

2026년에 이어질 변화

코딩과 에이전트 수요는 오픈웨이트 모델의 토큰 점유 확대를 계속 이끌 것으로 예상된다. 게이트웨이는 토큰 마크업 이후 플랫폼 수수료, BYOK, 컴플라이언스 기능을 중심으로 경쟁하게 된다.

데이터 레지던시와 모델 원산지 규제가 강화되면 셀프호스팅과 소버린 AI 수요도 늘어날 수 있다. 미국 벤더에는 가격 조정과 오픈웨이트 대응 전략이 요구되며, Anthropic Claude의 코딩·에이전트 포지셔닝도 관건이다.

멀티모델 폴백, 비용 인지 라우팅, 관측성은 더 표준화될 가능성이 있다. 모델 조달과 라우팅 정책은 기업 AI 거버넌스의 필수 통제로 자리 잡을 전망이다.

OpenRouter의 토큰 사용량 급증과 오픈웨이트 모델의 상위권 진입은 LLM 조달 방식 자체가 바뀌고 있음을 보여준다. 비용 우위만 좇으면 데이터 주권과 보안 위험이 커질 수 있다. 안전하고 유연한 모델 조합을 위해서는 멀티벤더 폴백과 데이터 분류 기반 라우팅을 함께 설계해야 한다.