LLM 모델 라우팅 게이트웨이와 AI 비용 통제

여러 LLM 제공자를 하나의 API로 연결하는 라우팅 마켓플레이스가 2026년 7월 결제 인프라 사업자의 인수 대상으로 거론됐다. Stripe의 OpenRouter 인수 협상은 약 100억 달러 규모로 보도됐고, 협상은 유동적이어서 무산 가능성도 함께 언급됐다. 2개월 전 약 13억 달러였던 평가액과 비교하면 여덟 배에 가까운 수준이다.

이 움직임이 주목받는 이유는 모델 자체보다 모델 사용량을 재고, 단가를 적용하고, 정산하는 계층에 있다. 모델 접근과 비용 계산, 정산이 한곳에 모이면 게이트웨이는 조직의 AI 비용 통제 지점이 된다.

개발자 도구에서 AI 과금 경로로

OpenRouter는 2023년에 설립됐으며, 약 70개 제공자의 400개 이상 LLM을 단일 인터페이스로 노출한다. 애플리케이션은 요청마다 모델을 바꿔 사용할 수 있고, 마켓플레이스는 각 모델의 기본 단가에 마크업을 더하는 방식으로 수익을 얻는다.

이 구조는 결제 처리 수수료 모델과 형태가 닮아 있다. 소비량 계측과 과금이 지속적인 마진을 남기는 구간이라는 판단, 그리고 직접 구축하는 것보다 인수하는 편이 저렴할 수 있다는 계산이 함께 작동한다.

요청 하나가 게이트웨이를 통과하는 방식

게이트웨이의 첫 역할은 벤더마다 다른 요청과 응답 형태를 공통 스키마로 바꾸는 일이다. 메시지 형식, 도구 호출 규약, 스트리밍 이벤트, 오류 코드를 통합하지만, 이 과정에서 벤더 고유 파라미터가 모두 보존되지는 않는다. 추론 예산, 캐시 제어, 안전 설정, 도구 호출의 세부 동작, 멀티모달 입력 형식이 대표적인 경계다.

모델 카탈로그에는 모델 ID, 컨텍스트 한도, 단가, 도구·비전·구조화 출력 지원 여부, 가용성 상태가 담긴다. 라우팅은 가중 무작위, 지연, 사용량, 최저 부하, 비용 또는 사용자 정의 정책으로 결정할 수 있다. 최근 30초간 장애가 없었던 제공자를 우선하고, 단가의 역수 제곱(1/price²)처럼 저가 경로에 가중치를 주는 방식도 실무에서 쓰인다.

⤢✕

캐시는 동일하거나 근사한 프롬프트의 추론을 다시 수행하지 않도록 한다. 캐시 적중 시 지연이 최대 90% 수준까지 줄어드는 사례가 보고됐다. 캐시 키는 프롬프트 해시, 모델 ID, 파라미터로 구성할 수 있으며, 임베딩 유사도를 쓰는 근사 캐시는 오답을 반환할 위험을 안고 있다.

쿼터와 레이트리밋은 토큰, 비용, 동시성을 기준으로 사용자·팀·모델·가상 키에 적용한다. 고정 창과 슬라이딩 창을 사용할 수 있으며, 게이트웨이는 상류 제공자의 쿼터가 소진되는 일을 막는 방어 계층이기도 하다.

요청별 입력·출력 토큰을 모으고 모델 단가표를 적용하면 비용을 산출할 수 있다. 사후 정산을 검증하려면 단가표 변경 이력을 남겨야 한다. 팀, 고객, 환경별 가상 키를 발급하면 각 단위의 토큰과 지출 상한을 분리해 관리할 수 있다.

통제부터 시작하는 도입 경로

모든 LLM 호출을 게이트웨이로 통일하는 전면 경유 방식은 계측과 통제에는 가장 유리하다. 반면 게이트웨이가 단일 장애점이 되고, 벤더 고유 기능의 접근은 제한될 수 있다.

부분 경유는 비용 비중이 큰 대량 워크로드만 게이트웨이로 보내고, 특정 벤더 기능이 필요한 요청은 직접 호출로 남기는 방식이다. 일반적인 도입 순서는 계측과 쿼터를 먼저 적용한 뒤 라우팅과 폴백을 넓히고, 마지막에 캐싱을 적용하는 흐름이다.

마켓플레이스를 거치면 마크업이 붙으므로 사용량이 큰 모델은 벤더 직계약 단가와 비교해야 한다. 게이트웨이가 모은 모델별 실사용량은 계약 갱신 협상의 근거가 된다. 마켓플레이스 사업자가 결제 사업자로 편입될 경우 정산 조건과 수수료 구조가 달라질 수 있으므로, 계약에는 단가 변경 통지 조항을 확보할 필요가 있다.

폴백 대상 모델은 품질 하한을 통과한 범위로 제한해야 한다. 장애 때마다 저가 모델로 무조건 넘기면 장애가 품질 저하로 바뀐 채 감춰질 수 있다. 폴백 발생은 별도 지표로 노출하고, 임계를 넘으면 라우팅 정책을 다시 설계한다. 라우팅으로 실제 처리 모델이 바뀌기 때문에 로그에는 모델 ID를 반드시 기록해야 품질 이상 원인을 추적할 수 있다.

비용 배분에서는 팀·서비스·환경별 가상 키와 사용량 원장을 연결한다. 예산을 넘었을 때 하드 차단할지 여부도 사전에 합의해야 한다. 감사에는 요청 주체, 처리 모델, 토큰 수, 단가 버전, 폴백 여부, 캐시 적중 여부가 포함된다.

신규 모델을 카탈로그에 넣는 일도 승인 절차로 관리해야 한다. 검증되지 않은 모델이 라우팅 대상에 자동 편입되지 않게 하고, 게이트웨이와 라우팅 정책 변경 자체를 형상 및 변경관리 대상으로 다룬다.

직접 호출과 게이트웨이 사이의 선택

구분	라우팅 게이트웨이 경유	벤더 API 직접 호출
지연	홉 추가로 수십 ms 증가(캐시 적중 시 오히려 감소)	최소
단가	기본 단가 + 마크업	계약 단가
벤더 전환	카탈로그 변경으로 즉시	코드·프롬프트 수정 필요
고유 기능	정규화 과정에서 제약	전량 사용 가능
계측·쿼터	단일 지점에서 일괄	벤더별 개별 구현
장애 대응	폴백 자동화	애플리케이션에서 직접 구현
종속 대상	게이트웨이 사업자	개별 모델 벤더

호출량이 적고 단일 모델만 쓰는 조직에서는 게이트웨이가 순비용일 수 있다. 반대로 모델 교체가 잦고 여러 팀이 호출하는 환경에서는 계측만으로도 도입 근거가 생긴다. 직접 호출은 지연과 단가에, 게이트웨이는 이식성과 계측, 폴백에 강점이 있다.

서드파티 마켓플레이스는 400여 모델의 카탈로그와 단가 갱신을 대신 관리한다. 대신 마크업과 사업자 종속이 남는다. 자체 구축은 통제력과 마크업 제거를 얻지만, 카탈로그와 단가표 유지, 스키마 변경 추적, 폴백 검증이 상시 운영 업무가 된다. 인수·합병으로 사업자 소유 구조가 바뀔 수 있다는 점은 자체 구축을 검토할 근거가 된다.

단일 벤더는 프롬프트 최적화와 고유 기능 활용에 유리하지만 단가 인상, 모델 폐기, 장애에 직접 노출된다. 멀티벤더 라우팅은 이 위험을 분산하는 대신 프롬프트를 최소 공통 기능에 맞춰야 하며, 모델별 품질 편차를 계속 감시해야 한다.

비용 원장과 벤더 리스크를 함께 관리하기

게이트웨이는 외부 인터페이스의 다양성을 흡수하는 파사드·어댑터 계층이다. 그 대가로 기능은 최소 공통 분모에 수렴한다. 단일 진입점은 통제를 쉽게 만들지만 동시에 단일 장애점이므로, 게이트웨이 자체의 가용성 설계가 도입의 전제 조건이 된다.

AI 비용 통제가 실제로 실행되는 곳도 애플리케이션보다 게이트웨이에 가깝다. 팀별 쿼터, 지출 상한, 저가 모델 라우팅, 캐싱이 한 계층에 모이기 때문이다. 쇼백을 성립시키려면 사용량 원장에 처리 모델과 단가 버전을 함께 남겨야 하며, 이 정보가 빠지면 비용 배분은 추정치가 된다.

마켓플레이스는 다수 모델 벤더와의 계약을 하나로 줄여 조달을 단순하게 만들 수 있다. 그러나 종속이 사라지는 것이 아니라 개별 모델사에서 중계 사업자로 옮겨갈 뿐이다. 인수·합병 가능성을 고려해 데이터 이관, 단가 변경 통지, 서비스 종료 유예 조항을 계약에 확보하는 것이 최소한의 벤더 리스크 관리다.

계측 계층이 넓어지는 방향

계측과 과금 계층은 결제 인프라와 결합하면서 AI 지출을 기존 재무 시스템의 정산 흐름에 직접 편입하는 방향으로 움직이고 있다. 게이트웨이 사업자의 인수와 통합이 이어질 경우, 자체 게이트웨이는 종속을 피하기 위한 전략으로 다시 부각될 수 있다.

라우팅 정책은 비용 최적화뿐 아니라 품질 SLO를 관리하는 수단으로도 확장된다. 모델별 품질 평가는 게이트웨이의 기본 기능으로 들어갈 가능성이 있다. 에이전트 호출량이 늘어 요청 건수가 폭증하면 캐싱과 경량 모델 라우팅은 단가 절감의 1차 수단으로 자리 잡는다.