에이전트 추론 비용을 낮추는 모델 등급 배분 아키텍처

Meta가 Muse Code와 Model API에 Muse Spark 1.3을 전면 배포하면서, 에이전틱 워크플로·툴 사용·다단계 컨텍스트 유지를 겨냥한 저가 고빈도 추론 등급을 명시적 선택지로 내세웠다. 같은 날 신모델 네 개가 나올 만큼 등급 구성이 자주 바뀌는 환경에서, 모델 선택은 최고 성능 하나를 고르는 일이 아니라 호출의 난도와 빈도에 맞는 등급을 배치하는 일이 됐다.

에이전트는 한 과업 안에서 수십 번 모델을 호출한다. 저난도 호출까지 상위 모델로 처리하면 원가 때문에 기능이 성립하지 않을 수 있고, 반대로 저가 등급만 사용하면 어려운 판단의 실패가 누적된다. 호출별 비용이 기능에 귀속되지 않으면 어느 기능을 먼저 최적화해야 하는지도 알 수 없다.

호출의 성격에 따라 경로를 나누는 방식

배분의 출발점은 기능 단위가 아니라 호출 단위다. 하나의 기능 안에도 분류, 추출, 요약, 계획, 코드 작성, 최종 검토처럼 요구 수준이 다른 호출이 섞여 있다.

난도는 사용자 요청 문구만으로 판단하기 어렵다. 짧은 요청도 어려운 판단을 요구할 수 있으므로 입력 길이, 참조 문서 수, 분기 개수, 이전 실패 여부, 요구 정확도를 신호로 사용한다. 이 신호가 임계를 넘을 때만 상위 등급으로 보내고, 그렇지 않은 호출은 저가 등급에서 먼저 처리한다. 상위 모델을 기본값으로 두면 대부분의 원가가 그 기본 경로에서 결정된다.

품질 미달은 자동 승격으로 다뤄야 한다. 검증 실패, 형식 위반, 신뢰도 미달, 재시도 발생을 승격 조건으로 두면 저가 경로가 품질 사고로 이어지는 일을 줄일 수 있다. 다만 승격이 발생한 호출은 두 번 처리되므로, 승격률이 높은 구간에서는 총비용과 평균 지연이 오히려 커질 수 있다.

툴 호출 단계는 별도로 고정하는 편이 낫다. 도구 선택과 인자 구성은 같은 등급으로 실행해 동작 특성을 일정하게 유지한다. 이 단계를 난도별로 흔들면 도구 호출 형식의 미묘한 차이가 실패율을 크게 바꿀 수 있다.

반복 입력이 많은 분류·추출 호출에는 응답 캐시를 적용할 수 있다. 반면 생성성이 필요한 호출은 동일 응답 재사용이 품질 저하로 보일 수 있으므로 캐시 대상에서 제외한다.

⤢✕

비용·품질·지연을 같은 운영 지표로 다루기

호출마다 기능, 등급, 토큰, 원가를 태깅하고 기능별로 집계한다. 총액만 보면 비용이 발생하는 지점을 찾을 수 없다. 기능별 허용 호출당 원가를 두고 이를 넘는 기능을 개선 대상으로 등록해야 절감 책임도 분명해진다.

등급마다 허용 지연을 정하고, 초과하면 우회 경로나 축약 응답으로 전환한다. 비용만 기준으로 배분하면 승격이 반복될 때 총지연이 상위 모델 단독 처리보다 커질 수 있다. 지연 예산은 승격 임계와 함께 조정해야 한다.

운영 지표는 등급별 호출 분포, 승격률, 기능별 호출당 원가, 품질 미달 건수로 구성한다. 등급별 호출 분포는 자원 수요 예측과 용량 계획의 입력이 되며, 등급별 폴백 경로는 처리 한도 소진 때 서비스 지속을 위한 용량 확보 수단이 된다.

라우팅 규칙을 운영 가능한 형태로 만드는 과정

최근 호출 로그에서 표본을 뽑아 유형, 난도, 실제 사용 등급, 결과 품질을 대조한다. 평균만 보면 안 된다. 소수의 고빈도 저난도 호출이 원가 대부분을 차지하는 경우가 흔하다.

등급은 저가·표준·상위처럼 역할로 정의하고, 각 등급이 맡을 호출 유형을 문서로 고정한다. 특정 모델 이름으로 등급을 정의하면 모델 교체 때 설계 자체가 흔들린다. 모델은 바뀌어도 등급의 역할은 유지돼야 한다.

등급별 최소 정확도와 형식 준수율을 정해 기준 미달 시 자동 승격되게 한다. 모든 등급에 같은 품질 하한을 적용하면 저가 경로를 둔 이유가 사라진다. 승격 임계는 단계적으로 옮기면서 승격률, 총원가, 품질, 총지연을 함께 측정한다. 임계를 낮추면 원가는 줄지만 재처리 지연은 늘어난다.

라우팅 규칙은 코드 조건문이 아니라 설정으로 분리해 점진 적용하고, 즉시 복귀할 수 있는 경로를 남긴다. 등급 정의, 난도 신호 목록, 승격 규칙, 지연 예산은 조직 표준으로 관리한다.

단일 모델 처리와 등급 배분의 차이

구분	등급별 자동 배분	단일 모델 일괄 처리
원가 절감	큼	없음
품질 편차	등급 경계에서 발생	균일
구현 복잡도	높음	낮음
모델 교체 대응	등급 매핑만 수정	전면 검증 필요
장애 격리	등급별 폴백 가능	단일 실패점
운영 관측 부담	큼	작음

등급별 자동 배분은 저난도 호출을 저가 등급이 흡수해 총원가를 크게 낮출 수 있다. 등급별 폴백이 가능해 한 모델의 장애가 전체 중단으로 이어지는 위험도 줄고, 모델 교체 때는 등급 매핑을 수정하면 된다. 대신 라우팅과 승격 로직이 필요하며, 등급 경계의 호출에서는 품질 편차가 생길 수 있다. 어떤 등급이 처리했는지 추적하는 관측 부담도 커진다.

단일 모델 일괄 처리는 프롬프트와 후처리를 한 벌만 유지하면 되므로 구현과 원인 분석이 단순하다. 응답 특성도 균일하다. 그러나 저난도 호출까지 상위 단가로 처리하게 되고, 모델 장애나 한도 소진이 전체 기능 중단으로 이어질 수 있다. 모델을 바꿀 때도 모든 호출을 다시 검증해야 한다. 호출 수가 많은 기능부터 등급 배분으로 옮기고 저빈도 기능은 단일 모델로 유지하면 구현 부담과 절감 사이를 절충할 수 있다.

저가 우선 후 승격은 대부분의 호출을 낮은 단가로 끝낼 수 있으며, 승격 발생률 자체가 난도 분포를 보여주는 지표가 된다. 저가 등급의 개선 효과도 원가에 바로 반영된다. 다만 승격 호출은 두 번 처리되고, 승격 판정이 부정확하면 품질 사고가 사용자에게 노출될 수 있다. 승격률이 높은 유형은 상위 등급을 기본값으로 되돌리는 동적 운영이 필요하다.

툴 호출 단계를 저가 등급으로 고정하면 호출 빈도가 높은 구간에서 절감 효과를 얻고 도구 선택 형식도 일정하게 유지할 수 있다. 하지만 도구 목록이 크거나 인자 구조가 복잡하면 오선택이 늘고 실패가 후속 단계로 전파될 수 있으며, 등급별 도구 호출 형식 차이를 흡수하는 계층이 필요하다. 도구 표면을 최소 집합으로 줄인 뒤 툴 단계를 저가 등급으로 고정하는 순서가 정확도 손실 없이 절감을 확보한다.

오케스트레이션 계층에서 굳어지는 역할

저가 고빈도 등급은 프런티어 모델과 나란히 상시 선택지로 자리 잡고, 등급 구성은 표준 설계 항목이 되는 방향이다. 난도 판정과 승격 규칙은 오케스트레이션 계층의 기본 기능으로 내장되는 흐름이며, 호출별 원가 귀속은 기능 단위 손익 분석과 결합돼 제품 의사결정에 쓰이게 된다.

툴 사용에 최적화된 모델도 등급별로 분화될 수 있다. 이때 모델 선택은 도구 표면 설계와 분리된 문제가 아니다. 호출 유형 분류, 난도 판정 신호, 저가 우선 경로, 자동 승격, 원가 귀속, 지연 예산을 함께 관리할 때 모델 배분은 비용 절감 이상의 운영 설계가 된다.