LLM 작업당 토큰 비용으로 예산을 통제하는 방법

플래그십 모델의 입력 단가는 100만 토큰당 1~5달러 구간까지 내려왔지만, 실제 청구액이 같은 방향으로 움직이지 않는 경우가 많다. 1M 컨텍스트와 다단계 에이전트 루프가 호출당 토큰 사용량을 몇 배로 키우면 단가 인하 효과는 사라진다. 비용을 통제하려면 토큰당 가격이 아니라 작업을 완료하는 데 든 총 토큰과 원가를 봐야 한다.

단가와 청구액이 엇갈리는 지점

GPT-5.6 기준 입력 비용은 100만 토큰당 Sol $5, Terra $2.50, Luna $1이며 출력 비용은 각각 $30, $15, $6이다. 롱컨텍스트 구간의 단가는 약 2배다. 출력 단가는 입력의 6배이므로 장문 응답 중심 워크로드에서는 입력만 줄여서는 비용 절감이 충분하지 않다.

비용이 역전되는 주된 경로는 컨텍스트 확대, 에이전트의 반복 호출, 출력 토큰 증가다. 사용자에게는 요청 1건으로 보이더라도 도구 호출, 검증, 재시도가 이어지면 과금 관점에서는 수십 건의 모델 호출이 된다.

단가 중심 예측은 트래픽 증가만 반영한다. 에이전트 로직을 한 번 바꿔 작업당 토큰이 배로 늘어나도 그 변화는 예측 모델에 드러나지 않는다.

작업 단위로 호출 체인을 계측한다

계측의 기준은 요청 ID가 아니라 사용자 관점의 작업 1건을 뜻하는 작업 ID다. 하위 모델 호출을 같은 작업 ID에 연결해 합산하고, 작업 ID·호출 순번·모델과 티어·입력 및 출력 토큰·캐시 적중 여부·도구 호출 여부·소요 시간을 기록한다.

에이전트 실행은 트리 구조로 남겨야 토큰이 팽창한 분기를 찾을 수 있다. 평면 로그만으로는 원인을 만든 분기를 구분하기 어렵다. 재시도와 티어 승격은 정상 경로 비용과 분리할 수 있도록 별도 플래그를 둔다.

프롬프트 캐시 적중은 입력 과금을 크게 낮춘다. 비용 모델에 캐시 적중률을 명시적 변수로 넣고, 프롬프트 템플릿 배포 이벤트와 적중률 시계열을 같은 대시보드에서 확인해야 한다. 모델별 단가는 코드에 고정하지 않고 설정 테이블로 관리하며, 롱컨텍스트 구간도 별도 행으로 둬 구간 진입 시 원가를 계산한다.

⤢✕

예산 정책을 에이전트 동작에 연결하는 방식

업무마다 작업 1건에 허용할 원가를 사업 가치에서 역산해 정한다. 문의 응대 1건이나 문서 검토 1건처럼 업무 단위의 목표 원가가 있어야 최적화의 종료 조건도 생긴다.

작업당 최대 토큰, 호출당 최대 입력, 에이전트 최대 반복 횟수는 코드 수준에서 강제한다. 상한을 넘었을 때 중단할지, 요약 후 계속할지, 사람에게 전환할지는 업무별 정책으로 명시한다. 그래야 상한 초과가 장애가 아니라 의도한 정책 동작이 된다.

반복 횟수 제한은 무한 루프 방지와 별개로 비용 통제를 위해 필요하다. 기술적 종료 조건과 경제적 종료 조건은 다르며, 상한 도달 빈도가 높은 업무는 에이전트 설계 자체를 다시 검토해야 한다.

캐싱은 반복률이 높은 프리픽스부터 적용한다. 시스템 지시, 도구 정의, 공통 참조 문서가 우선 대상이며, 프롬프트 조립 순서를 바꿔야 하므로 코드 변경 작업으로 계획한다.

예산 한도는 경보를 내는 소프트 한도와 차단하는 하드 한도로 나눈다. 하드 한도만 두면 업무가 갑자기 멈추고, 소프트 한도만 두면 초과가 반복된다. 한도에 가까워지면 자동 티어 강등이나 컨텍스트 축소로 완충하는 경로를 두는 편이, 즉시 차단보다 품질을 낮춰 업무를 지속하는 데 적합한 경우가 많다.

월 예산은 부서와 업무 단위로 배분하고 소진율을 주 단위로 통지한다. 이상 급증은 총액이 아닌 작업당 토큰 수를 기준으로 탐지해야 로직 변경과 트래픽 증가를 바로 구분할 수 있다. 모델과 티어, 컨텍스트 구성, 반복 상한의 변경은 변경관리 대상으로 등록하고 비용 리포트는 재무 보고 체계와 연결한다.

관리 단위에 따라 달라지는 통제력

구분	작업당 총비용 관리	토큰 단가 기준 관리
예측 정확도	높음	로직 변경 미반영
원인 추적	분기 단위 가능	총액만 확인
계측 부담	체인 추적 구현 필요	단순 합산
최적화 방향	로직·컨텍스트 개선	저단가 모델 전환
경영 보고 적합성	서비스 원가로 환산 가능	인프라 비용에 머무름
적합 상황	에이전트·다단계 워크로드	단발 호출 중심

작업당 총비용 관리는 계측 구현 부담이 있지만 비용을 만든 호출 분기를 짚을 수 있고, 문의 1건 처리 원가 같은 사업 지표와 직접 연결된다. 다단계 워크로드에서 단가 기준 관리는 트래픽 증가만 반영하므로 비용 팽창을 확인하는 사후 통보 체계가 되기 쉽다.

저단가 모델 전환은 즉시 효과가 나지만 품질 하락 위험이 있으며 최저 티어 이하로는 내려갈 수 없다. 캐싱과 컨텍스트 압축은 반복 구간의 비용을 없애면서 품질을 유지할 수 있고, 프리픽스 반복률이 높을수록 효과가 크다. 캐싱과 압축을 먼저 소진한 뒤 티어 하향을 검토하는 순서가 품질 위험을 낮춘다.

선불 약정은 단가 할인을 확보할 수 있지만 사용량 예측이 빗나가면 미사용분이 손실된다. 종량 과금은 유연하지만 급증 상황의 예산 통제가 어렵다. 작업당 토큰 수가 안정화되지 않은 초기에는 종량 과금이, 로직이 안정되고 트래픽 예측이 가능해진 뒤에는 약정 전환이 위험 대비 합리적이다.

서비스 원가 관점에서 보는 LLM 비용

LLM 비용은 인프라 비용과 달리 애플리케이션 로직 변경으로 수 배가 움직일 수 있다. 통제점이 조달보다 코드에 있다는 점에서 기존 IT 비용과 다르다. 컨텍스트 확대와 반복 상한 변경을 비용 영향 항목으로 명시하고, 비용 검토를 코드 리뷰 절차에 포함할 필요가 있다.

부서별 쇼백은 비용 통제 수단이면서 최적화의 동기를 만드는 장치다. 부서 × 업무 × 모델 티어 × 작업 유형을 기준으로 작업당 평균 원가와 총액을 함께 보고하고, 작업당 토큰 수 추이를 포함해 트래픽 증가와 로직 팽창을 구분한다.

작업당 원가를 계산하면 AI 기능별 손익을 판단할 수 있다. 총액만 관리해서는 어떤 기능이 적자인지 알기 어렵다. 성공 경로만 계산하지 말고 재시도와 승격 비용까지 원가에 넣어야 실제 비용이 산정된다.

비용 관리가 향하는 방향

작업당 총비용을 표준 관리 지표로 채택하는 조직이 늘고, 관측 도구도 호출 체인 단위의 원가 집계를 기본 기능으로 제공하는 흐름이다. 단가 인하 경쟁이 계속되더라도 컨텍스트 확대와 에이전트 심화가 이를 상쇄하면서 조직의 총지출은 증가 추세를 유지한다.

예산 한도에 도달했을 때 자동으로 티어를 강등하거나 컨텍스트를 축소하는 기능이 프레임워크 기본 기능으로 편입되고 있다. LLM 비용 역시 IT 예산 항목이 아니라 서비스 원가 항목으로 재분류돼 재무 보고 체계에 직접 편입되는 방향이다.