LLM 서빙에서 메모리와 연산량을 분리하는 용량 계획

활성 파라미터만으로는 서빙 용량을 계산할 수 없다

Qwen3.8-Flash-Next는 총 125B 파라미터를 보유하면서 토큰당 활성 파라미터를 6B 수준으로 제한하는 멀티모달 MoE 구성이다. 397B-A17B급 모델과 대등한 성능을 보고했고, 입력 100만 토큰당 API 단가는 0.16달러로 제시됐다.

이 구조에서 총 파라미터는 가중치를 메모리에 적재하는 비용을 결정하고, 활성 파라미터는 토큰당 연산량을 좌우한다. 두 값은 같은 방향으로 움직이지 않는다. 활성 파라미터가 작더라도 총 파라미터 전체를 메모리에 올려야 하므로, 활성 비율만 근거로 GPU 구성을 줄이면 메모리 부족에 부딪힌다. 반대로 총 파라미터만 기준으로 잡으면 연산 자원을 과도하게 확보하게 된다.

특히 동시 요청과 컨텍스트 길이가 늘어나는 환경에서는 KV 캐시가 가중치보다 큰 메모리 항목이 될 수 있다. MoE에서는 특정 전문가에 토큰이 집중될 때 장치 간 부하가 어긋나고, 그 영향은 평균 처리량보다 꼬리 지연에서 먼저 나타난다.

가중치, KV 캐시, 연산 제약을 따로 설계한다

가장 먼저 총 파라미터 전량을 어떤 장치에 나눠 올릴지 정한다. 이 단계에서 활성 비율은 고려 대상이 아니다. MoE 구성은 전문가를 장치에 분산하므로 장치별 전문가 수와 노드 간 대역폭도 배치 제약으로 작동한다.

KV 캐시의 상한은 계층 수, 헤드 차원, 동시 요청 수, 최대 컨텍스트 길이의 곱으로 계산한다. 가중치를 올리고 남은 메모리가 동시 처리 가능한 요청 수의 상한이므로, 이 관계가 용량 계획의 출발점이 된다.

요청 처리는 연속 배치 방식이 적합하다. 새 요청을 실행 중인 배치에 합류시키고, 완료된 시퀀스는 즉시 제거한다. 다만 배치 구성이 매 스텝 달라지므로 스케줄러가 KV 캐시 단편화까지 관리해야 한다.

전문가별 호출 분포도 관측 대상이다. 특정 장치에 부하가 지속해서 몰리면 전문가 재배치나 복제 배치로 완화할 수 있다. 양자화 역시 가중치, KV 캐시, 활성값에 같은 방식으로 적용할 필요는 없다. 총 파라미터가 큰 모델에서는 가중치 양자화가 메모리 병목을 줄이고, KV 캐시 양자화는 동시성 상한을 완화한다.

프리필은 연산 집약적이고 디코드는 메모리 대역폭 집약적이다. 둘을 같은 장치에서 혼합하면 어느 단계도 충분히 포화되지 않을 수 있다. 분리 배치하면 단계별로 하드웨어와 배치 크기를 따로 선택할 수 있다. 분리하지 않는 경우에는 긴 프리필이 디코드 스텝을 막지 않도록 청크 단위 스케줄링이 필요하다.

⤢✕

서비스 목표에서 시작하는 도입 과정

초당 토큰 처리량, 첫 토큰 지연, 상위 백분위 지연은 각각 목표로 관리해야 한다. 하나만 설정하면 나머지 지표는 의도하지 않게 희생될 수 있다. 대화형 요청과 배치형 요청도 동일한 목표로 묶어서는 안 된다.

하드웨어 후보는 총 파라미터 기반의 메모리 요건과 활성 파라미터 기반의 연산 요건을 분리해 비교한다. MoE에서는 노드 내부와 노드 간 대역폭의 차이도 상한을 만들 수 있다.

양자화 조합은 자체 과제 세트로 검증하되 평균 점수만 보지 않고 과제군별로 확인한다. 멀티모달 모델은 모달별 품질 손실이 다르게 나타날 수 있으므로 분리 측정이 필요하다. 가중치부터 양자화하고, KV 캐시는 품질 영향을 측정한 뒤 단계적으로 적용하는 순서가 위험을 낮춘다.

부하 시험에는 평균 부하뿐 아니라 급증 구간, 긴 컨텍스트가 섞이는 구간, 전문가 편향을 일으키는 도메인 편중 트래픽을 포함한다. 모델 교체 주기가 짧아진 만큼 용량 계획도 분기 단위로 다시 산정하고, 신규 모델을 편입할 때는 메모리와 연산 요건의 변화를 함께 검토한다.

장치 장애에 대비해 전문가 재배치 경로와 허용 가능한 성능 저하 범위를 미리 정해둘 필요가 있다. 가중치 적재 시간이 복구 시간을 지배하므로 사전 적재된 대기 인스턴스를 유지할지도 결정해야 한다. 양자화 설정, 배치 크기, 자동 확장 임계값은 형상 관리 대상으로 두고, 자체 호스팅과 API 호출의 총소유비용도 정기적으로 비교한다.

배치 방식과 운영 모델의 선택 기준

구분	연속 배치	정적 배치
처리량	높음	낮음
지연 분포	안정적	편차 큼
구현 복잡도	높음	낮음
자원 유휴	적음	많음
단편화 관리	필요	불필요
급증 대응	유연	경직

연속 배치는 끝난 시퀀스를 즉시 제거하고 새 요청을 넣기 때문에 장치 유휴를 거의 남기지 않는다. 길이가 다른 요청이 함께 들어와도 짧은 요청이 긴 요청을 기다리지 않아 지연 분포가 안정적이며, 트래픽 급증도 대기열 길이 조절로 흡수할 수 있다. 대신 KV 캐시 단편화를 상시 관리해야 하고 구현 및 튜닝 난도가 높다.

정적 배치는 배치가 고정돼 구현이 단순하고 메모리 사용을 예측하기 쉽다. 반면 가장 긴 시퀀스가 끝날 때까지 다른 슬롯이 비게 되며, 짧은 요청도 긴 요청에 묶여 지연 편차가 커진다. 요청 길이 분포가 넓은 실서비스에서는 연속 배치의 이득이 구현 부담을 확실히 넘어선다.

양자화 서빙은 가중치 메모리를 줄여 총 파라미터가 큰 모델을 더 적은 장치에 적재할 수 있게 한다. KV 캐시 양자화는 동시 요청 수를 늘리고, 메모리 대역폭 병목 완화는 디코드 처리량 향상으로 이어진다. 다만 과제군별 품질 저하가 균일하지 않고, 멀티모달 구성에서는 모달별 손실 차이가 커 평균 지표만으로 문제를 놓칠 수 있다. 양자화 커널의 하드웨어 지원 범위도 배치 선택을 제한한다.

원 정밀도 서빙은 학습 시점의 품질을 그대로 유지하고 검증 부담이 없으며 어떤 하드웨어에서도 동작한다. 그 대가로 메모리 요건과 장치 수가 늘고, 동시 처리 가능한 요청 수가 제한돼 요청당 인프라 비용이 올라간다.

자체 호스팅은 대량 트래픽에서 단위 비용을 낮출 수 있고, 데이터를 외부로 내보내지 않아 규제 요건에 대응하기 쉽다. 배치 크기와 양자화도 워크로드에 맞출 수 있다. 그러나 총 파라미터 전량을 상시 메모리에 적재해야 하므로 유휴 시간에도 장비 비용이 발생하며, 모델 교체 주기가 짧은 환경에서는 하드웨어 투자 회수 기간도 짧아진다. 운영 인력 역시 상시 필요하다.

API 호출은 사용량에 따라 비용이 발생해 유휴 비용이 없고, 신규 모델을 즉시 시험할 수 있으며 운영 부담도 적다. 다만 단가가 자릿수로 변동하는 시장에서는 비용 예측이 어렵고, 데이터 처리 지역과 학습 활용 여부를 통제하기 어렵다. 공급 계약 변경에도 영향을 받는다. 상시 기저 부하는 자체 호스팅으로 처리하고, 급증분과 신규 모델 시험은 API로 맡기는 혼합 구성이 두 비용 구조를 함께 활용한다.

운영 지표가 드러내는 병목

프리필과 디코드를 분리 배치하는 방식은 병목 유형에 맞춰 자원을 정합시키는 성능 관리 접근이다. 상위 백분위 지연을 평균 지연과 별도로 관리하면 전문가 편향과 긴 요청이 가리는 서비스 품질 저하를 확인할 수 있다.

가중치 적재 후의 잔여 메모리로 동시 요청 수를 계산하는 방식은 제약 자원 기반의 용량 산정이다. 자동 확장도 GPU 사용률보다 대기열 길이와 첫 토큰 지연을 기준으로 삼는 편이 서비스 상태에 가깝다. MoE 구성에서는 GPU 사용률이 실제 여유를 제대로 나타내지 못할 수 있으며, 가중치 적재 시간이 길면 확장 지연을 고려해 임계값을 앞당겨야 한다.

가중치 적재 시간이 복구 시간을 지배하는 구조는 재해 복구 목표 시간 산정에도 반영돼야 한다. 양자화 설정과 배치 크기를 형상 관리 대상으로 다루는 일은 성능 파라미터 변경을 통제하는 운영 절차다.

서빙 프레임워크가 향하는 방향

총 파라미터와 활성 파라미터를 분리해 표기하는 모델 사양은 인프라 산정 도구의 기본 입력으로 자리 잡는 방향이다. 프리필·디코드 분리 실행은 서빙 프레임워크의 기본 배포 형태로 확산되고, KV 캐시 양자화와 계층적 캐시 오프로딩은 동시성을 확대하는 표준 수단으로 정착하는 흐름이다.

모델 교체 주기 단축은 용량 계획 재산정 주기를 분기 단위로 줄이는 요인이 된다. 서빙 환경에서는 모델 성능만이 아니라 가중치 적재, KV 캐시, 활성 전문가 분포, 복구 시간까지 함께 재검토해야 한다.

메모리 축과 연산 축을 함께 운영하기

125B 총 파라미터 가운데 6B 수준만 활성화하면서 397B-A17B급 성능을 낸 구성은, 서빙에서 메모리와 연산량이 서로 다른 축이라는 점을 보여준다. 활성 파라미터가 작다는 이유만으로 장비가 적게 든다고 판단하면 총 파라미터 전량을 메모리에 적재해야 하는 조건을 놓치게 된다.

동시 요청 수는 가중치 적재 뒤 남은 메모리에 할당되는 KV 캐시와 연결된다. 따라서 가중치와 KV 캐시를 하나의 용량 계획 안에서 다뤄야 한다. 전문가 편향은 평균 처리량보다 꼬리 지연에서 먼저 드러나므로, 상위 백분위 지연을 독립된 운영 목표로 두는 것이 필요하다.