MoE 라우팅과 활성 파라미터로 추론 비용을 설계하는 방법

총 용량과 토큰당 계산량은 같은 지표가 아니다

Z.AI는 2026년 8월 26일 GLM-5.3 Flash를 공개하며 320B 총 파라미터 가운데 토큰당 18B만 활성화하는 MoE 구성을 제시했다. 이 모델은 1M 토큰 컨텍스트를 지원하는 네이티브 멀티모달 MoE다. 이전 세대인 GLM-5.2는 Hugging Face 저장소 헤더에서 753B 총 파라미터로 표기되며, vLLM 배포 레시피에서는 약 743B 총·39B 활성으로 반올림해 제시된다.

GLM-5.3 Flash는 GLM-5.2보다 앞선 성능과 약 10분의 1 가격을 제시했고, MIT 라이선스로 배포됐다. Ox Alpha로 사전 공개되던 시기부터 중국산 AI 칩에서 전량 구동된 사실도 함께 알려졌다.

이 사례가 보여주는 것은 총 파라미터만으로 추론 비용을 판단하기 어렵다는 점이다. 총 파라미터는 지식 용량과 메모리 요구량에 가까운 값이고, 활성 파라미터는 토큰마다 실제 수행하는 연산량을 지배한다. 대형 모델의 용량을 유지하면서 단가를 통제하려면 어떤 전문가를 얼마나 활성화할지 자체가 아키텍처의 핵심 변수가 된다.

라우팅이 계산 예산을 배분하는 방식

MoE에서는 피드포워드 블록을 여러 전문가로 분리한다. 전문가를 더 잘게 쪼개면 라우팅 조합이 늘어 표현력은 커지지만, 게이팅 처리와 장치 간 통신 횟수도 증가한다. 모든 토큰이 지나는 공유 전문가를 별도 경로로 두면 공통 지식을 전문가마다 중복 학습하는 낭비를 줄일 수 있다.

게이팅 네트워크는 토큰별 점수를 바탕으로 상위 k개 전문가를 고른다. 즉, 게이팅은 토큰별 계산 예산을 배정하는 장치다. 학습 초기에 특정 전문가로 요청이 몰리는 현상은 게이팅 출력의 온도와 노이즈를 조절해 완화할 수 있다.

활성 전문가 수는 정확도와 지연·단가 사이의 교환 지점이다. 320B-A18B나 753B-A40B처럼 총 파라미터 대비 활성 파라미터를 명시적인 설계값으로 관리해야 한다. 활성 수를 늘릴수록 품질이 계속 개선되는 것은 아니므로, 품질 향상이 포화되는 지점을 실측해 상한을 정할 필요가 있다.

전문가별 토큰 배정량이 한쪽으로 치우치지 않도록 부하 균형 손실을 둔다. 다만 이 손실의 가중치가 과도하면 라우팅이 무작위에 가까워져 전문화의 이점이 사라질 수 있다. 균형 손실 가중치 역시 고정 상수가 아니라 조정 대상이다.

⤢✕

병렬 배치와 메모리 계층에서 생기는 제약

전문가 병렬은 전문가를 여러 장치에 나눠 두고, 토큰을 선택된 전문가가 있는 장치로 보내는 방식이다. 함께 선택되는 빈도가 높은 전문가를 같은 노드에 배치하면 노드 간 왕복을 줄일 수 있다. 이때 배치 토폴로지는 통신량을 직접 결정한다.

전문가 병렬에서는 토큰 분산과 결과 수집을 위한 전역 통신이 필요하다. 통신량이 성능 상한이 되기 쉬우므로, 토큰을 묶어 전송하고 통신과 연산을 겹치도록 배치해 대기 구간을 줄여야 한다.

호출 빈도가 낮은 전문가는 호스트 메모리나 저속 계층으로 오프로딩할 수 있다. 이는 총 파라미터가 큰 구성의 메모리 압박을 낮추는 방법이다. 그러나 적재 지연은 꼬리 지연으로 나타날 수 있으므로, 오프로딩 대상은 호출 빈도뿐 아니라 지연 민감도까지 반영해 골라야 한다.

소수 전문가만 지속적으로 선택되는 라우팅 붕괴도 별도 운영 항목이다. 성능 저하가 나타나기 전부터 전문가 사용률 분포에서 징후가 드러날 수 있다. 붕괴가 감지되면 균형 손실 가중치 상향, 게이팅 재초기화, 용량 계수 조정 순으로 대응 절차를 마련해 둘 수 있다.

비용 목표에서 활성 비율을 거꾸로 정한다

도입 시에는 먼저 목표 토큰 단가에서 허용 가능한 토큰당 연산량을 계산하고, 그 결과로 활성 파라미터 상한을 정한다. 단가 목표가 정해지면 총 파라미터는 메모리 예산이 허용하는 범위에서 별도로 결정할 수 있다.

총 대비 활성 비율은 여러 후보를 두고 동일 학습 예산에서 품질을 비교한다. GLM-5.2의 약 5%대와 GLM-5.3 Flash의 약 6%대는 참조점이 될 수 있지만, 비율만 바꿔서는 충분하지 않다. 전문가 수와 분할 세분화 정도도 함께 바꿔야 비교가 성립한다.

서빙 환경에서는 총 파라미터로 메모리 요건을, 활성 파라미터로 연산 요건을 각각 산정해야 한다. 하나의 지표만으로 장비를 선택하면 요구사항이 어긋난다. 국산·비주류 가속기를 사용할 경우에는 통신 라이브러리와 커널 지원 범위도 요건에 포함해야 한다.

활성 수를 줄이면 특정 과제군에서 품질 저하가 먼저 발생할 수 있으므로 과제별 회귀 임계값을 별도로 둔다. 멀티모달 모델은 모달별 성능을 분리해 측정해야 평균 점수가 한쪽 모달의 저하를 가리는 일을 막을 수 있다. 전환은 저위험 요청부터 시작하고, 이전 구성으로 즉시 되돌릴 경로를 유지한 상태에서 확대한다.

활성 비율, 균형 손실 가중치, 용량 계수의 변경은 형상 관리 대상이다. 라이선스 조건과 구동 하드웨어 종속성도 도입 심사 항목으로 명시해야 한다.

희소 구조가 얻는 것과 감수하는 것

구분	희소 MoE	조밀 모델
추론 단가	낮음	높음
메모리 점유	총 파라미터 전량	파라미터 전량
통신 부담	큼	작음
학습 안정성	낮음	높음
용량 확장	저렴	비쌈
구현 복잡도	높음	낮음

희소 MoE는 동일 품질 기준에서 토큰당 연산량이 활성 파라미터에만 비례한다. 총 파라미터를 늘려 지식 용량을 확장할 때도 추가 연산 비용이 거의 들지 않으며, GLM-5.3 Flash처럼 상위 세대를 앞서면서 10분의 1 가격을 제시하는 구성이 가능하다. 반면 총 파라미터 전량을 메모리에 올려야 하고, 전문가 간 전역 통신이 성능 상한이 되며, 라우팅 붕괴와 부하 불균형이라는 학습 안정성 문제가 추가된다.

조밀 모델은 모든 파라미터가 매 토큰에 참여한다. 라우팅 관련 불안정이 없고 구현·서빙이 단순하며 통신 패턴도 단조롭다. 그러나 용량을 키울수록 추론 단가가 비례해 올라 대규모 지식 용량을 감당하기 어렵다. 용량 요구가 크고 요청량이 많은 서비스에서는 희소 MoE의 이득이 구현 복잡도를 넘어설 수 있다.

활성 전문가를 다수 선택하면 어려운 과제에서 정확도가 높아지고 라우팅 오선택의 영향이 희석되며, 부하도 여러 전문가에 분산된다. 그 대가로 토큰당 연산량과 통신량이 늘어 지연과 단가가 상승한다. 활성 수 증가에 따른 품질 개선은 일정 지점에서 포화될 수 있다.

소수 전문가를 활성화하면 단가와 지연이 낮고 통신량도 작아 배치 유연성이 커진다. 대신 라우팅이 잘못됐을 때 대안 경로가 적고, 특정 전문가에 부하가 몰리면 지연 꼬리가 길어진다. 품질 포화 지점을 기준으로 활성 수를 정하고 요청 난이도에 따라 다른 구성을 배치하는 방식이 실무적이다.

전문가 병렬은 서로 다른 전문가를 각 장치에 두므로 메모리 분산 효율이 좋고, 전문가 수를 확장할 때 장치를 추가하는 방식에 적합하다. 하지만 매 계층마다 토큰 전달과 결과 수집의 전역 통신이 발생하며, 부하가 불균형하면 특정 장치가 병목이 된다. 텐서 병렬은 한 연산을 여러 장치가 나눠 수행하므로 부하가 구조적으로 균등하고 통신 패턴이 예측 가능하지만, 계층별 동기화가 필요해 장치 수가 늘수록 통신 비중도 커진다. 실제 구성에서는 노드 내에 텐서 병렬을, 노드 간에 전문가 병렬을 배치해 대역폭 계층에 맞추는 방식이 일반적이다.

시스템 자원과 변경 통제로 이어지는 운영 관점

총 파라미터는 메모리 계층의 용량 요건을, 활성 파라미터는 연산 유닛의 처리량 요건을 결정하는 별도 자원 축이다. 저빈도 전문가 오프로딩은 계층적 메모리에서 지역성을 활용하는 원리와 맞닿아 있다.

전문가 병렬과 텐서 병렬의 조합은 대역폭 계층에 맞춰 작업을 분해하는 전략이다. 부하 균형 손실은 정적 분할이 아니라 학습된 동적 스케줄링에서 부하를 분산하는 장치로 볼 수 있다.

전문가 사용률 분포는 라우팅 붕괴를 성능 저하보다 먼저 알리는 선행 지표다. 활성 비율과 균형 손실 가중치를 형상 관리 대상으로 두는 일은 성능 파라미터 변경을 통제하는 문제이기도 하다.

활성 비율이 서빙 계층으로 내려오는 흐름

총 파라미터와 활성 파라미터 표기는 모델 사양에서 단가를 비교하는 공통 축으로 정착하는 방향이다. 네이티브 멀티모달 MoE에서는 모달별 전문가 특화가 라우팅 설계의 새로운 축으로 부상하고 있다.

비주류 가속기 위에서 MoE 통신 패턴을 최적화하는 커널과 라이브러리 생태계도 확장되는 방향이다. 활성 비율을 요청 난이도에 따라 실행 시점에 바꾸는 적응형 라우팅은 서빙 계층으로 내려오는 흐름이다.

GLM-5.3 Flash가 320B 중 18B만 활성화하고, 753B-A40B급 이전 세대를 앞서면서 10분의 1 가격을 제시한 사례는 모델 경쟁의 기준이 총 파라미터에서 활성 파라미터 설계로 이동하고 있음을 보여준다. 총 파라미터는 메모리를, 활성 파라미터는 연산량을 지배한다. 희소 구조를 운영한다면 라우팅 붕괴와 부하 불균형을 전제로 전문가 사용률 분포를 상시 지표로 관리해야 하며, 활성 수는 품질 포화 지점을 실측해 정해야 한다.