스파스 MoE에서 활성 파라미터와 메모리 예산을 분리하는 법

Moonshot AI가 2026년 7월 16일 공개한 Kimi K3는 총 2.8조 파라미터를 가진 MoE 모델이다. 토큰마다 896개 전문가 가운데 16개만 선택하며, 순전파에서 쓰이는 파라미터는 전체의 약 1.8%다. 이 구조에서는 모델의 총 규모만으로 추론 비용이나 응답 지연을 판단하기 어렵다.

연산에는 활성 전문가가 직접 영향을 주지만, 전문가 가중치 전체는 적재돼 있어야 한다. 따라서 MoE 도입에서는 연산 예산과 메모리 예산을 같은 규모 지표로 계산하면 안 된다.

모델 규모가 하나의 숫자로 설명되지 않는 이유

Kimi K3는 100만 토큰 컨텍스트를 지원하며, Kimi Delta Attention과 Attention Residuals를 적용해 긴 시퀀스와 깊은 모델에서 정보 흐름을 개선했다고 제시됐다.

총 2.8조 파라미터라는 숫자만 보면 자체 호스팅이 불가능하다고 판단하기 쉽다. 그러나 실제 추론 지연은 토큰마다 활성화되는 전문가와 더 가까운 관계를 가진다. 반대로 활성 비율이 약 1.8%라는 이유로 소형 모델처럼 배치할 수도 없다. 전체 가중치를 메모리에 적재해야 하며, 양자화를 적용하더라도 소형 모델 수준의 메모리 요구로 바뀌지는 않는다.

이 차이를 분명히 하려면 다음 두 예산을 분리해야 한다.

연산 예산은 활성 파라미터와 실측 지연을 기준으로 산정한다.
메모리 예산은 총 파라미터와 양자화 방식을 기준으로 산정한다.

라우팅이 품질과 비용을 결정하는 지점

토큰이 들어오면 라우팅 게이트가 전문가 점수를 계산하고, 상위 k개의 전문가를 고른다. 게이트 자체는 작지만 어떤 전문가가 선택되는지가 결과 품질과 토큰당 연산량을 좌우한다.

k가 커질수록 연산량은 비례해 증가한다. 896개 중 16개를 선택하는 설정은 희소성과 품질 사이에서 정해진 균형점이다. 구현이 추론 중 k 변경을 지원한다면, 품질과 지연의 관계를 실측해 업무별로 다르게 둘 수 있다.

학습 과정에서는 특정 전문가에 선택이 쏠리지 않도록 부하 균형 손실을 추가한다. 균형이 무너지면 대부분의 전문가는 충분히 학습되지 않고, 총 파라미터 중 상당 부분이 낭비된다. 그렇다고 균형 강도를 과도하게 높이면 전문가별 특화가 약해진다. 균형과 특화는 서로 맞바꾸는 관계다.

운영 환경에서는 전문가별 선택 빈도를 계속 집계해야 한다. 조직의 도메인이 좁다면 실제 트래픽은 소수 전문가에 집중될 수 있다. 활용되지 않는 전문가 비중이 높다면, 모델 규모가 업무에 제공하는 실효 이득이 낮다는 신호이며 더 작은 모델을 검토할 근거가 된다.

⤢✕

특정 입력 유형에서 전문가 선택 분포가 급격히 좁아지는지도 살펴봐야 한다. 라우팅 편중은 품질 저하보다 먼저 나타날 수 있는 선행 지표다. 편중 구간의 입력을 표본으로 보관하면 원인 분석에 쓸 수 있다.

같은 유형의 입력에 대한 응답 품질 분산도 측정 대상이다. 입력마다 다른 전문가가 선택되므로, 조밀 모델보다 품질 편차가 커질 수 있다. 편차가 큰 구간은 재시도 또는 상위 모델 승격 대상으로 분류할 수 있다.

도입 판단에 필요한 운영 기준

도입 전에는 지연과 처리량을 활성 파라미터 기준으로, 하드웨어 요구량을 총 파라미터 기준으로 따로 정리한다. 양자화를 적용할 때도 메모리 절감폭만 볼 수 없다. 저비트 양자화는 MoE에서 전문가마다 다른 영향을 줄 수 있으므로 품질 손실과 함께 실측해야 한다.

전문가 활용률은 운영 초기부터 수집하는 편이 낫다. 나중에 수집을 시작하면 도입 판단 시점의 근거가 남지 않는다. 활용률이 극단적으로 낮다면 총 파라미터가 조직 업무에 충분히 기여하지 못한다는 의미가 될 수 있다.

라우팅 편중을 검출했을 때는 프롬프트 구조 변경, 입력 정규화, 모델 교체 순으로 대응 단계를 둘 수 있다. 다만 편중 자체가 항상 문제인 것은 아니다. 특정 도메인에서 소수 전문가만 선택되는 현상은 정상 동작일 수 있으므로, 반드시 품질 지표와 함께 판단해야 한다.

조직 내부 문서에는 총 파라미터와 활성 파라미터를 함께 기록하는 규칙이 필요하다. 벤더가 제시한 모델 규모를 비용이나 성능 판단에 바로 쓰지 않는 원칙도 명문화할 수 있다.

후보 모델은 동일 하드웨어에서 지연, 처리량, 메모리를 실측한다. 공개 수치는 배치 크기와 양자화 조건이 다를 수 있다. 롱컨텍스트 구간 역시 별도로 측정해야 한다. 어텐션 구조가 개선된 모델은 짧은 입력에서의 결과만으로 대표성을 판단하기 어렵다.

오픈 웨이트 모델은 커뮤니티 최적화에 따라 성능과 메모리 특성이 계속 달라질 수 있다. 분기 단위 재실측을 정기 항목으로 두고, 자체 호스팅 여부는 비용 실측과 연결해 기록하는 방식이 적합하다.

조밀 모델과 비교할 때 남는 제약

구분	스파스 MoE	조밀 모델
동일 품질 기준 연산량	낮음	높음
메모리 요구	총 파라미터 기준 높음	파라미터 기준
지연 예측	라우팅에 따라 변동	안정적
서빙 복잡도	전문가 배치·통신 부담	단순
품질 편차	상대적으로 큼	작음
자체 호스팅 문턱	높음	상대적으로 낮음

같은 품질을 기준으로 보면 MoE는 더 적은 토큰당 연산으로 추론 단가와 처리량에서 이점을 얻을 수 있다. 대신 전문가 가중치 전체를 적재해야 하고, 전문가 병렬 배치에서는 장치 간 통신이 병목이 될 수 있다.

조밀 모델은 메모리와 연산이 파라미터에 함께 비례하므로 예측과 서빙 구성이 단순하다. 다만 같은 품질을 얻으려면 연산량이 크게 늘어난다. API로 모델을 소비하면 MoE의 서빙 복잡도는 벤더가 감당하므로 장점에 집중할 수 있지만, 자체 호스팅에서는 메모리 문턱이 직접적인 제약이 된다.

소수 전문가 활성화는 토큰당 연산을 낮춰 처리량과 단가에 유리하다. 그러나 각 토큰이 접근하는 지식 범위가 좁아져 복합적인 입력에서 품질이 흔들릴 수 있다. 더 많은 전문가를 활성화하면 품질은 안정되고 편차는 줄지만, 연산량이 선형으로 증가해 MoE의 이점이 약해진다.

총 파라미터 기준은 하드웨어 조달과 자체 호스팅 가능성을 예측하는 데 적합하다. 활성 파라미터 기준은 연산 비용과 응답 속도를 보는 데 적합하다. 어느 하나가 다른 하나를 대체하는 지표는 아니다. 도입 문서에서 두 수치를 나란히 두고 각각 어떤 결정에 쓰는지 적어야 한다.

용량계획과 성능 관리에 반영할 내용

성능 지표는 자원 종류에 따라 분리해 다뤄야 한다. 연산 자원과 메모리 자원이 서로 다른 함수로 움직이는 구조에서 단일 규모 지표는 오해를 만든다. 라우팅에 따라 지연이 달라질 수 있으므로 평균뿐 아니라 백분위 지표도 관리 대상이 된다.

하드웨어 조달 계획에는 총 파라미터 기준 메모리 산정이 들어가고, 처리량 계획에는 활성 파라미터 기준 산정이 들어간다. 양자화는 용량계획의 고정값이 아니라 검증해야 할 변수다. 품질 손실을 확인하지 않고 절감폭만 반영하면 계획이 어긋날 수 있다.

조건부 연산은 필요한 부분에만 자원을 배정하는 설계 원리의 한 구현이다. 캐싱과 지연 로딩도 같은 계열의 판단을 요구한다. 전문가 활용률은 이 설계 결정이 실제 운영에서 유효한지 확인하는 사후 검증 지표이며, 사용되지 않는 용량은 설계 과잉의 증거가 된다.

모델 표기와 배치 방식이 바뀌는 흐름

오픈 웨이트 초대형 MoE가 계속 등장하면서 총 파라미터와 활성 파라미터를 함께 표기하는 관행이 자리 잡는 흐름이다. 자체 호스팅 문턱을 낮추기 위한 저비트 양자화와 전문가 오프로딩 기법도 실무 배치의 표준 옵션으로 편입되는 방향이다.

전문가 활용률 계측은 모델 적합성을 판단하는 정량 지표가 될 수 있으며, 과도한 규모의 모델 채택을 걸러내는 근거로 활용될 수 있다. 롱컨텍스트 어텐션 개선과 희소 라우팅이 결합하면서, 벤치마크를 비교할 때 측정 조건을 명시해야 한다는 요구도 강화되는 방향이다.

Kimi K3처럼 토큰마다 일부 전문가만 활성화하는 모델에서는 파라미터 수 하나로 비용과 성능을 판단할 수 없다. 추론 비용과 지연은 활성 파라미터를, 가중치 적재와 하드웨어 준비는 총 파라미터를 기준으로 분리해야 한다. 운영 초기부터 전문가 활용률을 계측하고, 두 규모 수치가 어떤 의사결정에 쓰이는지 문서에 남기는 것이 규모 표기의 착시를 줄이는 방법이다.