길리랩blog

Cloudflare Unweight로 이해하는 LLM 가중치 압축과 에지 추론 비용

Cloudflare Unweight가 LLM 가중치를 압축하고 Workers AI 에지 추론의 메모리·배포·비용 구조를 개선하는 방식을 다룬다.

2026-08-14 · 최초 발행 2026-06-10

정확도를 유지한 채 가중치 표현을 줄이는 방식

2026년 Cloudflare가 공개한 Unweight는 LLM 가중치 데이터를 15–22% 줄이는 무손실 압축 기술이다. 적용 대상은 Workers AI의 에지 배포 환경이며, 전 세계 330개 이상의 Cloudflare 에지 PoP(Point of Presence)에서 모델을 저장하고 전송하며 서빙하는 비용 구조를 바꾸는 데 초점이 맞춰져 있다.

핵심은 모델을 작게 다시 학습하거나 정확도를 양보하는 대신, 기존 가중치를 더 효율적인 형식으로 표현하는 데 있다.

이상치는 보존하고 밀집 구간은 촘촘하게 표현한다

LLM 가중치 대부분은 정규 분포에 가까운 영역에 모여 있지만, 소수의 이상치(outlier)가 모델 표현력에서 큰 비중을 차지한다. 선형 양자화(Linear Quantization)는 이 값들을 같은 스케일 팩터로 처리하므로 표현 정밀도가 낮아질 수 있다. Unweight는 이를 피하기 위해 이상치 탐지를 압축 파이프라인 앞단에 분리한다.

탐지는 채널별 분산(per-channel variance)을 기준으로 수행한다. 임계값 τ를 넘는 가중치는 FP16 또는 BF16 고정밀 버킷에 따로 보관하고, 일반 분포에 속하는 값만 압축한다. 이상치를 혼합 정밀도로 다룬다는 점에서는 SmoothQuant나 LLM.int8()과 닿아 있지만, 나머지 가중치를 단순히 INT8로 변환하지 않고 비선형 양자화 격자(Non-linear Quantization Grid)에 배치한다는 차이가 있다.

비선형 격자는 가중치 히스토그램에서 값이 몰린 구간에 더 많은 양자화 레벨을 배정한다. 누적 분포 함수(CDF)의 역함수 변환으로 값을 균일 분포에 매핑하는 과정은 다음과 같이 나타낼 수 있다.

q(w) = Q_levels · CDF(w) / CDF(w_max)

밀집 구간은 세밀하게 남기고 희소 구간은 적은 레벨로 표현하므로, 같은 비트 수에서도 더 많은 정보를 보존할 수 있다.

⤢✕τ 초과 이상치일반 분포 가중치오차 기준 초과오차 기준 충족LLM 가중치 텐서 입력이상치 탐지(채널별 분산 분석)고정밀 버킷(BF16/FP16 저장)CDF 분석(히스토그램 생성)비선형 양자화 격자(Non-linear Grid)행렬 분해(SVD / 블록 분해)정밀도 혼합 인코딩(Mixed Precision Encoding)복원 오차 검증(Error Bound Check)압축 가중치 출력(15–22% 축소)

행렬의 중복성과 레이어 민감도를 함께 반영한다

비선형 양자화가 끝나면 블록 단위 행렬 분해(Block-wise Matrix Decomposition)로 구조적인 중복을 줄인다. 전체 가중치 행렬에 SVD(Singular Value Decomposition)를 적용하면 계산 비용이 O(mn²)에 이른다. Unweight는 행렬을 고정 크기 타일(tile)로 나누고 각 타일을 독립적으로 분해해 이 복잡도를 낮춘다.

각 타일 T_ij의 근사는 다음 식으로 표현된다.

T_ij ≈ U_ij · Σ_ij · V_ij^T

상위 k개의 특이값(singular value)을 남기고 나머지를 절단해 저순위 근사를 만든다. k는 복원 오차가 미리 정한 엡실론(ε)을 넘지 않는 범위에서 적응적으로 결정된다. 큰 특이값이 집중된 부분과 값이 고르게 분산된 부분에 서로 다른 압축 강도를 적용하는 콘텐츠 적응형(content-adaptive) 처리다.

레이어마다 같은 압축 강도를 쓰지도 않는다. 어텐션 레이어의 Query·Key 행렬은 출력 민감도가 높아 보수적으로 처리하고, Feed-Forward Network 내부 레이어에는 상대적으로 강한 압축을 적용할 수 있다. 레이어 민감도 프로파일링(layer sensitivity profiling)은 소규모 교정 데이터셋(calibration dataset)을 이용한 gradient 기반 분석으로 자동화된다.

복원 오차가 기준을 넘으면 압축률을 낮춘다

Unweight가 무손실을 표방하는 근거는 복원 오차 상한(error bound)에 있다. 원본 가중치 W와 복원 가중치 Ŵ 사이의 프로베니우스 노름(Frobenius Norm) 오차를 사전에 정의한 ε 안에 두도록 설계한다.

‖W - Ŵ‖_F ≤ ε

조건을 만족하지 못한 블록은 압축률을 낮추는 방향으로 다시 조정한다. 모델 품질은 perplexity로도 확인한다. 원본과 압축 모델 사이의 perplexity 차이가 0.01 미만이면 무손실로 분류하며, Cloudflare는 내부 실험에서 Llama 3.1·Mistral·Qwen 계열 모델이 모두 이 기준을 충족했다고 보고했다.

Workers AI에서 압축 모델을 서빙하는 경로

Cloudflare Workers AI는 전 세계 에지 PoP에서 추론 요청을 처리하는 서버리스 AI 실행 환경이다. Unweight를 적용하면 모델의 메모리 풋프린트가 15–22% 감소한다. 제한된 GPU·NPU 메모리 안에 더 많은 모델 변형(variant)을 동시에 상주시킬 수 있는 여지가 생긴다.

레지스트리에서 GPU 메모리까지 이어지는 캐시 계층

모델 캐시는 세 단계로 운영된다. 글로벌 모델 레지스트리는 압축된 가중치 아카이브를 관리한다. 에지 PoP의 로컬 NVMe SSD에는 자주 호출되는 모델 파일을 미리 배포한다. 실제로 서빙 중인 모델은 hot tier인 GPU 메모리에 상주시킨다.

⤢✕글로벌 스토리지에지 PoP (330+ 위치)클라이언트 요청HitMissMiss사용자 요청(Workers AI API)요청 라우터(지연 기반 선택)모델 캐시(Hot Tier)NVMe 로컬 캐시(Warm Tier)압축 모델 로더(Unweight 복원)배치 스케줄러(동적 배치 크기)GPU/NPU 추론 엔진모델 레지스트리(압축 아카이브)

Unweight 복원 연산(decompression)은 추론 직전에 한 번 수행한다. 복원된 가중치는 곧바로 GPU 메모리에 올라가며, 복원 과정은 GPU 병렬 연산으로 처리된다. 전체 첫 번째 토큰 지연(TTFT, Time-to-First-Token)에 더해지는 시간은 수 밀리초 이내로 제한된다.

배치 효율과 레이턴시 SLA를 조율한다

배치 처리에서는 GPU 활용률과 레이턴시가 맞물린다. Unweight가 확보한 메모리를 더 큰 배치 크기(batch size)에 사용할 수 있어 처리량(throughput)을 높이고 단위 토큰 비용을 낮출 수 있다.

Workers AI 스케줄러는 요청별 우선순위 큐와 동적 배치 크기 조정(dynamic batching)을 결합해 레이턴시 SLA를 관리한다.

배치 대기 시간 = min(max_wait_ms, SLA_budget - est_inference_ms)
최적 배치 크기 = floor(available_vram / (model_vram + per_request_kv_vram))

챗봇 인터페이스처럼 SLA 예산이 빠듯한 실시간 요청은 작은 배치로 바로 처리한다. 문서 요약 파이프라인처럼 지연을 허용할 수 있는 작업은 큰 배치로 묶어 GPU 효율을 높인다. 압축으로 남은 메모리는 KV 캐시(Key-Value Cache)에 우선 재배정해 긴 컨텍스트에서 발생하는 메모리 부족을 완화한다.

제한된 GPU 메모리에서 모델을 나누는 기준

에지 노드의 GPU 메모리는 데이터센터보다 제한적이다. Cloudflare Workers AI의 에지 GPU 환경에는 일반적인 40GB A100 대신 16–24GB 소비자급 또는 서버급 GPU가 혼합 배치되어 있다. Unweight는 이런 제약 속에서 더 큰 모델을 단일 노드에 올리는 수단으로 쓰인다.

70B 파라미터 모델의 BF16 가중치에는 약 140GB가 필요하다. 텐서 병렬화(tensor parallelism)로 4개 GPU에 나누더라도 노드당 35GB가 필요하므로 24GB GPU에는 맞지 않는다. Unweight로 22% 압축하면 가중치는 109GB로 줄고 노드당 크기는 27.3GB가 된다. 4개 GPU에 배치했을 때는 각 노드에 KV 캐시를 추가로 할당할 공간도 생긴다.

모델을 에지 노드 사이에 파이프라인 병렬(pipeline parallel)로 분산할 때도 압축 효과가 이어진다. 레이어 수가 같아도 가중치 전송(weight streaming)에 필요한 네트워크 대역폭이 줄어들기 때문에 노드 간 가중치 마이그레이션(weight migration)이 빨라진다.

양자화와 프루닝이 아닌 표현 형식의 압축

LLM 경량화는 양자화(Quantization), 프루닝(Pruning), 지식 증류(Knowledge Distillation), 구조적 압축(Structural Compression)으로 구분할 수 있다. 각 방식은 압축률, 정확도, 실행 하드웨어 사이에서 다른 선택을 요구한다.

INT4 양자화는 메모리를 75% 절감하지만 perplexity 기준 2–8%의 품질 저하가 발생하며, 일부 태스크에서는 성능이 크게 떨어진다. 비구조적 프루닝(unstructured pruning)은 50–70% 희소성에서도 품질을 유지할 수 있으나 현재 GPU 아키텍처에서는 희소 행렬 연산의 실제 속도 이득이 미미하다. 구조적 프루닝(structured pruning)은 레이어나 헤드 전체를 제거해 실질적인 속도 향상을 얻는 대신 모델 아키텍처가 달라지는 손실 압축이다.

Unweight는 가중치 값을 바꾸거나 제거하지 않는다. gzip이나 zstd 같은 전통적인 데이터 압축과 비슷하게 데이터를 효율적인 형식으로 인코딩하되, 이상치 분포와 레이어별 중요도, 행렬 저순위성 같은 LLM 가중치의 통계적 특성을 이용한다. 이를 통해 일반 목적 압축 알고리즘보다 높은 압축률을 얻는다.

기법 압축률 정확도 손실 추론 속도 영향 하드웨어 의존성
INT8 양자화 ~50% ~1% 빠름 중간
INT4 양자화 ~75% 2–8% 빠름 높음
비구조적 프루닝 50–70% 1–3% 느림 (희소 연산) 높음
구조적 프루닝 20–40% 3–10% 빠름 낮음
Unweight 15–22% 0% (무손실) 복원 오버헤드 미미 낮음

스토리지 절감이 추론 비용까지 이어지는 이유

15–22%의 가중치 압축은 모델 파일을 보관하고 에지로 배포하는 직접 비용부터 줄인다. 에지 PoP의 NVMe 스토리지 요구량이 낮아지고, 모델 업데이트 패키지가 작아져 전송 비용과 배포 시간이 감소한다. 100개 이상의 모델 변형을 캐싱하는 대규모 환경이라면 수 테라바이트 단위의 스토리지를 절감할 수 있다.

간접 효과는 GPU 메모리 운용에서 나온다. 같은 메모리로 더 큰 배치를 처리하면 GPU 활용률이 오르고 요청당 GPU 시간이 줄어든다. Cloudflare는 Unweight를 Workers AI에 적용한 뒤 단위 추론 비용이 약 18–25% 절감됐다고 보고했다. 메모리 절감에 따른 배치 효율 향상이 주요 원인으로 제시됐다.

기존 LLM 서빙 생태계와 만나는 지점

Unweight가 공개되면서 vLLM·TGI(Text Generation Inference)·Ollama 같은 서빙 프레임워크에 연결할 가능성도 생겼다. 압축과 복원 단계를 표준 모델 로딩 인터페이스에 투명하게 삽입할 수 있다면, 기존 서빙 스택을 크게 바꾸지 않고 메모리 사용량을 줄일 수 있다.

vLLM에서는 모델 가중치를 읽는 from_pretrained() 단계에 Unweight 복원 레이어를 훅(hook)으로 넣는 방식이 자연스러운 통합 경로로 논의된다. HuggingFace Safetensors나 GGUF 포맷의 헤더에 Unweight 메타데이터를 담는 표준화가 먼저 이뤄진다면, 모델 허브를 통해 압축 모델을 배포하는 생태계도 형성될 수 있다.

에지 AI의 하드웨어 진입 장벽에도 영향을 준다. 현재 7B~13B 파라미터 모델은 소비자급 GPU인 RTX 4090 24GB에서 가까스로 동작하는 수준이다. Unweight를 적용하면 같은 하드웨어에서 최대 17B 수준 모델까지 단일 GPU로 서빙할 수 있다. 개인 개발자나 소규모 팀이 클라우드 GPU 의존도를 낮추고 에지 디바이스 또는 자체 서버에서 더 강력한 모델을 운영할 수 있는 기반이다.

Cloudflare가 Unweight를 Workers AI의 기본 파이프라인으로 채택하는 것은 경쟁사 대비 가격 경쟁력을 높이는 전략과도 맞닿아 있다. 15–22%라는 압축률은 개별 모델만 보면 극적으로 보이지 않을 수 있다. 그러나 수백 개 에지 PoP에서 수십 가지 모델 변형을 함께 운영하면 스토리지, 네트워크, GPU 메모리에서 절감 효과가 누적된다. 향후 vLLM·HuggingFace 생태계와의 통합 표준화가 이뤄진다면 LLM 서빙 인프라의 기본 레이어로 자리 잡을 가능성도 있다.

Sources

CloudflareLLM 가중치 압축Workers AI에지 AI모델 서빙