DeepSeek V4가 KV 캐시를 10%로 줄인 방법: MLA와 하이브리드 어텐션

DeepSeek V4가 GPT-4급 프런티어 모델에 근접하는 성능을 훨씬 낮은 비용으로 제공하면서 AI 업계의 판도를 흔들고 있다. 총 1.6조 파라미터 중 490억만 활성화하는 MoE(Mixture of Experts) 아키텍처와 KV 캐시 공유, 멀티-헤드 잠재 어텐션(MLA), FP8 혼합 정밀도 훈련 등의 혁신적 최적화 기법을 결합하여 경쟁 모델 대비 토큰당 비용을 80~95% 절감했다.

희소 활성화와 전문가 라우팅의 원리

Mixture of Experts(MoE)는 하나의 거대한 모델 대신, 다수의 "전문가(expert)" 서브네트워크를 갖추고 각 입력에 대해 일부 전문가만 선택적으로 활성화하는 아키텍처다. DeepSeek V4-Pro는 총 1.6조 파라미터를 보유하지만 추론 시 490억 파라미터만 활성화한다. 이 희소 활성화(sparse activation) 덕분에 Dense 490B 모델과 동일한 추론 연산량으로 훨씬 더 많은 전문 지식을 모델에 내재화할 수 있다.

게이팅 메커니즘(Gating Mechanism)은 MoE의 핵심이다. 각 토큰에 대해 게이팅 네트워크(라우터)가 Top-K 전문가를 선택한다. DeepSeek V4는 Fine-Grained Expert Segmentation 방식을 채택하여 전문가 수를 늘리되 각 전문가의 크기를 줄임으로써 라우팅 유연성을 높였다. 또한 Shared Expert 개념을 도입하여 일부 전문가는 항상 활성화되어 공통 표현을 처리하고, 나머지 Routing Expert들이 태스크 특화 처리를 담당한다.

⤢✕

로드 밸런싱(Load Balancing)은 MoE의 고질적 문제다. 훈련 과정에서 일부 전문가만 과도하게 선택되고 나머지는 거의 사용되지 않는 전문가 붕괴(Expert Collapse) 현상이 발생할 수 있다. DeepSeek은 보조 로드 밸런싱 손실(auxiliary load balancing loss)을 메인 훈련 손실에 추가하여 전문가 활용이 균등하게 분산되도록 유도한다. DeepSeek V4는 여기서 더 나아가 보조 손실 없이도 균형을 달성하는 무보조 부하 균형(Auxiliary-Loss-Free Load Balancing) 기법을 적용하여 훈련 안정성을 높였다.

KV 캐시를 10%로 줄이는 멀티-헤드 잠재 어텐션

DeepSeek V4의 비용 효율성은 MoE 아키텍처 외에도 여러 혁신적 기법의 조합에서 나온다.

멀티-헤드 잠재 어텐션(Multi-Head Latent Attention, MLA)은 DeepSeek이 자체 개발한 어텐션 메커니즘으로, KV 캐시 메모리를 획기적으로 줄인다. 표준 Multi-Head Attention은 각 레이어마다 Key와 Value를 캐싱하는데, 긴 시퀀스에서 이 KV 캐시가 추론 메모리의 대부분을 차지한다. MLA는 저차원 잠재 벡터(latent vector)로 KV를 압축 저장하고 필요 시 복원한다. 결과적으로 DeepSeek V4는 DeepSeek-V3 대비 KV 캐시를 10% 수준으로 줄였다.

KV 캐시 공유는 멀티턴 대화나 배치 추론에서 특히 효과적이다. 동일한 시스템 프롬프트나 공통 컨텍스트를 가진 여러 요청이 KV 캐시를 공유함으로써 중복 계산을 제거한다. Prefix 캐싱과 결합하면 캐시 히트율이 높은 워크로드에서 추론 지연시간과 비용을 동시에 절감한다.

FP8 혼합 정밀도 훈련은 대부분의 행렬 곱 연산을 8비트 부동소수점으로 처리한다. H100 GPU의 FP8 Tensor Core는 BF16 대비 이론상 2배의 처리량을 제공한다. DeepSeek은 세밀한 양자화(fine-grained quantization)와 정밀도가 중요한 연산의 선택적 FP32 유지로 훈련 안정성을 확보하면서 FP8의 속도 이점을 최대화했다.

⤢✕

Hybrid Attention Architecture 또한 주목할 기법이다. DeepSeek V4는 Compressed Sparse Attention(CSA)과 Heavily Compressed Attention(HCA)을 조합하여 단일 토큰 추론 시 FLOPs를 DeepSeek-V3.2 대비 27% 수준으로 줄였다. 긴 컨텍스트(최대 100만 토큰)에서도 효율적 추론을 가능하게 하는 핵심 설계다.

얼마나 싸졌나: GPT-4o·Claude와의 가격 비교

DeepSeek V4의 API 가격은 산업 표준을 뒤흔들었다.

모델	입력 토큰 ($/M)	출력 토큰 ($/M)	컨텍스트 윈도우
GPT-4o	$2.50	$10.00	128K
Claude 3.5 Sonnet	$3.00	$15.00	200K
DeepSeek V4-Pro	$0.28	$1.10	1M
DeepSeek V4-Flash	$0.07	$0.28	1M

표준 입력 기준으로 DeepSeek V4-Pro는 GPT-4o 대비 89% 저렴하고, 캐시된 입력의 경우 $0.028/M으로 99% 이상 저렴하다. OpenAI CEO 샘 알트만은 DeepSeek R1이 유사한 성능의 OpenAI 모델 대비 20~50배 저렴하다고 공개적으로 인정한 바 있다.

이 가격 격차가 실제로 의미하는 바는 크다. 월간 10억 토큰을 처리하는 엔터프라이즈 워크로드를 가정하면, GPT-4o 사용 시 월 약 $2,500인 비용이 DeepSeek V4-Pro에서는 $280으로 줄어든다. 문서 처리 파이프라인, 자동화 추론 태스크처럼 대용량 토큰을 소비하는 워크로드에서 비용 절감 효과는 더욱 극적이다.

⤢✕

성능이 수렴하면 가격이 기준이 된다

DeepSeek V4의 등장은 AI 모델 시장의 구조적 변화를 촉발한다. DeepSeek V4는 MMLU, HumanEval, MATH 등 표준 벤치마크에서 GPT-4o, Claude 3.5 Sonnet과 경쟁하는 수준의 성능을 보인다. 상위 모델들의 성능 격차가 좁혀지면서 비용이 모델 선택의 주요 변수로 부상하고 있다(성능 수렴). DeepSeek의 저가 정책은 OpenAI, Anthropic, Google의 가격 전략에 직접적 압력을 가한다. 실제로 주요 AI 기업들이 새로운 저가 모델 티어를 추가하거나 기존 모델 가격을 인하하는 트렌드가 이어지고 있다(가격 압력).

무조건 최강 모델보다 태스크에 맞는 최적 모델을 선택하는 모델 라우팅(Model Routing) 전략도 중요해졌다. 창의적 글쓰기·복잡한 추론은 프런티어 모델을, 요약·분류·간단한 QA는 DeepSeek V4-Flash 같은 저비용 모델을 사용하는 하이브리드 전략이 엔터프라이즈 AI 비용 최적화의 표준이 되고 있다. DeepSeek의 모델 가중치 공개는 로컬 배포, 파인튜닝, 도메인 특화 적용도 가능하게 한다. 약 $10,000 수준의 소비자 GPU 서버에서 DeepSeek-V3를 초당 약 20토큰으로 실행할 수 있다는 점은 AI 모델 접근성을 근본적으로 바꾸고 있다(오픈소스 생태계 강화).

DeepSeek V4는 MoE 희소 활성화, MLA 기반 KV 캐시 압축, FP8 혼합 정밀도 훈련, 하이브리드 어텐션 아키텍처를 결합하여 프런티어 수준의 성능을 80~95% 낮은 비용으로 제공하는 데 성공했다. 성능 격차가 좁혀질수록 비용·오픈소스 접근성·도메인 특화 가능성이 모델 선택의 핵심 기준이 되며, 기업들은 태스크별 최적 모델을 라우팅하는 하이브리드 전략으로 AI 투자 효율을 극대화해야 한다.

희소 활성화와 전문가 라우팅의 원리

KV 캐시를 10%로 줄이는 멀티-헤드 잠재 어텐션

얼마나 싸졌나: GPT-4o·Claude와의 가격 비교

성능이 수렴하면 가격이 기준이 된다

Sources

함께 읽기