Kimi Delta Attention으로 설계하는 롱컨텍스트 상태 압축 서빙

KV 캐시가 롱컨텍스트 서빙의 동시성을 제한하는 방식

표준 트랜스포머 서빙에서 KV 캐시는 컨텍스트 토큰 수에 따라 선형으로 커진다. 세션이 늘어나면 연산 자원보다 GPU 메모리가 먼저 소진되고, 결국 캐시 용량이 동시 처리 가능한 세션 수를 좌우한다.

Kimi K3가 채택한 Kimi Delta Attention(KDA)은 이 문제를 고정 크기 순환 상태로 다룬다. 과거 히스토리를 텐서에 계속 누적하는 대신, 상태를 델타 형태로 갱신하고 압축한다. Gated DeltaNet(GDN)을 확장한 구조이며, 망각을 헤드 단위가 아니라 채널 단위로 적용해 표현력을 높인다.

각 채널은 자체 감쇠율로 정보의 유지 기간을 결정한다. 빠른 감쇠는 최근 정보에 치우치게 하고, 지나치게 느린 감쇠는 상태 포화로 이어질 수 있다. 이 감쇠 행렬은 선형 어텐션에서 동적 위치 인코딩으로 해석되며, 전역 계층에서는 명시적 RoPE가 필요하지 않게 된다.

KDA는 모든 계층을 대체하지 않는다. KDA 계층과 주기적 전체 어텐션 계층을 3:1 비율로 섞고, 전역 정보 흐름은 전체 어텐션 계층이 맡는다. 장문 생성에서 메모리·KV 캐시 사용량은 최대 75% 감소하고, 1M 컨텍스트 디코딩 처리량은 최대 6배 개선된다. 단·장문 및 RL 후처리 과제에서는 전체 어텐션 기준선과 동등하거나 상회한다.

고정 상태와 남아 있는 KV 캐시를 함께 관리하는 구조

기존 KV 캐시는 레이어 × 헤드 × 토큰 × 헤드 차원으로 이루어진 4차원 텐서다. 토큰 축이 끝없이 늘어나는 점이 메모리 증가의 직접적인 원인이다.

하이브리드 구조에서는 전체 어텐션 계층만 토큰 축 캐시를 보유하고, KDA 계층은 토큰 수와 관계없는 고정 크기 상태를 가진다. 3:1 구성이면 토큰 비례 캐시를 보유하는 계층은 전체의 4분의 1이다.

상태 갱신은 새 토큰이 들어올 때 전체 상태를 다시 계산하지 않고 변화분만 반영한다. 갱신 비용이 컨텍스트 길이와 무관하므로 디코딩 처리량을 유지할 수 있다. 다만 상태 크기는 하이퍼파라미터다. 작게 잡을수록 메모리 이득은 커지지만 장문 정보 보존율은 낮아진다. 요약 과제와 장문 코드 검색 과제는 같은 압축률을 요구하지 않는다.

전체 어텐션 계층의 캐시는 여전히 PagedAttention 방식의 페이지 단위 관리가 필요하다. 상태 압축은 캐시를 제거하는 방식이 아니라 규모를 줄이는 방식이다. 블록 크기와 페이지 테이블 오버헤드도 그대로 남으므로, 두 기법은 함께 운영해야 한다.

⤢✕

압축률을 서비스 품질의 통제값으로 다루기

용량 산정은 요청의 실제 컨텍스트 길이 분포에서 시작한다. 평균이 8K인 워크로드를 최대치 1M 기준으로만 설계하면 자원이 과잉 배치된다. 길이 분포는 동시성 분포와 같이 봐야 하며, 짧은 요청 다수와 긴 요청 소수는 서로 다른 캐시 전략을 요구한다.

세션당 캐시 예산은 다음과 같이 계산한다.

세션당 캐시 = (전체 어텐션 계층 수) × (토큰 수) × (헤드 수 × 헤드 차원) × (정밀도 바이트) × 2

하이브리드 구조의 핵심 이득은 이 식에서 전체 어텐션 계층 수가 4분의 1로 줄어드는 데 있다. GPU 메모리에서 가중치 적재분을 제외한 잔여분이 캐시 예산이며, 이를 세션당 예산으로 나눈 값이 동시성 상한이 된다.

압축은 손실을 수반하므로 평균 정확도만으로 충분하지 않다. 장문 앞·중간·뒤 구간별 정답률을 측정하는 위치별 정보 회수 테스트를 상시 지표로 두어야 한다. 평균값만 보면 중간 구간의 정보 소실을 놓칠 수 있다. 서비스별 허용 하한은 “장문 중간 구간 정답률 90% 이상”처럼 수치로 정의하고, 모델 갱신이나 압축률 변경 때 회귀 항목으로 실행해 배포 게이트에 연결한다.

압축률은 품질과 동시성을 함께 바꾸는 설정값이므로 형상관리 대상이다. 운영자가 임의로 조정할 수 있게 두면 품질 편차의 원인을 추적하기 어렵다. 롱컨텍스트 요청에는 원문 데이터가 대량 포함될 수 있으므로, 로깅 범위와 보존 기간도 개인정보 정책에 따라 규정해야 한다.

프리픽스 재사용과 캐시 축출이 남기는 운영 과제

전체 어텐션 계층의 캐시에는 축출 정책이 필요하다. LRU 기반 세션 축출과 우선순위 세션 보호를 구분해 설계해야 한다. 시스템 프롬프트나 공통 문서 프리픽스는 세션 간 공유할 수 있으며, 프리픽스 캐시 적중률은 반복 호출 단가에 직접 영향을 준다.

같은 시스템 프롬프트와 문서를 반복해서 넣는 워크로드라면 프리픽스 캐싱으로 프리필 연산을 통째로 생략할 수 있다. 적중 시 첫 토큰 지연과 입력 토큰 과금이 함께 줄어든다. 반대로 요청마다 프롬프트를 미세하게 바꾸면 적중률은 0에 가깝게 된다.

대시보드에는 프리픽스 캐시 적중률, 블록 단편화율, 축출 발생 빈도를 상시 지표로 등록한다. 적중률이 떨어지는 시점은 대개 프롬프트 템플릿 변경 직후이므로, 배포 이력과 지표를 연결해야 원인을 확인할 수 있다.

전체 KV 캐시, 상태 압축, 슬라이딩 윈도의 선택 기준

구분	델타 상태 압축	전체 KV 캐시 유지
메모리 증가	상수 (KDA 계층)	토큰 수 선형
동시 세션 수	높음	캐시 한계에 종속
장문 정보 보존	압축률에 의존	완전 보존
디코딩 처리량	길이 무관 유지	길이 증가 시 저하
구현 복잡도	하이브리드 구성 필요	표준
적합 상황	고동시성 롱컨텍스트	정확도 최우선

델타 상태 압축은 메모리와 처리량을 개선하는 대신 손실을 감수한다. 전체 어텐션 계층을 남기는 하이브리드 설계는 그 손실을 제한하기 위한 선택이며, 3:1 비율은 정보 보존과 절감 사이의 타협점이다. 정확도가 규제 대상인 업무라면 압축률을 보수적으로 잡고 동시성을 포기하는 편이 안전하다.

슬라이딩 윈도는 오래된 토큰을 제거하므로 구현이 단순하고 메모리 상한도 명확하다. 하지만 윈도 밖 정보는 완전히 소실된다. 상태 압축은 오래된 정보를 압축된 상태로 유지하기 때문에 장문 요약이나 전체 문서 질의에서 보존율이 높다. 대화형 챗봇에는 슬라이딩 윈도로 충분한 경우가 많고, 문서 분석에는 상태 압축이 필요하다.

용량 가정과 품질 증적을 계속 갱신해야 하는 이유

LLM 서빙의 성능은 단일 요청 지연이 아니라 동시성 조건부 지연으로 판단해야 한다. 캐시 압박을 재현하지 않은 성능 시험은 운영 성능을 예측하지 못한다. 처리량과 메모리는 교환 관계이며, 압축률 하나가 두 지표를 동시에 움직이므로 튜닝 이력을 남겨야 한다.

가중치 적재분과 캐시 예산은 용량 산정에서 분리해 계상한다. 둘의 합이 GPU 메모리를 넘지 않아야 하고, 남은 용량이 동시성 상한이 된다. 컨텍스트 길이 분포는 시간이 지나며 달라질 수 있다. 사용자가 긴 문서를 넣기 시작하면 기존 용량 가정이 무너지므로, 분포 자체를 모니터링해야 한다.

압축률, 축출 정책, 프리픽스 캐싱 설정은 비용과 품질에 동시에 영향을 주는 통제 항목이다. 변경 승인 절차와 회귀 평가 증적을 규정할 필요가 있다. 또한 롱컨텍스트 처리는 대량의 원문을 모델에 투입하는 일이므로, 데이터 분류 등급별 투입 허용 범위를 사전에 정하지 않으면 통제 밖 유출 경로가 될 수 있다.

선형·상태 압축 어텐션과 전체 어텐션을 섞는 하이브리드 구성은 롱컨텍스트 모델의 기본 설계로 정착할 전망이다. 서빙 엔진은 상태 압축 계층을 1급 개념으로 지원하고, 캐시 관리와 상태 관리를 분리한 API를 노출하는 방향으로 갈 수 있다. 평가도 평균 정확도 중심에서 위치별 정보 회수율을 포함한 구간별 보고로 옮겨가며, 컨텍스트 길이 경쟁은 창 크기보다 해당 길이에서 실제로 유지되는 정보량을 다루게 된다.