SubQ SSA가 초장문 컨텍스트의 어텐션 비용을 줄이는 방식

2026년 5월 미국 마이애미의 AI 스타트업 Subquadratic은 서브쿼드래틱 희소 어텐션(Subquadratic Sparse Attention, SSA)을 적용한 SubQ를 출시했다. 회사가 내세운 컨텍스트 윈도우는 1,200만(12M) 토큰이다. 1M 토큰 프리필(prefill)은 FlashAttention보다 약 52배 빠르고, 연산 효율은 최대 1,000배에 이른다는 주장도 함께 제시했다.

SubQ가 주목받은 이유는 단순한 컨텍스트 확장이 아니다. 2017년 트랜스포머 논문 이후 이어진 O(n²) 어텐션의 병목을 다른 방식으로 풀고, 비트랜스포머(Non-Transformer) 접근법을 프런티어 스케일에 적용한 첫 사례라는 데 의미가 있다. 다만 현재 공개된 성능 수치는 모두 자체 보고이며 독립적 재현은 아직 이루어지지 않았다.

모든 토큰 쌍을 비교할 때 생기는 병목

표준 트랜스포머는 시퀀스 길이 n에 대해 O(n²)의 어텐션 연산을 수행한다. 입력 길이를 두 배로 늘리면 연산량은 네 배가 된다. 128K 토큰부터 메모리와 계산 비용이 급격히 커지고, 같은 구조로 1M 토큰 이상을 처리하기는 현실적으로 어렵다.

어텐션 계산은 다음 수식으로 표현할 수 있다.

Attention(Q, K, V) = softmax(QK^T / √d_k) × V

병목은 Q·K^T 행렬 곱셈에서 발생한다. 100만 토큰 시퀀스라면 10¹²(1조) 번의 곱셈·덧셈이 필요해 현재 GPU 하드웨어로 실시간 처리하기 어려운 수준이 된다.

입력 크기를 n=12,000,000으로 놓고 비교하면 O(n²) 연산량은 약 5.1×10¹⁴, O(n log n)은 2.9×10⁸이며 약 175만 배 차이가 난다. 실제 시스템 성능이 이 계산과 같은 비율로 개선된다는 뜻은 아니지만, 긴 시퀀스에서 복잡도 차이가 얼마나 빠르게 커지는지는 보여준다.

SSA는 콘텐츠를 보고 어텐션 대상을 고른다

SSA의 출발점은 표준 어텐션에서 수행하는 토큰 간 비교 대부분이 중복되거나 필요하지 않다는 판단이다. 고정된 희소 패턴을 적용하는 대신 각 쿼리 토큰의 콘텐츠를 바탕으로 실제 참조할 위치를 선별한다.

먼저 학습된 라우팅 과정이 전체 K·V 집합에서 어텐션이 필요한 소수의 위치를 찾는다. 이 선택은 O(n log n) 복잡도 안에서 수행된다. 이후 선별된 위치에만 표준 정밀도의 어텐션을 계산한다. Mamba나 RWKV처럼 전체 문맥을 고정 크기 상태로 압축하지 않기 때문에 선택된 토큰 사이에서는 정확한 어텐션을 유지할 수 있다.

KV 캐시에는 양자화, 프루닝, 학습된 압축 코드북을 함께 적용한다. 키·값 벡터를 INT8 또는 FP8로 저장해 캐시 메모리를 절반 이하로 압축하고, 레이어를 지난 뒤 어텐션 가중치가 낮은 키를 제거한다. 콘텐츠가 비슷한 KV 벡터는 학습된 코드북을 이용해 군집화한다. 이 조합으로 12M 토큰 컨텍스트에서도 실용적인 메모리 사용량을 달성했다는 것이 SubQ의 설명이다. KV 캐시를 최대 75%까지 줄인 DeepSeek Linear 같은 하이브리드 아키텍처와도 방향이 맞닿아 있다.

⤢✕

공개된 벤치마크를 읽을 때의 유보 사항

SubQ가 발표한 결과만 보면 짧은 컨텍스트의 속도 개선보다 입력이 길어졌을 때의 격차가 더 두드러진다.

벤치마크	SubQ 성능
RULER 128K	95.0%
MRCR v2 1M tokens	65.9%
SWE-Bench Verified	81.8%
128K 토큰 프리필 속도	FlashAttention 대비 7.2×
1M 토큰 프리필 속도	FlashAttention 대비 52.2×
12M 토큰 연산 비용 절감	표준 어텐션 대비 ~1,000×

SWE-Bench Verified 81.8%는 전체 코드베이스의 맥락을 다루는 에이전트 코딩 능력을 판단할 때 참고할 수 있는 지표다. 그러나 표에 나온 결과는 모두 SubQ가 자체 보고한 값이다. 독립 기관이나 다른 연구팀이 같은 조건에서 재현하기 전까지는 아키텍처의 가능성과 검증된 성능을 구분해서 봐야 한다.

전체 코드베이스를 컨텍스트에 넣는 선택

기존 코드 어시스턴트는 보통 RAG로 관련 코드 조각을 검색한 뒤 제한된 컨텍스트에 넣는다. 검색 결과가 빗나가거나 파일 사이의 의존성이 끊기면 호출 체인과 코드 맥락이 누락될 수 있다.

12M 토큰을 실제로 활용할 수 있다면 수백만 줄 규모의 코드베이스를 단일 컨텍스트에서 참조하는 방식이 가능해진다. Linux 커널 약 2,000만 라인 중 일부를 함께 적재하는 사례도 이 범위에 들어간다. 파일 간 의존성과 호출 체인을 따라가고, 레거시 코드 전체를 바탕으로 리팩터링을 제안하며, 빌드 로그·스택 트레이스·소스를 동시에 놓고 디버깅할 수 있다. PR 리뷰에서도 변경분과 전체 코드베이스의 관계를 한 번에 분석할 수 있다.

이 방식이 검색 자체를 불필요하게 만드는지는 별개의 문제다. 긴 입력을 처리하는 비용과 지연, 자체 보고 성능의 재현 여부가 확인되어야 실제 시스템에서 RAG를 걷어낼지 결정할 수 있다.

RAG 없이 문서 전체를 처리할 수 있는가

RAG 파이프라인의 결과는 벡터 검색 정확도, 청킹 전략, 임베딩 품질에 영향을 받는다. 설정이 달라지면 검색되는 문서가 바뀌고, 청크 밖에 있는 관계나 문서 전체의 맥락이 끊길 수 있다.

SubQ가 지향하는 방식은 수천 페이지의 자료를 검색용 조각으로 나누지 않고 단일 컨텍스트에 직접 적재하는 것이다. 원본이 제시한 적용 범위에는 수백 페이지 분량의 법률 계약서에서 조항 충돌을 찾는 작업, 기술 규격서 전체를 참조하는 API 설계 검토, 다년간의 재무 보고서에서 이상 징후를 찾는 작업, 연구 논문 수천 편을 대상으로 하는 문헌 리뷰가 포함된다.

두 구조의 차이는 다음과 같다.

항목	RAG 방식	In-Context (SubQ)
검색 정확도 의존성	높음	없음
문서 간 관계 파악	어려움	자연스러움
구현 복잡도	벡터 DB, 청킹, 임베딩 필요	단순
비용 구조	저렴한 임베딩 + 소규모 컨텍스트	긴 컨텍스트 비용
업데이트 반영	재인덱싱 필요	즉시 반영
환각 위험	검색 실패 시 높음	전체 맥락 기반 낮음

RAG는 필요한 일부 문서만 가져와 컨텍스트 비용을 줄일 수 있다. In-Context 방식은 검색 누락 없이 전체 관계를 볼 수 있지만 긴 컨텍스트 비용을 부담한다. 따라서 문서 사이의 교차 검증이 핵심인지, 검색과 인덱싱 비용을 감수할 수 있는지에 따라 선택이 달라진다.

법률 문서 파이프라인에서 달라지는 처리 단위

대형 법무법인의 M&A 실사(Due Diligence)는 수천 개 계약서와 재무 문서를 수주 안에 검토해야 한다. 이때 12M 토큰 컨텍스트를 하나의 작업 단위로 쓸 수 있다면 문서별 검색보다 계약서 묶음 전체의 관계를 확인하는 구조를 선택할 수 있다.

전체 계약서 묶음을 최대 12M 토큰의 단일 컨텍스트로 적재한 뒤 면책·배상·해지·경쟁금지 조항을 문서 전체에서 식별한다. 다음으로 용어·수치·의무 사항의 일관성을 교차 검증하고, 조항 충돌과 이례적 조건, 위험 요소를 표시한다. 마지막에는 발견 사항의 우선순위를 정리한 보고서를 생성한다.

SubQ는 Claude Opus나 GPT-5.5 대비 약 1/5 수준의 비용을 주장한다. 이 수치가 확인된다면 대량 문서를 다루는 엔터프라이즈 파이프라인의 경제성에 직접 영향을 줄 수 있다. 다만 비용 역시 독립 검증이 필요한 주장으로 다뤄야 한다.

Mamba2와 RWKV는 무엇을 포기하고 복잡도를 낮추는가

SubQ, Mamba2, RWKV는 긴 컨텍스트를 다루지만 계산량을 줄이는 방법은 서로 다르다.

Mamba2는 상태 공간 모델(State Space Model, SSM)을 이용한다. 토큰을 처리할 때 고정 크기의 숨겨진 상태를 갱신하고, 입력 전체를 서로 비교하는 대신 순환 구조로 정보를 압축해 전달한다. 복잡도는 O(n)이지만 수백만 토큰 전의 정보가 고정 크기 상태에서 희석될 수 있어 정확한 참조에는 불리하다.

RWKV(Receptance Weighted Key Value)는 트랜스포머 어텐션을 선형 RNN으로 재해석한다. O(n) 추론과 병렬 학습을 함께 지원하지만, RWKV-7은 28K 토큰까지 높은 정확도를 보인 뒤 그 이상에서 성능이 빠르게 떨어진다. 128K 데이터로 사전학습을 계속해도 개선 폭은 제한적이다.

SubQ는 어텐션 자체를 없애지 않는다. 콘텐츠를 기준으로 위치를 선별한 뒤 그 토큰에 완전한 정밀도의 어텐션을 적용한다. 상태 압축에 따른 정보 손실을 피하면서 계산 범위를 줄이는 것이 Mamba2·RWKV와 구분되는 지점이다.

항목	SubQ (SSA)	Mamba2	RWKV-7
어텐션 방식	희소 선택적	없음 (SSM)	선형 RNN
복잡도	O(n log n)~O(n)	O(n)	O(n)
최대 실용 컨텍스트	12M 토큰 (주장)	~수십만 (실효)	~28K (고성능)
장거리 의존성	높음 (선택적 정확 어텐션)	낮음 (상태 압축)	중간
학습 안정성	불명확 (검증 중)	안정적	안정적
오픈소스 여부	비공개	공개	공개
독립 검증	미완료	완료	완료
프런티어 스케일 경험	첫 시도	미도달	미도달

선형 어텐션과도 계산 원리가 다르다

Kimi Linear, RetNet, GLA(Gated Linear Attention)는 소프트맥스 어텐션을 커널 함수로 근사해 O(n) 복잡도를 달성한다. 대신 소프트맥스 어텐션의 표현력을 완전히 복제하지 못하며, In-Context Learning이나 명시적인 토큰 간 비교가 필요한 작업에서 성능이 낮아지는 경향이 있다.

SSA는 소프트맥스를 다른 함수로 근사하지 않는다. 계산할 위치를 줄이되 선택한 위치에는 소프트맥스 어텐션을 유지한다. 장거리 의존성과 정확한 토큰 참조가 필요한 작업에서 이 차이가 이론적 우위로 이어질 수 있다는 것이 SubQ 접근법의 핵심이다.

Mamba, RWKV, Hyena, RetNet은 소규모 모델에서 선형 복잡도를 입증했지만 프런티어 스케일(70B+)에서는 밀집 어텐션 트랜스포머보다 성능이 낮아지거나 하이브리드 구조로 돌아가는 경향을 보였다. SubQ가 이 패턴을 깬 첫 사례가 될 가능성은 있으나, 판단에는 독립 검증 결과가 필요하다.

아키텍처 선택에서 확인할 품질 속성

SubQ를 시스템 설계 관점에서 보면 성능·확장성·비용이라는 비기능 요구사항을 어떤 구조로 만족할 것인지의 문제다. KV 캐시 최적화는 메모리 계층과 캐시 교체 정책에 영향을 주고, INT8·FP8 양자화는 메모리 사용량과 처리 속도 사이의 선택을 요구한다. 문서 분석 시스템에서는 벡터 유사도 검색과 In-Context 처리의 정확도·비용 차이도 함께 검토해야 한다.

컨텍스트 확장 기술을 비교할 때는 Sliding Window, ALiBi, RoPE, SSA가 장거리 의존성과 정보 보존을 어떻게 다루는지 구분해야 한다. SubQ는 이 가운데 희소 행렬 연산과 콘텐츠 기반 선택을 결합한 접근이다. 실무에서는 다음 사항이 확인되기 전까지 선택적 파일럿으로 다루는 편이 맞다.

자체 보고된 RULER·MRCR·SWE-Bench 결과의 독립 재현 여부
실제 워크로드에서의 프리필 지연과 KV 캐시 사용량
RAG 파이프라인을 제거했을 때의 전체 비용 변화
희소 라우팅이 장거리 참조를 누락하지 않는지에 대한 검증
비공개 아키텍처를 운영 시스템에 포함할 때의 의존성

독립 검증과 하드웨어가 다음 판단을 가른다

2026년 하반기 이후 가장 먼저 확인해야 할 것은 재현 가능성이다. 제3자 연구기관이나 기업 파일럿이 SubQ의 성능 주장을 확인한다면 서브쿼드래틱 아키텍처로의 전환이 빨라질 수 있다. 충분히 입증되지 않는다면 밀집 어텐션과 선형 레이어를 혼합한 하이브리드 구조가 중기 표준으로 자리 잡을 가능성이 있다.

SSA의 불규칙한 희소 연산은 기존 GPU의 CUDA GEMM 최적화와 맞지 않는 부분도 있다. 이에 따라 희소 어텐션 가속기(Sparse Attention Accelerator)나 NPU 명령어 세트가 중기적으로 확장될 가능성이 제시된다.

멀티모달 확장도 예정된 방향이다. 비디오는 초당 ~수천 토큰의 이미지 패치를 만들 수 있으며, 긴 오디오와 에이전트 히스토리도 컨텍스트를 빠르게 소모한다. SubQ의 후속 방향으로는 이런 데이터를 하나의 컨텍스트에서 다루는 멀티모달 초장문 모델이 제시되고 있다.

SubQ가 주장하는 1/5 비용 수준이 독립적으로 확인된다면 법률·의료·금융처럼 문서가 많은 업무의 도입 비용도 낮아질 수 있다. Meta, DeepSeek, Mistral 등 오픈소스 진영의 서브쿼드래틱 연구가 빨라지고, RWKV와 Mamba 커뮤니티에서 SSA를 결합한 하이브리드 모델을 검토할 것이라는 전망도 나온다.

SubQ의 차별점은 어텐션을 포기하지 않으면서 계산 위치를 줄였다는 데 있다. 12M 토큰 컨텍스트와 최대 1,000배 연산 효율은 코드베이스 전체 분석과 초장문 문서 처리의 설계를 바꿀 만한 주장이다. 동시에 아키텍처는 비공개이고 독립 검증은 완료되지 않았다. 실제 도입 판단은 2026년 하반기의 재현 결과와 파일럿에서 확인한 비용·정확도에 달려 있다.