SubQ 1M-Preview의 희소 어텐션과 초장기 컨텍스트 검증

1,200만 토큰보다 먼저 확인할 것

마이애미 스타트업 Subquadratic은 2026년 5월 5일 SubQ 1M-Preview를 내놓았다. 회사는 이 모델을 2017년 Transformer 등장 이후 대규모 언어 모델을 따라다닌 O(n²) 어텐션 복잡도에서 벗어난 최초의 상용 프런티어 LLM이라고 설명한다. 제시한 최대 컨텍스트는 1,200만 토큰이며, 이 구간에서 기존 방식보다 약 1,000배 적은 어텐션 연산을 사용한다는 주장이다.

수치만 보면 LLM의 비용 구조를 바꿀 만한 발표다. 다만 2024년 Magic.dev 역시 초장기 컨텍스트 성능을 내세웠다가 독립 검증 과정에서 논란을 겪었다. SubQ를 평가할 때도 지원 가능한 토큰 수와 그 안의 정보를 실제로 활용하는 능력을 구분해야 한다.

SSA는 필요한 위치만 골라 계산한다

SubQ의 중심에는 **Subquadratic Sparse Attention(SSA)**이 있다. 표준 Transformer는 n개의 토큰 사이에서 어텐션을 계산할 때 연산량과 메모리 사용량이 O(n²)으로 증가한다. 시퀀스가 두 배 길어지면 연산량은 네 배가 된다.

SSA는 모든 위치를 같은 비중으로 계산하지 않는다. 각 쿼리 토큰의 콘텐츠 유사도를 기준으로 관련성이 높은 키-값 위치를 고르고, 선택된 부분에만 어텐션을 수행한다. 고정된 희소 패턴을 적용하는 대신 입력 내용에 따라 계산 대상을 정한다는 점이 핵심이다.

Subquadratic은 이 방식의 복잡도가 O(n log n) 또는 O(n)에 수렴한다고 주장한다. 공개한 성능 수치는 128,000토큰에서 7.2배의 프리필(prefill) 속도 향상, 100만 토큰에서 62.8배의 어텐션 FLOP 감소, 1,200만 토큰에서 약 1,000배의 어텐션 연산 절감이다.

⤢✕

SubQ가 강조하는 차별점은 근사 어텐션이 아니라 선택된 위치에서 정확한(exact) 어텐션을 계산한다는 주장이다. Mamba나 선형 어텐션 계열은 시퀀스 이력을 고정 크기 상태로 압축하므로 정보 손실이 생긴다. SSA는 전체 위치를 계산하지 않으면서도 선택된 범위에서는 완전한 정확도의 어텐션을 유지한다는 설명이다.

메모리 측면에서는 KV 캐시가 관건이다. 표준 Transformer의 KV 캐시는 시퀀스 길이에 비례해 선형으로 커진다. SSA는 희소하게 위치를 선택해 실효 KV 캐시 점유를 크게 줄이고, 분산 시퀀스 병렬 처리(Distributed Sequence Parallelism)를 결합해 단일 디바이스에 담기 어려운 시퀀스를 처리한다고 주장한다.

공개 범위가 검증 범위를 결정한다

외부 개발자가 접근할 수 있는 구성은 1백만 토큰 컨텍스트를 제공하는 1M-Preview API다. 현재 프라이빗 베타 형태로 운영된다. 1,200만 토큰을 지원하는 12M 구성은 선정된 엔터프라이즈 연구 파트너에게만 제공되며, 모델 가중치는 공개되지 않았다.

Subquadratic은 2,900만 달러, 약 400억 원 규모의 시드 라운드를 조달해 장기 연구개발 기반을 마련했다. 그러나 투자 규모와 모델의 재현 가능성은 별개의 문제다. 가중치가 닫혀 있고 API 접근도 제한된 상태에서는 외부 연구자가 동일 조건으로 결과를 반복하거나 내부 메커니즘을 분리해 시험하기 어렵다.

Magic.dev 사례가 남긴 검증 과제

Magic.dev는 2024년 LTM-2-Mini를 발표하며 1억(100M) 토큰 컨텍스트를 주장했다. 당시 획기적인 결과로 주목받았지만, 후속 독립 검증에서는 실제로 활용 가능한 컨텍스트가 마케팅에서 제시한 수준에 이르는지를 두고 의구심이 제기됐다. 모델 접근이 극도로 제한돼 광범위한 재현도 이뤄지지 못했다.

이 사례는 컨텍스트 창의 크기만으로 초장기 문맥 처리 능력을 판단할 수 없다는 점을 보여준다.

⤢✕

NIAH(Needle-In-A-Haystack)는 긴 문서에 숨겨진 특정 사실을 찾아내는 능력을 측정한다. 검색 성능은 확인할 수 있지만, 여러 단서를 연결하는 추론이나 교차 참조, 인과 관계 분석까지 검증하지는 못한다.

Magic.dev가 2024년 제안한 HashHop은 체인 형태로 이어진 논리적 관계를 추적하게 한다. 초장기 컨텍스트를 실제로 활용하는지 판단하려면 이런 고난도 벤치마크에서도 결과가 독립적으로 재현돼야 한다.

VentureBeat 보도에 따르면 연구자들은 Subquadratic의 성능 주장에도 독립적인 검증 증거를 요구하고 있다. 특히 약 1,000배의 어텐션 연산 절감이 추론 품질을 떨어뜨리지 않고 달성됐는지 확인할 엄밀한 ablation 연구가 아직 공개되지 않았다는 지적이다.

Mamba·RWKV·선형 어텐션과 다른 지점

서브쿼드라틱 어텐션 자체가 처음 제시된 개념은 아니다. 계산량을 줄이기 위한 여러 아키텍처가 이미 나와 있으며, SubQ의 기술적 가치는 기존 접근과의 차이를 검증할 때 드러난다.

⤢✕

아키텍처	복잡도	정확한 어텐션	장기 의존성	실증 검증 수준
Transformer (표준)	O(n²)	완전	강	매우 높음
Linear Attention	O(n)	근사	약	중간
Mamba (SSM)	O(n)	근사	중간	높음 (오픈소스)
RWKV	O(n)	근사 (RNN 방식)	약	높음 (오픈소스)
SubQ SSA	O(n)~O(n log n)	정확(선택 서브셋)	강(주장)	낮음 (가중치 비공개)

Mamba는 선택적 상태 공간 모델(Selective State Space Model)을 이용해 O(n) 복잡도를 달성한다. 시퀀스 이력을 고정 크기 hidden state로 압축하므로 정보 손실이 발생하며, 수백만 토큰 전에 등장한 세부 정보를 정확히 불러오는 데 약점이 있다. 오픈소스로 제공돼 독립 검증이 충분히 진행됐다는 점은 SubQ와 대비된다.

RWKV는 RNN(순환 신경망) 방식으로 선형 복잡도를 구현한다. 추론 효율은 높지만 양방향 정보 흐름이 제한되고, 장기 의존성을 포착하는 능력은 Transformer보다 낮다고 보고된다. RWKV 역시 가중치가 공개돼 외부에서 폭넓게 검증할 수 있다.

Performer, Linformer, FNet을 비롯한 Linear Attention 계열은 커널 근사(kernel approximation)나 저차원 투영으로 O(n) 복잡도를 달성한다. 이들은 정확한 어텐션을 근사하므로 품질 저하가 뒤따른다. SubQ는 선택된 서브셋에서 정확한 어텐션을 유지한다고 주장하지만, 어느 정도의 희소성 비율(sparsity ratio)에서 정확도를 지킬 수 있는지는 아직 투명하게 공개되지 않았다.

복잡도는 곧 인프라 비용이다

O(n²), O(n log n), O(n)의 차이는 모델 구조 설명에 그치지 않는다. n=1,000,000인 1백만 토큰 시퀀스에서 n²은 10¹²이고, n log n은 약 20,000,000이다. 이 격차는 실서비스의 GPU 비용과 레이턴시, AI 서비스의 경제성에 직접 연결된다.

KV 캐시도 같은 맥락에서 봐야 한다. 추론 과정에서 이전 토큰의 Key-Value 벡터를 저장하면 반복 계산을 피할 수 있지만, 표준 Transformer에서는 시퀀스가 길어질수록 VRAM 소비도 정비례해 늘어난다. SSA의 희소 선택이 KV 캐시를 줄인다는 주장이 성립하면 동일한 VRAM에서 더 긴 배치를 처리할 수 있고 추론 처리량(throughput)도 크게 높아진다.

1,200만 토큰 시퀀스는 단일 GPU에 올리기 어렵다. SubQ는 이를 분산 시퀀스 병렬(Distributed Sequence Parallelism)로 처리한다. 텐서 병렬(Tensor Parallel), 파이프라인 병렬(Pipeline Parallel)과 함께 대규모 모델 시스템을 설계할 때 고려할 수 있는 병렬화 축이다.

2017년 「Attention Is All You Need」 이후 어텐션은 자연어 처리의 기반이 됐다. SSA가 이 구조의 다음 단계인지는 발표 자체가 아니라 재현 가능한 벤치마크와 외부 검증 결과로 판단해야 한다.

성능 주장을 검증하는 기준

SubQ를 평가할 때는 기술 문서, 외부 재현, 실제 작업 성능을 함께 봐야 한다.

⤢✕

기술 문서에서는 SSA의 수학적 구조와 희소성 비율, 훈련 데이터 명세가 어느 수준까지 공개되는지를 확인해야 한다. 독립 검증에는 RULER, HELMET, LongBench 같은 표준 벤치마크뿐 아니라 HashHop, BABILong처럼 복합적인 문맥 활용을 요구하는 테스트가 필요하다. 제3자가 별도의 GPU 클라우드 환경에서 같은 결과를 재현할 수 있어야 한다.

실사용 검증도 빠질 수 없다. 긴 코드베이스 분석, 법률 문서 전체 검토, 여러 과학 논문 사이의 교차 참조처럼 장거리 의존성과 다단계 추론이 필요한 작업에서 품질을 확인해야 한다.

현재 공개 범위만 놓고 보면 Subquadratic이 제시한 방향은 기술적으로 그럴 듯하다(plausible). 그러나 가중치 비공개, 제한된 API, 동료 심사(peer-reviewed) 논문 부재 때문에 독립 검증 수준은 낮다.

2,900만 달러의 시드 투자는 일부 전문 투자자가 기술 실사(technical due diligence)를 진행했을 가능성을 보여주는 긍정적 신호다. 128K 토큰에서 7.2배, 1M 토큰에서 52.2배라는 구체적인 수치 역시 정교한 측정에서 나왔을 가능성이 있다. 그렇더라도 투자와 자체 측정은 제3자 재현을 대신하지 못한다.

연구자들이 요구하는 것은 SSA의 수학적 증명과 ablation 연구를 담은 동료 심사 논문 또는 arXiv 프리프린트, RULER·HELMET·LongBench 결과의 독립 재현, 그리고 연구 커뮤니티가 이용할 수 있는 오픈 API 확대다.

SubQ 1M-Preview가 주장대로 정확한 어텐션과 선형에 가까운 복잡도를 함께 달성한다면 AI 추론 비용과 활용 가능한 컨텍스트 규모를 바꿀 수 있다. 다만 초장기 컨텍스트의 신뢰도는 최대 토큰 수가 아니라 그 범위에서 정보를 얼마나 정확히 연결하고 추론하는지, 그리고 그 결과를 외부에서 반복할 수 있는지에 달려 있다.