SubQ가 1,200만 토큰 컨텍스트를 상용화한 방법 — 콘텐츠 의존적 희소 어텐션

2026년 5월, 마이애미 스타트업 Subquadratic이 2,900만 달러의 시드 투자를 유치하며 공개 출범했다. 이 회사가 내세운 단 하나의 핵심 주장은 "이차(quadratic) 복잡도에 의존하지 않는 최초의 상용 프론티어 LLM을 만들었다"는 것이다. SubQ라는 이름의 이 모델은 1,200만 토큰이라는 전례 없는 컨텍스트 창을 지원하면서도 기존 프론티어 모델 대비 1/5 수준의 비용을 실현했다고 주장한다. AI 아키텍처의 패러다임 전환이 "규모 확대(scaling up)"에서 "효율성 극대화(efficiency maximization)"로 이동하고 있음을 보여주는 상징적 사례다.

트랜스포머의 이차 복잡도라는 근본 제약

트랜스포머 아키텍처의 근본적인 병목은 셀프 어텐션(self-attention) 연산의 이차 복잡도에 있다. 시퀀스 길이가 N일 때 어텐션 연산은 O(N²)의 시간과 메모리를 요구한다. 컨텍스트 길이가 두 배가 되면 연산량은 네 배로 늘어난다. 이는 128K, 1M, 나아가 12M 토큰 수준의 컨텍스트를 다루는 것을 사실상 불가능하게 만드는 근본 제약이었다.

서브쿼드래틱(subquadratic) 접근법은 이 이차 복잡도를 선형(linear) 혹은 O(N log N) 수준으로 줄이는 전략들을 포괄한다. 소프트맥스 어텐션의 근사치를 커널 함수로 분해해 연산 순서를 바꾸는 선형 어텐션(Linear Attention)에는 Performer, FNet, RWKV 등이 속한다. 시퀀스를 연속 미분방정식으로 모델링하는 상태 공간 모델(State Space Model, SSM)에는 Mamba, S4, Hyena 등이 대표적이며, 장거리 의존성 포착에 이론적 강점이 있지만 정확한 토큰 간 내용 조회에는 약하다. 모든 토큰 쌍을 계산하는 대신 일부 관련 토큰 쌍만 선택적으로 계산하는 희소 어텐션(Sparse Attention)에는 BigBird, Longformer, Sliding Window Attention이 있다. 컨텍스트를 청크 단위로 나눠 로컬 어텐션과 글로벌 어텐션을 섞는 청크 어텐션(Chunk Attention) 및 하이브리드 방식은 메모리 효율과 표현력을 절충한다.

SubQ는 이 중에서 콘텐츠 의존적 희소 라우팅(content-dependent sparse routing)을 핵심으로 하는 독자적인 서브쿼드래틱 스파스 어텐션(Subquadratic Sparse Attention, SSA)을 채택했다.

SSA가 관련 토큰만 골라내는 방식

SubQ의 핵심 혁신은 SSA(Subquadratic Sparse Attention) 커널이다. SSA는 단순히 패턴 기반 희소 마스크를 적용하는 기존 희소 어텐션과 달리, 각 토큰의 실제 콘텐츠를 기반으로 어텐션 대상 토큰을 동적으로 선택한다. 경량 라우팅 패스(routing pass)가 먼저 전체 시퀀스를 훑으며 각 쿼리 토큰에 대해 의미적으로 관련 있는 키-밸류 토큰 집합을 선별하며, 이 선별 과정 자체는 O(N) 복잡도로 수행된다. 이후 실제 어텐션 연산은 선별된 희소 토큰 집합에 대해서만 정밀 계산을 수행하므로 전체 복잡도가 선형에 가깝게 유지된다.

⤢✕

Subquadratic의 기술 블로그에 따르면 SSA는 128K 토큰에서 밀집 어텐션 대비 7.2배 프리필(prefill) 속도 향상을 보이며, 1M 토큰에서는 52.2배, 12M 토큰에 이르면 약 1,000배의 컴퓨트 절감이 달성된다. 독립 벤치마크에서는 FlashAttention-2 대비 56배 빠른 속도가 확인됐다.

주목할 점은 Subquadratic이 완전한 상태 공간 모델(Mamba 계열)을 채택하지 않고 "프로프리어터리 트랜스포머 아키텍처에 SSA를 통합"하는 하이브리드 경로를 선택했다는 것이다. 순수 SSM이 갖는 정확한 콘텐츠 검색 약점을 보완하면서도 스케일링 이점을 취하려는 전략으로 해석된다.

12M 토큰을 실용화하려면 어텐션 외에도 필요한 것들

12M 토큰 컨텍스트를 실용적으로 지원하려면 어텐션 복잡도 외에도 KV 캐시 메모리, 프리필 지연, 포지셔널 인코딩 일반화 같은 다층적 문제를 함께 풀어야 한다. 기존 트랜스포머는 추론 시 모든 과거 토큰의 키-밸류 쌍을 메모리에 유지해야 하는데, 12M 토큰에서 이는 수백 GB의 GPU 메모리를 요구하므로 현실적으로 불가능하다. SSA 기반 아키텍처는 희소 선택된 토큰만 캐싱하므로 KV 캐시 풋프린트를 대폭 절감한다.

장문 컨텍스트 처리의 또 다른 접근법은 슬라이딩 윈도우(sliding window)와 외부 메모리(external memory)를 결합하는 것이다. 로컬 윈도우 내에서는 정밀 어텐션을 수행하고 원거리 컨텍스트는 압축된 메모리 벡터로 유지한다. 토큰 압축(Token Compression)은 덜 중요한 토큰을 인접 토큰과 합쳐 시퀀스를 동적으로 압축하는 기법으로, 모델이 처리해야 할 유효 시퀀스 길이를 줄이면서도 핵심 정보를 보존한다. SSA의 라우팅 메커니즘이 지원하는 컨텍스트 전파(Context Propagation)는 개별 레이어에서 국소적으로 선택된 토큰이 상위 레이어에서 더 넓은 맥락과 통합되도록 하는 계층적 전파 구조로, 장거리 컨텍스트 정보가 단계적으로 집약된다.

Subquadratic의 향후 로드맵에는 5,000만 토큰 컨텍스트 창 지원이 포함돼 있으며, 2026년 4분기를 목표로 한다. 이 수준에서는 책 전집, 대규모 코드베이스, 법률 문서 전체를 단일 컨텍스트로 처리하는 것이 가능해진다.

다른 아키텍처들과 견주면

아키텍처별 효율성 비교를 정리하면 다음과 같다.

지표	표준 트랜스포머	SSM(Mamba 계열)	희소 어텐션	SubQ SSA
시간 복잡도	O(N²)	O(N)	O(N√N)~O(N log N)	O(N)~O(N log N)
메모리 복잡도	O(N²)	O(1)~O(N)	O(N)	O(N)
정확한 콘텐츠 검색	우수	취약	양호	우수
장거리 의존성	우수	우수	양호	우수
최대 실용 컨텍스트	~200K	~1M	~500K	12M (상용)
상용화 성숙도	매우 높음	중간	중간	초기

기존 트랜스포머의 1M 토큰 처리 비용을 기준 1로 설정하면 SubQ SSA는 약 1/56 수준으로 떨어진다. 12M 토큰에서는 이 격차가 더욱 벌어져 약 1/1,000에 달한다는 것이 Subquadratic의 주장이다. 다만 이 수치들은 자체 보고 수치이며 독립적인 대규모 검증이 아직 진행 중이다.

벤치마크는 어디까지 확인됐나

2026년 기준 SubQ가 공개한 벤치마크 성능은 장문 컨텍스트 검색 능력을 평가하는 RULER 128K에서 95.0%, 멀티-레졸루션 컨텍스트 검색을 보는 MRCR v2(1M 토큰)에서 65.9%, 실제 소프트웨어 엔지니어링 문제 해결인 SWE-Bench Verified에서 81.8%다.

Appen이 수행한 독립 평가에서는 효율성 프로파일링, 장문 컨텍스트 검색, 실제 코드 인텔리전스 총 4개 벤치마크에서 SubQ의 주요 수치들이 실용적 컨텍스트 창에서도 유지됨을 확인했다. 그러나 VentureBeat를 포함한 일부 연구자들은 독립적인 대규모 재현 실험이 더 필요하다는 입장을 유지하고 있다.

⤢✕

SubQ가 SWE-Bench에서 81.8%를 기록했다는 점도 중요한 맥락이다. 이는 Claude Opus 4.7(87.6%)이나 Claude Mythos Preview(93.9%)에는 미치지 못하지만, 완전히 새로운 아키텍처가 초기 버전에서 이 수준의 태스크 성능을 보인다는 것은 주목할 만하다. 향후 모델 스케일링과 파인튜닝을 통해 성능 격차는 좁혀질 가능성이 높다.

규모 경쟁에서 효율 경쟁으로

SubQ의 등장은 2026년 AI 아키텍처 트렌드의 핵심 전환점을 상징한다. 2020년대 초반 GPT-3 이후 지배적이었던 "더 크게, 더 많은 데이터(bigger, more data)" 전략은 한계에 부딪히고 있다. 컴퓨트 비용, 에너지 소비, GPU 공급망 등 제약이 가중되면서 "주어진 컴퓨트에서 최대 성능을 뽑아내는" 효율성 극대화 경쟁이 가속화되고 있다.

이 흐름은 여러 방향으로 동시에 전개되고 있다. AMD Instinct MI400 기반 8B MoE 모델처럼 비NVIDIA 하드웨어를 위한 최적화가 이뤄지고 있으며, SubQ처럼 어텐션 자체를 재설계하는 아키텍처 혁신도 진행 중이다. 모델 증류(distillation), 양자화(quantization), 스펙큘레이티브 디코딩(speculative decoding) 등 추론 최적화 기술도 빠르게 성숙하고 있다.

서브쿼드래틱 아키텍처의 상용화는 엔터프라이즈 장문 문서 분석, 대규모 코드베이스 이해, 법률 계약 검토, 과학 논문 전체 분석 등 "긴 컨텍스트가 필수적이지만 비용이 허용되지 않았던" 유즈케이스를 현실화할 것으로 기대된다. SubQ가 내세우는 1/1,000 비용 절감이 독립 검증을 통해 확인된다면, 이는 LLM 적용 범위를 수십 배 넓히는 임팩트를 가져올 것이다.

SubQ는 이차 복잡도라는 트랜스포머의 근본 제약을 콘텐츠 의존적 희소 어텐션(SSA)으로 극복하며 12M 토큰 상용 컨텍스트를 최초로 실현한 LLM이다. 1M 토큰에서 56배 속도 향상, 12M 토큰에서 약 1,000배 컴퓨트 절감이라는 수치는 아직 독립 대규모 검증이 진행 중이지만, SWE-Bench 81.8%라는 초기 태스크 성능은 서브쿼드래틱 아키텍처의 상용 가능성을 입증한다. 2026년 AI 아키텍처 경쟁은 파라미터 수 증가가 아닌 효율성 혁신 중심으로 재편되고 있으며, SubQ는 그 전환을 상징하는 이정표다.