Gemini 3.5 Flash 아키텍처와 장문 컨텍스트 전략

Flash가 플래그십 성능에 도달한 시점

Google은 2026년 5월 19일 Google I/O 기조연설에서 Gemini 3.5 Flash를 즉시 GA로 공개했다. Sundar Pichai가 발표한 이 모델은 Flash 티어로서는 처음으로 이전 세대 플래그십인 Gemini 3.1 Pro를 주요 벤치마크에서 넘어섰다.

Terminal-Bench 2.1은 76.2%, MCP Atlas는 83.6%, GDPval-AA Elo는 1,656을 기록했다. 비교 가능한 프론티어 모델보다 추론 속도가 4배 빨랐고, Antigravity 하네스에서는 최대 12배에 도달했다. 출력 속도는 초당 280 토큰 이상이다.

가격은 입력 100만 토큰당 $1.50, 출력 100만 토큰당 $9.00으로 이전 세대보다 약 40% 낮다. 여기에 1M 토큰 컨텍스트 창, 65k 최대 출력, 4단계 Thinking 레벨과 멀티모달 입력을 지원한다. Artificial Analysis Intelligence Index는 55점으로 Gemini 3 Flash보다 9점 높다.

⤢✕

작은 모델에서 성능을 끌어내는 학습 방식

Flash처럼 가벼운 모델이 대형 플래그십 수준의 결과를 내려면 단순한 크기 축소만으로는 부족하다. 핵심은 온-폴리시 지식 증류(On-policy Knowledge Distillation)다. 교사 모델의 소프트 레이블을 미리 만들어 학습하는 전통적인 오프라인 증류와 달리, 학생 모델이 직접 생성한 응답을 교사가 평가하고 그 결과를 실시간 파인튜닝에 반영한다.

파라미터 효율 파인튜닝(PEFT)에는 LoRA(Low-Rank Adaptation)와 QLoRA의 조합이 쓰인다. 전체 가중치 행렬을 다시 학습하지 않고 저랭크 분해 행렬만 훈련해 GPU 메모리 요구량을 10분의 1 수준으로 낮추면서 태스크별 전문 성능을 확보한다. Google의 Flash 계열은 계층별 학습률 스케줄링과 선택적 레이어 동결(Selective Layer Freezing)도 함께 사용해 훈련 효율을 높인다.

Sparse MoE가 용량과 연산량을 분리하는 법

Gemini 3.5 Flash는 희소 혼합 전문가(Sparse Mixture-of-Experts) 구조를 채택한다. 모든 파라미터를 토큰마다 활성화하지 않고, 라우터가 필요한 전문가 일부만 선택한다. 토큰당 활성 전문가 수인 Top-K를 2~4개로 제한하면 총 파라미터가 수천억 개이더라도 실제 추론 연산량은 수백억 파라미터 규모에 머문다.

이 구조에서는 전문가 선택이 한쪽으로 쏠리지 않도록 관리해야 한다. 보조 로드 밸런싱 손실(Auxiliary Load Balancing Loss)은 특정 전문가에 토큰이 집중되는 라우팅 붕괴(Routing Collapse)를 막는다. 2026년 최신 연구에서 제안된 SlimMoE는 전문가 슬리밍과 증류를 결합해 MoE 모델을 구조적으로 압축한다.

⤢✕

레이턴시와 정확도를 함께 다루는 추론 최적화

프로덕션에서 Flash 모델의 가치는 정확도만으로 결정되지 않는다. 요청 처리 속도와 품질 사이에서 운영 가능한 지점을 찾아야 한다.

Google이 활용하는 스펙큘레이티브 디코딩(Speculative Decoding)은 작은 드래프트 모델이 여러 토큰을 병렬로 만든 뒤, 큰 검증 모델이 이를 한 번에 수락하거나 거부하는 방식이다. 품질 손실 없이 처리량을 2~4배 높인다.

양자화는 메모리 대역폭 병목을 줄이는 또 다른 축이다. FP16에서 INT8, INT4로 단계적으로 양자화하면 TPU와 GPU의 활용률을 높일 수 있다. TPU v5e 기반 서빙 인프라에서는 플래시 어텐션 커널과 퓨즈드 연산자를 최적화해 초당 280 토큰 이상의 출력 속도를 구현한다.

1M 토큰을 처리하는 어텐션과 캐시 구조

일반적인 트랜스포머 어텐션은 시퀀스 길이에 대해 O(n²)의 복잡도를 갖는다. 같은 구조로 1M 토큰을 처리하면 메모리 사용량이 기하급수적으로 늘어난다. Gemini 3.5 Flash는 슬라이딩 윈도우 어텐션과 글로벌 어텐션을 결합한 하이브리드 메커니즘으로 이 문제를 다룬다.

청크 KV 캐시는 긴 시퀀스를 고정 크기 청크로 나누고, 각 청크의 키-값 쌍을 계층적으로 저장한다. TPU 인프라는 반복 접근이 필요한 KV 캐시를 고대역폭 메모리(HBM)에 상주시켜 재처리 비용을 줄인다. Gemini 3.5 Flash가 1M 토큰 기준 MRCR v2(Multimodal Recall from Context Retrieval)에서 최고 점수를 기록한 배경에도 이 캐시 설계가 있다.

메모리를 계층화하고 입력은 스트리밍한다

1M 토큰을 메모리에 올려두려면 FP16 기준 약 2GB가 필요하며, KV 캐시를 포함하면 요구량은 16~32GB로 커진다. 계층적 메모리 관리 시스템은 활성 청크를 HBM에 유지하고 비활성 청크를 DRAM이나 NVMe SSD로 내린다. 비연속 메모리 블록을 논리적으로 연결한다는 점에서는 페이지드 어텐션(Paged Attention)과 유사하다.

대규모 문서는 청크 단위로 순차 처리하면서 컨텍스트를 점진적으로 구축한다. 프리필(Pre-fill)은 병렬화하고 디코드(Decode)는 배치 단위로 연속 처리해 TTFT(Time to First Token)와 전체 레이턴시 사이의 균형을 맞춘다.

⤢✕

훈련 범위를 넘어서는 위치 정보 처리

표준 RoPE(Rotary Position Embedding)는 훈련 때 사용한 최대 시퀀스 길이를 벗어나면 성능이 급격히 떨어진다. Gemini 계열은 YaRN(Yet another RoPE extensioN) 또는 이와 유사한 외삽 기법으로 로테이션 주파수를 동적으로 스케일링해 1M 토큰 범위의 위치 정보를 처리한다.

장거리 의존성에서는 초기 토큰으로 어텐션이 몰리는 어텐션 싱크(Attention Sink)도 제어해야 한다. 스트리밍 LLM 연구에서 제안된 싱크 토큰 예약 방식을 적용하면 1M 토큰 전반에 걸쳐 중요한 정보로 어텐션을 분배할 수 있다.

Flash·Pro·Ultra가 맡는 작업

Gemini 3.5 시리즈의 각 티어는 우선순위가 다르다. Flash는 속도와 비용 효율이 중요한 대용량 트래픽에 맞고, Pro는 추론 품질과 복잡한 다중 단계 작업에 초점을 둔다. Ultra(Gemini Omni)는 멀티모달 실시간 처리와 최고 성능이 필요한 엔터프라이즈 시나리오를 담당한다.

이번 발표에서 달라진 지점은 Flash의 위치다. 이전에는 저렴한 대신 능력이 제한된 모델로 받아들여졌지만, 3.5 Flash는 아젠틱·코딩 벤치마크에서 이전 세대 플래그십인 3.1 Pro를 넘어섰다. 그 결과 Flash가 보조 모델이 아니라 기본 추론 모델이 되는 계층 역전이 일어났다. Google도 3.5 Flash를 Gemini API의 새로운 기본 모델로 설정했다.

경쟁 모델과 비용·컨텍스트 비교

경량 모델을 고를 때는 호출 가격만 보지 말고 필요한 컨텍스트 길이와 작업 성격까지 함께 봐야 한다.

모델	입력 비용	출력 비용	컨텍스트	특화 강점
Gemini 3.5 Flash	$1.50/1M	$9.00/1M	1M 토큰	장문 컨텍스트·속도
GPT-4o mini	~$0.15/1M	~$0.60/1M	128k	초저비용·범용
Claude Haiku 3.5	$0.80/1M	$4.00/1M	200k	안정성·지시 추종

Gemini 3.5 Flash는 가격만 비교하면 GPT-4o mini보다 비싸다. 다만 1M 컨텍스트와 높은 성능이 필요한 긴 문서 분석, 코드베이스 이해, 멀티파일 에이전트 워크플로우에서는 Token당 품질 대비 비용 효율이 우수하다.

어떤 워크로드에 배치할 것인가

1M 컨텍스트를 실질적으로 사용하는 법률 계약서 전체 분석, 대규모 코드베이스 리뷰, 학술 논문 배치 처리는 Gemini 3.5 Flash의 장문 처리 능력이 직접 활용되는 영역이다.

도구 호출을 여러 차례 반복하는 에이전트에서도 강점이 드러난다. MCP Atlas 83.6%와 4배 속도의 조합은 코딩 어시스턴트나 자동화 파이프라인처럼 에이전트 루프가 실시간에 가까운 속도로 돌아야 하는 작업에 맞는다.

기존 Gemini 3.1 Pro 워크플로우를 3.5 Flash로 옮기면 품질을 유지하거나 높이면서 비용을 40% 줄일 수 있다. Thinking 레벨은 0~~4단계 사이에서 작업 복잡도에 맞춰 추론 깊이를 조절한다. 단순 질의에는 레벨 0을, 복잡한 수학·코딩 문제에는 레벨 3~~4를 적용해 비용과 품질을 조정할 수 있다.

⤢✕

Gemini 3.5 Flash는 Sparse MoE, 온-폴리시 지식 증류, 청크 KV 캐시를 결합해 경량 모델의 역할을 다시 정의했다. 속도와 비용 때문에 Flash를 선택하는 단계에서 벗어나, 이전 세대 Pro 모델이 담당하던 워크로드까지 이전 대상으로 검토할 수 있게 됐다.