Gemini 3.5 Flash와 Grok 5가 바꾼 경량 LLM 경쟁의 기준

경량 모델이 저비용 대안에서 경쟁의 중심으로 이동했다

2026년 6월 Google Gemini 3.5 Flash와 xAI Grok 5가 사실상 동시에 출시됐다. 이번 경쟁에서 눈에 띄는 지점은 단순한 세대교체가 아니다. 경량 고효율 모델이 여러 벤치마크에서 전세대 플래그십을 체계적으로 넘어서는 흐름이 산업의 새로운 기준으로 자리 잡고 있다는 점이다.

이 변화의 배경에는 지식 증류, 아키텍처 최적화, 에이전트 태스크에 초점을 맞춘 학습이 있다. 모델 규모만 키우는 접근보다 필요한 능력을 작은 모델에 압축하고, 실제 추론에서 사용하는 연산과 메모리를 줄이는 설계가 경쟁력을 좌우하기 시작했다.

플래그십의 능력을 작은 모델로 옮기는 방법

Knowledge Distillation은 대형 Teacher 모델이 만든 소프트 확률 분포를 Student 모델의 학습 신호로 사용하는 기법이다. 정답 레이블만 복사하는 방식과 달리 전체 확률 분포를 전달하므로, 정답 이외의 클래스 사이에 존재하는 관계인 다크 놀리지까지 학습할 수 있다.

기법	작동 방식	적용 효과
Knowledge Distillation	대형 Teacher 모델의 소프트 레이블을 Student 모델에 학습	파라미터 1/4 수준에서 80~90% 성능 유지
Progressive Distillation	레이어를 단계적으로 압축해 모델을 경량화	품질 손실 최소화
Task-Specific Fine-tuning	코딩·에이전트 도메인에 맞춘 파인튜닝을 병행	특정 벤치마크에서 플래그십 추월 가능
Speculative Decoding	경량 Draft 모델이 토큰 후보를 예측하고 본 모델이 검증	추론 속도 2~4배 향상

⤢✕

증류만으로 비용 효율이 완성되는 것은 아니다. 실제 서빙에서는 어텐션 구조, Expert 활성화 방식, 위치 인코딩과 연산 정밀도가 함께 작용한다.

Grouped Query Attention은 키-값 헤드를 그룹화해 KV 캐시가 차지하는 메모리를 줄인다. 멀티헤드 어텐션과 비교하면 추론 효율이 2~3배 향상된다. Mixture of Experts는 전체 파라미터를 매번 사용하지 않고 태스크에 필요한 Expert 일부만 활성화해 연산량을 줄이면서 총 파라미터 규모를 유지한다.

RoPE는 상대 위치 인코딩을 사용해 긴 컨텍스트에서도 위치 표현 품질을 유지한다. 장문 대화를 처리하는 에이전트 태스크와 연결되는 부분이다. Flash Attention v3는 IO를 고려한 알고리즘으로 어텐션 연산의 GPU 메모리 병목을 줄이고 배치 처리 효율을 높인다. INT8과 FP8 양자화는 추론 시 가중치 정밀도를 낮춰 메모리 대역폭과 연산량을 줄이면서 품질 저하를 최소화한다.

비용 대비 성능 곡선이 뒤집힌 시점

경량 모델의 비용 대비 성능이 플래그십을 앞서는 흐름은 2025~2026년 사이에 뚜렷해졌다.

⤢✕

Gemini 3.5 Flash는 이전 세대 Gemini Pro보다 추론 비용을 70% 이상 줄이면서 다수의 벤치마크에서 동등하거나 더 높은 성능을 기록했다. Grok 5도 Grok 3 플래그십 수준의 성능을 훨씬 낮은 서빙 단가에 제공하도록 설계됐다.

이런 비교는 경량 모델이 모든 범용 능력에서 플래그십을 대체한다는 뜻과는 다르다. 코딩, 에이전트 실행, 수학처럼 집중적으로 파인튜닝한 영역에서는 추월할 수 있지만, 범용성에는 제약이 남을 수 있다.

후세대 경량 모델이 전세대 플래그십의 데이터로 증류된다는 점도 중요하다. 전세대 모델이 가진 지식을 더 효율적인 구조에 압축하고, 새로운 어텐션·포지셔널 인코딩·정규화 기법을 적용하면서 적은 파라미터로 표현력을 높인다. 플래그십 수준으로 향상된 합성 데이터 역시 작은 모델이 고품질 학습 데이터에 접근할 수 있게 만든다.

동시 출시가 API 시장에 만드는 압력

2026년 상반기에는 주요 제공사의 출시 일정이 서로 겹치는 현상이 두드러졌다. 경쟁사의 발표와 뉴스 사이클을 공유하게 되면 한 모델이 관심을 독점하기 어려워진다. 개발자가 특정 API를 먼저 채택한 뒤 발생하는 전환 비용을 고려하면 초기 생태계 확보도 중요하다.

여러 모델이 비슷한 시기에 등장하면서 벤치마크의 기준선은 단일 모델이 아니라 복수 모델 사이의 비교로 이동한다. 선택지가 동시에 늘어나면 기업 고객의 가격 협상력도 커지고, 클라우드 API 제공사 사이의 단가 경쟁은 더 강해진다.

⤢✕

라인업도 하나의 플래그십에 의존하는 형태에서 경량 모델과 플래그십을 병행하는 구조로 재편됐다.

제공사	플래그십	경량 모델	라인업 방향
Google	Gemini 2.0 Ultra	Gemini 3.5 Flash	플래그십 실험·경량 상용 분리
xAI	Grok 3	Grok 5 (고효율 재설계)	단일 라인에서 비용 효율 중심으로 재편
OpenAI	GPT-4o	GPT-4o mini / o3-mini	추론 특화·경량 이중 트랙
Anthropic	Claude 4 Opus	Claude 4 Haiku/Sonnet	3단계 계층 라인업
Meta	Llama 4 Maverick	Llama 4 Scout	오픈소스 경량·대형 분기

가격 정책도 모델 자체만큼 빠르게 변하고 있다. 2024년과 비교하면 2026년 경량 모델의 입력 토큰 단가는 80~90% 하락하는 추세다. 반복 컨텍스트에 프롬프트 캐싱을 적용하는 방식은 주요 API에서 표준화됐고, 실시간 응답이 필요하지 않은 배치 추론에는 50% 이상의 추가 할인을 놓고 경쟁하고 있다.

멀티턴·고빈도 호출에 맞춘 에이전트 워크플로우 전용 요금제와 아시아·유럽 리전에 따른 차등 가격 구조도 등장했다. 모델 선택은 이제 단일 토큰 가격이 아니라 캐싱, 배치 처리, 호출 패턴과 리전까지 포함한 운영비 비교가 됐다.

Gemini 3.5 Flash가 에이전트 실행에 맞춘 부분

Gemini 3.5 Flash는 Gemini 1.5 Flash와 Gemini 2.0 Flash의 계보를 잇는 Google의 경량 고효율 모델이다. 이전 세대 Flash와 비교한 MMLU 점수는 8~12% 향상돼 Gemini 1.5 Pro 수준에 도달했다. HumanEval의 Pass@1 기준으로는 전세대 Pro를 추월했고, MATH에서는 Chain-of-Thought 최적화를 통해 이전 Pro와 동등한 수준을 기록했다.

이미지와 문서 이해 품질도 개선됐으며 긴 컨텍스트 처리의 정밀도가 높아졌다. 컨텍스트 윈도우는 1M 토큰을 유지하면서 Flash 계열 최초로 완전 활용을 위한 최적화가 적용됐다.

⤢✕

Gemini 3.5 Flash의 설계 목표는 단순한 질의응답 품질에 머물지 않는다. 함수 호출을 파싱하고 실행 지시를 만드는 지연을 줄였으며, 하나의 응답 안에서 복수의 Tool Call을 병렬로 생성하는 능력을 강화했다.

JSON Schema를 따르는 구조화 출력의 실패율은 이전보다 50% 감소했다. 오케스트레이터로 동작할 때는 서브에이전트에 태스크를 분배하는 지시 품질을 높였고, 긴 에이전트 대화 기록을 자동으로 압축해 유효 컨텍스트를 유지한다.

경쟁 경량 모델과 비교하면 다음과 같다.

항목	Gemini 3.5 Flash	GPT-4o mini	Claude 4 Haiku	Llama 4 Scout
입력 단가 ($/1M 토큰)	0.075	0.15	0.25	오픈소스
코딩 (HumanEval)	상위권	중상위	상위권	중위권
지연(TTFT, ms)	~150	~180	~130	자체 서빙
컨텍스트	1M 토큰	128K 토큰	200K 토큰	10M 토큰
멀티모달	텍스트·이미지·영상	텍스트·이미지	텍스트·이미지	텍스트·이미지
에이전트 최적화	고도화	표준	고도화	기본

Grok 5는 비용 효율과 실행 능력을 함께 겨냥했다

Grok 5는 Grok 3의 단순한 후속 세대가 아니라 비용 효율과 추론 품질의 균형을 다시 설계한 모델이다. MoE 구조를 바탕으로 태스크에 필요한 Expert를 동적으로 고르고 불필요한 연산을 제외한다.

X의 데이터 파이프라인을 학습에 연결해 실시간 정보 접근을 내재화했으며, DeepSeek-R1 계열 방법론을 참조해 수학·과학 영역의 Chain-of-Thought 품질을 높였다. 언어 처리 방향도 영어 중심에서 주요 언어의 균등한 품질을 지향하는 쪽으로 이동했다. 안전성 제어는 과도한 거절 패턴을 줄이고 실용적인 응답 비율을 높이는 방향으로 경량화됐다.

⤢✕

SWE-bench에서는 실제 GitHub 이슈 해결 능력이 상위권으로 평가돼 코드 수정과 디버깅 역량을 검증했다. 터미널 명령 실행, 파일 조작, 빌드 자동화 시나리오의 성공률도 향상됐다.

코드 리뷰 에이전트로 사용할 때는 Pull Request 분석, 보안 취약점 탐지, 리팩토링 제안 품질을 개선했다. 특정 SDK나 프레임워크 문서를 바탕으로 API 통합 코드를 생성하는 능력도 강화됐다.

서빙 비용은 희소 활성화와 요청 처리 최적화로 줄인다. 추론 시 전체 파라미터 가운데 20~30%만 활성화해 GPU 연산량을 낮추고, 동시 요청을 배치로 묶어 GPU 활용률을 높인다. 공통 시스템 프롬프트의 KV 캐시를 공유하면 반복 연산도 제거할 수 있다.

Output 토큰 생성 속도를 높여 같은 인프라에서 처리량을 늘리는 한편, 모델 서빙은 H100보다 비용 효율적인 H200·Blackwell GPU에 최적화했다.

성능 추월은 여러 최적화가 겹친 결과다

경량 모델의 성능 향상을 하나의 기술로 설명하기는 어렵다. 증류로 플래그십의 지식을 압축하고, GQA와 MoE, Flash Attention으로 실제 추론 비용을 낮춘다. 여기에 코딩·에이전트·수학 영역의 파인튜닝, 큐레이션과 합성 데이터의 품질 개선, 정밀해진 RLHF가 결합된다.

⤢✕

증류는 전세대 플래그십의 지식을 더 적은 파라미터에 보존하는 정보 압축 문제로 볼 수 있다. MoE는 태스크에 맞는 Expert를 선택한다는 점에서 마이크로서비스 아키텍처의 서비스 라우팅과 비슷한 선택적 활성화 패턴을 가진다.

KV 캐시는 데이터베이스의 쿼리 결과 캐싱과 연결해서 이해할 수 있다. 캐시 히트율이 높아질수록 반복 연산이 줄어 추론 비용에 직접 영향을 준다. 시스템 운영에서는 TTFT(Time To First Token)와 Throughput(토큰/초)가 SLA를 판단하는 핵심 지표가 된다.

시스템 관점	연결되는 LLM 기술	2026 적용 사례
알고리즘 복잡도 최적화	Flash Attention O(N) 근사화	1M 토큰 처리 실용화
분산 시스템 설계	MoE 분산 Expert 라우팅	대규모 추론 서버 팜 설계
캐싱 아키텍처	KV Cache, Prompt Cache	API 비용 50% 절감
압축 기술	지식 증류, 양자화	경량 모델 디바이스 배포
성능 튜닝	배치 처리, 투기적 디코딩	처리량 2~4배 향상
아키텍처 패턴	Encoder-Decoder → Decoder-only	생성 중심 설계 표준화

모델 선택 기준도 달라진다

에이전트 워크플로우에서는 한 번의 응답 품질만 비교해서는 운영 특성을 파악하기 어렵다. 함수 호출 지연, 병렬 Tool Call, 구조화 출력 정확도, 긴 대화의 컨텍스트 유지 방식이 실제 성공률과 비용에 영향을 준다.

자율 에이전트가 확산되면서 첫 토큰 응답 시간인 TTFT 100ms 이하 요구가 표준화되고 있다. 동시에 스마트폰과 엣지 장치에서 실행할 수 있는 1~7B 파라미터 모델이 경량 Flash와 Grok의 기술 계보를 이어받고 있다.

의료·법률·금융과 같은 수직 시장에서는 도메인 특화 파인튜닝 모델이 해당 영역의 범용 플래그십을 대체하는 흐름이 나타난다. Llama 4 Scout와 Mistral Small 계열의 경쟁은 클로즈드 경량 모델의 단가 하락을 견인한다. MMLU와 HumanEval이 포화되면서 실제 업무 환경을 반영하는 새로운 벤치마크를 개발하려는 경쟁도 이어지고 있다.

⤢✕

Gemini 3.5 Flash와 Grok 5가 보여준 변화는 경량 모델을 플래그십의 저비용 타협안으로만 보던 구도가 끝나고 있음을 뜻한다. 증류, 아키텍처 최적화, 도메인 특화 파인튜닝으로 전세대 플래그십을 추월하는 모델이 등장했고, 에이전트 저지연 요구와 API 가격 경쟁, 온디바이스 AI 확산이 이 흐름을 가속할 전망이다.

기업과 개발자가 비교해야 할 대상도 최고 벤치마크 점수 하나가 아니다. 비용 대비 성능 곡선과 에이전트 최적화 수준, 캐싱과 배치 처리까지 포함한 실제 운영 조건이 모델 선택의 기준이 된다.

Sources

Google DeepMind Blog, "Gemini 3.5 Flash: Our most efficient model yet", 2026
xAI, "Introducing Grok 5: Performance meets efficiency", 2026
Artificial Analysis LLM Benchmark Leaderboard, 2026-06
Papers With Code, "Knowledge Distillation Survey", 2025
Google Research, "Flash Attention: Fast and Memory-Efficient Exact Attention", 2024
Anthropic, "Claude 4 Model Card and Benchmark Report", 2026
OpenAI, "GPT-4o System Card", 2024
Meta AI, "The Llama 4 Herd: The Beginning of a New Era of Natively Multimodal AI", 2025
Scale AI, "HELM Holistic Evaluation of Language Models", 2025-2026