Gemini 3.5 Flash의 에이전틱 코딩 추론과 서빙 구조

에이전트 루프에서는 한 번의 지연도 반복된다

Google I/O 2026에서 공개된 Gemini 3.5 Flash는 에이전틱 코딩과 장기 실행 태스크를 겨냥한 경량 모델이다. 라이벌보다 4배 빠른 응답 속도와 향상된 코딩 벤치마크 성능을 앞세우며, 도구 호출과 함수 파싱이 반복되는 에이전트 루프에 추론 구조를 맞췄다. 기존 Gemini Flash 계열의 경량·저비용 방향을 이어가면서도, 최적화의 중심을 실시간 AI 코딩 어시스턴트로 옮긴 모델이다.

2026년 AI 코딩 도구의 역할은 코드 자동완성에 머물지 않는다. 코드 실행, 파일 수정, 검색, 검증을 거치며 수십 단계의 도구 호출을 이어가는 워크플로가 확산되면서 모델의 단일 추론 지연이 전체 완료 시간을 좌우하게 됐다. 정확성에 집중한 대형 추론 모델은 이런 반복 루프에서 연속성과 반응성이라는 요구를 충분히 충족하지 못한다는 지적을 받아왔다.

Google은 Gemini 2.0 Flash와 Gemini 3.0 Flash에서 이어진 경량·저비용 기조 위에 에이전틱 코딩 최적화를 적용했다. Google I/O 2026 기조 발표에서는 Gemini 3.5 Flash를 "에이전트 루프 내 도구 호출 처리량(throughput)과 반응성(responsiveness)을 동시에 극대화한 최초의 Flash 모델"로 소개하고, 경쟁 모델 대비 4배 빠른 응답 속도를 차별점으로 제시했다.

⤢✕

적용 대상으로는 IDE 안에서 실행되는 실시간 코드 제안과 수정, CI/CD 파이프라인에 연결된 코드 리뷰 및 테스트 생성, MCP(Model Context Protocol) 기반 장기 실행 에이전트가 꼽힌다. IDE에서는 타이핑 흐름을 끊지 않는 서브-세컨드 응답이 필요하다. CI/CD에서는 대량 병렬 처리와 비용 효율이 관건이다. MCP 에이전트는 수십~수백 회의 도구 호출을 낮은 지연과 높은 처리량으로 이어갈 수 있어야 한다.

코드 패턴을 활용하는 스펙큘레이티브 디코딩

스펙큘레이티브 디코딩(Speculative Decoding)은 소형 드래프트 모델이 여러 토큰을 먼저 예측하고, 대형 검증 모델이 후보를 병렬로 수락하거나 거부하는 기법이다. Gemini 3.5 Flash는 이를 에이전틱 코딩의 출력 패턴에 맞춰 조정했다.

코드는 함수 선언, 들여쓰기, 괄호 닫기처럼 반복적이고 예측 가능한 구문이 많다. 이런 규칙성은 드래프트 모델의 적중률을 높인다. Gemini 3.5 Flash의 코딩 전용 드래프트 모델은 수락률(acceptance rate)을 범용 드래프트 대비 23% 향상시킨 것으로 알려졌다. 구조가 더 규칙적인 도구 호출 JSON에서는 수락률이 한층 높아져 평균 디코딩 처리량이 3~4배 증가한다.

드래프트 모델은 Gemini 3.5 Flash 추론 서버와 같은 TPU 칩에 공동 배치(co-located)된다. 모델 사이의 통신 오버헤드를 줄이기 위한 구성이다. 드래프트 길이(speculation length)는 에이전트 루프의 컨텍스트에 따라 동적으로 바뀐다.

반복 입력을 줄이는 다계층 KV 캐시

에이전트가 다음 단계로 넘어갈 때마다 시스템 프롬프트, 도구 스키마, 이전 대화 컨텍스트가 다시 입력된다. KV(Key-Value) 캐시 재사용은 이 반복 연산을 덜어내는 핵심 수단이다.

Gemini 3.5 Flash의 캐시 구조는 서로 다른 재사용 범위를 다룬다. 정적 프리픽스 캐시(Static Prefix Cache)는 시스템 프롬프트와 도구 스키마를 세션 전체에서 재사용한다. 슬라이딩 윈도우 캐시(Sliding Window Cache)는 최근 N개 대화 턴의 KV 상태를 메모리에 남긴다. 크로스-요청 공유 캐시(Cross-Request Shared Cache)는 같은 도구 스키마를 쓰는 여러 병렬 에이전트 인스턴스가 캐시를 함께 사용하도록 한다.

Google의 내부 벤치마크에서는 이 캐시 전략을 결합했을 때 20-턴 에이전트 루프의 TTFT(Time-To-First-Token)가 68% 단축됐다.

JSON을 생성하는 단계부터 도구 호출을 제약한다

에이전틱 코딩에서는 코드 실행기, 파일 시스템, 검색 API 같은 외부 도구를 정확히 호출해야 한다. 대개 JSON 구조를 요구하므로 형식 오류와 파싱 지연은 다음 루프를 늦추는 직접적인 원인이 된다.

Gemini 3.5 Flash는 제약 디코딩(Constrained Decoding)을 사용해 함수 스키마상 유효한 JSON 토큰만 생성하도록 어휘(vocabulary)를 동적으로 마스킹한다. 잘못된 JSON 때문에 발생하는 파싱 실패율을 사실상 0으로 낮추고 재시도 오버헤드를 제거하려는 설계다.

스키마-인식 KV 캐시(Schema-Aware KV Cache)는 각 필드 정의를 미리 인코딩해 보관한다. 실제 호출에서는 이 캐시를 참조하므로 같은 스키마를 반복 처리할 필요가 없다. 두 기법을 함께 적용한 결과 도구 호출 응답 생성 시간은 기준 대비 평균 41% 단축됐으며, 복잡하게 중첩된 JSON 스키마에서 효과가 더 두드러진다.

⤢✕

이 경로에서는 캐시 적중 여부에 따라 프리픽스 인코딩을 건너뛸 수 있다. 이후 스펙큘레이티브 디코딩을 수행하고, 도구 호출 응답이면 제약 디코딩으로 JSON을 생성한다. 도구 결과가 돌아오면 슬라이딩 윈도우 KV 상태를 갱신한 뒤 다음 루프로 이어진다.

지연과 처리량을 함께 다루는 서빙 계층

배치 처리(batching)는 GPU와 TPU 활용률을 높이지만 배치가 커질수록 개별 요청의 응답은 늦어질 수 있다. 앞선 도구 실행 결과를 기다려야 하는 에이전트 루프에서는 각 요청의 지연이 뒤 단계까지 누적된다.

Gemini 3.5 Flash의 서빙 인프라는 연속 배치(Continuous Batching)와 우선순위 큐를 결합한다. 연속 배치는 고정 배치가 모두 끝날 때까지 기다리지 않고, 처리가 끝난 시퀀스 슬롯에 새 요청을 넣는다. 우선순위 큐는 에이전트 루프의 요청을 독립적인 단일 요청보다 먼저 처리해 배치 큐에서 루프가 멈추는 상황을 방지한다.

서빙 클러스터는 TPU v6e(Trillium)를 기반으로 한다. Gemini 3.5 Flash는 경량 모델 전체를 단일 TPU 칩에 적재할 수 있는 수준으로 설계돼 NVLink나 고속 인터커넥트에 의존하지 않고 칩 단위로 독립 서빙할 수 있다. 수평 확장(horizontal scaling) 과정에서도 일관된 저지연 특성을 유지하기 위한 선택이다.

스트리밍 중에도 다음 작업을 준비한다

에이전트 루프의 스트리밍은 화면에 토큰을 빨리 보여주는 기능에 그치지 않는다. 도구 호출을 조기에 감지하고 실행 준비를 앞당기는 역할도 맡는다.

Gemini 3.5 Flash의 서빙 레이어는 스트리밍 도중 도구 호출 시작 토큰(<tool_call>)을 감지하면 JSON 인수가 모두 생성되기 전에 부분 파싱(partial parsing)을 시작한다. 인수가 완성되는 시점에 바로 도구를 실행해 모델 생성 완료와 도구 실행 사이의 유휴 시간을 줄인다.

동일한 에이전트 세션의 다음 요청은 세션 어피니티(session affinity) 라우팅을 통해 같은 서빙 노드로 전달된다. 슬라이딩 윈도우 KV 캐시를 노드 사이에서 옮기지 않고 로컬에서 재사용하기 위한 구성이다. 특정 노드에 세션 부하가 집중되면 KV 캐시를 직렬화해 다른 노드로 이전하는 캐시 마이그레이션 메커니즘도 적용돼 있다.

독립적인 도구는 동시에 실행한다

⤢✕

Gemini 3.5 Flash는 한 번의 추론에서 여러 도구 호출을 함께 발행하는 병렬 도구 호출(parallel tool calling)을 네이티브로 지원한다. 코드 실행, 파일 읽기, 웹 검색이 모두 필요하면 호출 목록을 하나의 응답으로 반환하고 오케스트레이터가 동시에 실행한다. 전체 루프 대기 시간은 직렬 실행 대비 최대 60% 단축된다.

스케줄링은 Google의 에이전트 미들웨어 레이어인 Vertex AI Agent Framework가 맡는다. 도구 간 의존 관계 그래프를 분석한 뒤 독립적인 작업은 병렬로, 선행 결과가 필요한 작업은 순차로 배치하는 DAG(Directed Acyclic Graph) 기반 실행 계획을 만든다.

속도와 비용을 위해 감수한 정확성의 차이

모델	TTFT (ms)	처리량 (tok/s)	1M 토큰 입력 비용 ($)	SWE-bench Verified	에이전트 루프 특화
Gemini 3.5 Flash	220	480	0.075	71.3%	네이티브 병렬 도구 호출
Claude Sonnet 4.6	890	210	3.00	76.2%	균형형, 확장 컨텍스트
GPT-5.5 Instant	1,200	180	2.50	88.7%	ChatGPT 기본값
Gemini 3.0 Flash	310	390	0.10	58.4%	전 세대 경량
DeepSeek R3	1,850	140	0.55	68.5%	MoE, 오픈소스

Gemini 3.5 Flash의 TTFT 220ms는 Claude Sonnet 4.6의 890ms보다 약 4배, GPT-5.5 Instant의 1,200ms보다 약 5.5배 빠르다. 1M 토큰 입력 비용은 0.075달러로, Claude Sonnet 4.6의 3.00달러와 비교하면 1/40 수준이다.

정확성에서는 다른 양상이 나타난다. SWE-bench Verified 점수는 71.3%로 GPT-5.5 Instant의 88.7%보다 17.4%p 낮다. Google은 경량 모델에서 예상되는 이 차이를 에이전틱 코딩 환경의 속도와 비용 우위가 상쇄한다고 주장한다.

SWE-bench Verified 외에는 SWE-bench Multi-Agent, TerminalBench, AgentBench가 에이전틱 코딩 능력을 평가하는 벤치마크로 주목받는다. 이 환경에서는 코드 생성 정확성뿐 아니라 도구 호출 효율, 반복 루프 안정성, 장기 컨텍스트 유지 능력도 평가 대상이 된다.

TerminalBench는 터미널에서 다단계 명령 실행, 파일 조작, 패키지 설치를 수행하도록 해 도구 호출 정확성과 루프 안정성을 측정한다. Gemini 3.5 Flash의 점수는 86.3%다. 단순 코드 생성보다 에이전틱 실행에서 강점을 보이며, 에이전트 루프에 적용한 구조적 최적화가 벤치마크 결과로 이어졌음을 보여준다.

AgentBench는 웹 브라우저 조작, OS 명령 실행, 데이터베이스 쿼리 등 여러 도구 통합 시나리오를 다룬다. Gemini 3.5 Flash는 전체 점수 74.8%를 기록해 Claude Sonnet 4.6의 72.1%를 소폭 앞섰다. 고비용 대형 모델 수준의 에이전틱 능력을 경량 모델 가격으로 제공한다는 점에서 시장 수용성이 높을 것으로 전망된다.

경량 코딩 모델의 경쟁 축

⤢✕

2026년 경량 AI 코딩 모델 시장은 속도, 비용 효율, 에이전틱 실행 능력을 중심으로 나뉘는 추세다. 속도를 우선하는 영역에서는 Gemini 3.5 Flash가 사실상의 기준점(de facto standard)이 될 가능성이 높다. IDE 플러그인, 코드 완성 서비스, 실시간 리뷰 도구처럼 서브-세컨드 응답이 사용자 경험을 좌우하는 시장에서 앞선 속도를 확보했기 때문이다.

비용 효율을 앞세운 DeepSeek R3 등의 오픈소스 MoE 모델은 자체 호스팅 수요를 흡수한다. 다만 서빙 인프라 구축과 운영 비용까지 포함하면 관리형 서비스에 대한 실질적인 비용 우위는 제한적이다.

MCP 생태계의 확산은 장기 실행 에이전트 수요를 끌어올리고 있다. 이 영역에서 Gemini 3.5 Flash는 비용, 속도, 도구 통합을 함께 충족하는 유일한 상용 경량 모델로 평가된다.

2026년 하반기까지 시장은 Gemini 3.5 Flash의 속도·에이전틱 포지션, Claude Haiku 4.x의 균형·정확성 포지션, DeepSeek 오픈소스 계열의 비용·커스터마이징 포지션이 맞서는 3각 구도로 안정화될 가능성이 높다. GPT-5.5 Instant의 코딩 정확성은 대형 복잡 태스크에서 의미가 있지만, 반복 속도가 중요한 에이전트 루프에서는 Gemini 3.5 Flash의 구조가 시장 선호를 이끌 것으로 전망된다.

Gemini 3.5 Flash의 핵심은 경량 모델의 빠른 응답을 에이전트 루프 전체의 효율로 확장한 데 있다. 스펙큘레이티브 디코딩, 다계층 KV 캐시, 제약 디코딩 기반 도구 호출, 병렬 실행을 추론과 서빙 전반에 배치했다. 라이벌 대비 4배 빠른 응답 속도는 실시간 AI 코딩 어시스턴트에서 경쟁 우위로 작용할 것으로 평가된다. 2026년 하반기 MCP 기반 장기 실행 에이전트 수요가 본격화되면, 이 구조가 차세대 AI 코딩 인프라의 경량 에이전틱 모델 기준으로 자리 잡을 가능성이 높다.