Gemini 3.5 Flash: 에이전트 루프의 속도를 4배로 끌어올린 추론 아키텍처

범용 대화 모델이 아니라 에이전트 런타임의 부품으로

Google I/O 2026은 Gemini 계열의 세대 교체를 선언한 무대였고, 그 중심에 Gemini 3.5 Flash가 있었다. 이 모델은 범용 대화 능력보다 에이전트 작업과 코딩 워크플로우에 특화 설계된 점이 이전 세대 Flash 모델과 근본적으로 다르다.

Google은 세 가지 핵심 가치를 내세웠다. 첫째, 프론티어 모델 대비 4배 빠른 응답 속도다. 에이전트 루프에서 수십~수백 회의 도구 호출이 연속 발생하는 환경에서 결정적인 UX 차이를 만든다. 둘째, 도구 호출 파싱 지연을 최소화하는 에이전트 루프 최적화 아키텍처다. 셋째, Terminal-Bench 76.2%, MCP Atlas 83.6%로 대표되는 에이전트 코딩 벤치마크 성능이다.

⤢✕

Flash 계열은 Ultra·Pro 계열에 비해 파라미터 규모를 억제하고 추론 지연을 줄이는 방향으로 설계된다. Gemini 3.5 Flash는 여기서 한 발 더 나아가 에이전트 코딩 시나리오에 최적화된 파인튜닝과 추론 파이프라인 개선을 병행했다고 Google은 밝히고 있다.

Terminal-Bench와 MCP Atlas가 실제로 재는 것

Terminal-Bench는 에이전트가 실제 터미널 환경에서 명령 실행·파일 조작·패키지 설치·환경 설정·오류 복구 등의 복합 작업을 얼마나 정확히 수행하는지를 측정한다. SWE-bench가 GitHub 이슈 해결 능력을 평가한다면, Terminal-Bench는 더 저수준의 셸 환경 조작 능력을 직접 측정한다는 점에서 다르다. 각 태스크는 격리된 Docker 컨테이너 안에서 실행되고, 에이전트가 생성한 셸 명령의 최종 상태(exit code, 파일 시스템 변화, stdout/stderr)를 기준으로 이진 판정을 내린다. 부분 점수를 허용하지 않아 벤치마크 조작 가능성을 최소화한다. 76.2%는 이 이진 판정 기준에서 100개 태스크 중 76개 이상을 완전히 통과했다는 뜻이다.

MCP Atlas는 Model Context Protocol 표준 아래에서 에이전트가 다수의 도구와 리소스를 연계해 복합 목표를 달성하는 능력을 측정한다. 태스크는 코드베이스 탐색과 파일 편집을 연계하는 유형, 외부 API 도구 호출 결과를 코드에 반영하는 유형, 테스트 실행 후 실패 원인을 진단하고 수정하는 디버깅 루프 유형 세 가지로 구성된다. 83.6%는 이 복합 태스크 환경에서 특히 두드러지는 수치로, 단순 코드 완성이 아니라 전체 에이전트 루프 수행 능력에서의 우위를 시사한다.

SWE-bench는 실제 GitHub 이슈·PR 데이터를 기반으로 해 현실 반영도가 높지만 데이터 오염 위험이 상대적으로 크다. Terminal-Bench와 MCP Atlas는 태스크를 프로그래밍적으로 생성하고 컨테이너 격리 환경에서 실행하므로 재현성과 오염 방지에서 유리하다. 재현성 보장 요소는 세 가지다. 모든 실행 환경을 Docker 이미지로 고정해 OS·라이브러리 버전 차이를 없애고, 랜덤 시드를 고정하고 태스크 생성 스크립트를 공개해 외부 검증을 허용하며, 에이전트의 모든 도구 호출 이력을 로그로 보존해 실패 원인 추적을 가능하게 한다.

⤢✕

4배 속도는 어디서 오는가: 에이전트 루프 추론 최적화

스펙큘레이티브 디코딩은 소형 드래프트 모델이 여러 토큰을 미리 생성하면 대형 검증 모델이 이를 일괄 수락·거부해 실질적인 디코딩 속도를 높이는 기법이다. Gemini 3.5 Flash는 이 드래프트 모델 역할을 더 경량화하고, 코딩·도구 호출 컨텍스트에서 드래프트 수락률을 높이는 방향으로 특화했다. 코드 생성 토큰 시퀀스는 함수 호출 형식·변수명·들여쓰기 구조가 반복되는 특성상 자연어 대화보다 패턴 반복성이 높아 드래프트 모델의 예측 적중률이 올라간다. Google이 주장하는 4배 속도 향상의 상당 부분은 이 최적화에서 비롯된 것으로 분석된다.

KV 캐시는 트랜스포머 어텐션 연산에서 이전 토큰의 Key·Value 행렬을 메모리에 보존해 재계산을 생략하는 메커니즘이다. 에이전트 루프에서는 시스템 프롬프트와 도구 정의 스키마가 모든 스텝에서 반복 참조되므로, 이 부분의 캐시 적중률이 전체 추론 비용을 좌우한다. Gemini 3.5 Flash는 시스템 프롬프트 영역과 함수 스키마 정의 영역을 캐시 우선 영역으로 지정하고, 에이전트 루프의 각 스텝에서 새로 추가되는 도구 응답 부분만 추가 연산하는 prefix caching을 설계한 것으로 알려진다. 이를 통해 에이전트 루프가 20~50 스텝으로 길어지더라도 처음 스텝 대비 추론 비용 증가폭을 선형 이하로 억제할 수 있다.

⤢✕

에이전트 루프에서 모델 출력을 구조화된 함수 호출 형식으로 파싱하는 과정도 지연의 숨은 원인이다. 전통적인 방식은 모델이 자유 형식 텍스트로 도구 호출 의도를 표현하면 별도 파싱 레이어가 이를 JSON 스키마로 변환하는데, 이 과정에서 형식 오류·재시도·폴백 처리가 누적돼 전체 지연이 늘어난다. Gemini 3.5 Flash는 구조화된 출력 생성을 모델 수준에서 강화해 이 지연을 줄인다. 함수 스키마를 모델의 어텐션 레이어가 직접 참조하도록 하는 constrained decoding을 적용해 도구 호출 JSON이 스키마를 벗어날 확률을 사전에 차단하고, 파싱 실패로 인한 재시도 횟수를 최소화한다. 동일한 도구 집합을 반복 사용하는 루프에서는 스키마 임베딩 결과를 재사용하는 스키마 캐싱도 매 스텝의 컨텍스트 인코딩 비용을 줄이는 데 기여한다.

코드 실행 루프는 모델이 코드를 생성하고 실행 환경에서 이를 실행하며 실행 결과(stdout, stderr, exit code)를 다시 컨텍스트로 받아 다음 코드를 생성하는 반복 사이클이다. Gemini 3.5 Flash는 두 가지 개선을 도입한 것으로 분석된다. 하나는 코드 실행 결과를 컨텍스트에 추가할 때 불필요한 장문의 출력을 요약·압축해 KV 캐시 용량 급증을 억제하는 실행 결과 요약 파이프라인이다. 다른 하나는 Google의 Function Calling API와 MCP 표준을 함께 지원해 로컬 셸·원격 컨테이너·웹 API 등 다양한 실행 환경을 일관된 스키마로 연결하는 표준화된 인터페이스로, MCP Atlas 83.6% 기록과 직접 연결된다.

Claude Sonnet 4.6·GPT-5.5 Instant와 겨루는 지점

Claude Sonnet 4.6는 코드 이해 능력과 다중 파일 컨텍스트 처리에서 강점을 보이는 Anthropic의 핵심 에이전트 코딩 모델이다. Claude Code 제품과 깊이 통합돼 있고, 장문 컨텍스트(200K 토큰)에서 안정적인 성능을 보인다. 에이전트 루프의 각 스텝에서 정밀한 판단이 필요한 복잡한 엔지니어링 태스크에서는 여전히 Sonnet 4.6가 강점을 유지한다는 평가가 많다. Gemini 3.5 Flash는 이에 맞서 응답 속도와 비용 효율을 앞세운다. 파일 탐색·코드 검색·패키지 설치처럼 단순한 도구 호출이 반복되는 시나리오에서는 빠른 응답 속도가 실질적인 생산성으로 이어지고, API 단가에서도 Flash 계열이 Sonnet 계열보다 낮게 책정되는 경향이 있어 대규모 에이전트 작업에서 비용 경쟁력이 부각된다.

GPT-5.5 Instant는 OpenAI가 에이전트·실시간 응용 시나리오를 겨냥해 내놓은 경량 고속 모델이다. Function Calling과 Code Interpreter와의 긴밀한 통합, ChatGPT·Codex 제품군과의 생태계 연결이 강점이며 구조화된 출력 생성과 JSON 스키마 준수에서 높은 신뢰성을 보인다는 평이 있다. Gemini 3.5 Flash는 MCP 표준 지원 측면에서 GPT-5.5 Instant보다 넓은 호환성을 제공하며, MCP Atlas 83.6%는 MCP 생태계 내 도구 조합 복잡성에서 우위를 점했음을 의미한다. 반면 GPT-5.5 Instant는 OpenAI 자체 도구 생태계에 최적화된 시나리오에서 더 높은 안정성을 보일 수 있다.

⤢✕

세 모델의 포지셔닝을 종합하면 에이전트 코딩 시장은 단일 최강자보다 시나리오별 최적 모델이 공존하는 구조로 수렴하고 있다. Gemini 3.5 Flash는 빠르고 저렴한 반복 루프 시나리오, Claude Sonnet 4.6는 깊은 코드 이해가 필요한 복잡한 엔지니어링 태스크, GPT-5.5 Instant는 OpenAI 생태계 통합 시나리오에서 각각 우위를 점하는 구도다.

Google 에이전트 전략에서 Flash가 맡은 역할

Google이 I/O 2026에서 그린 그림은 Gemini 3.5 Flash를 단순한 언어 모델이 아니라 "에이전트 런타임의 핵심 추론 엔진"으로 포지셔닝하는 것이다. 이를 뒷받침하는 발표로 Google ADK(Agent Development Kit) v2, Gemini Function Calling v3, MCP 표준 네이티브 지원이 있었다. ADK v2는 Gemini 3.5 Flash를 기본 백엔드로 사용하며 에이전트 루프 관리·도구 등록·실행 결과 처리를 프레임워크 수준에서 추상화한다. 개발자가 도구를 Python 함수로 정의하고 데코레이터를 부착하면 MCP 호환 도구 스키마가 자동 생성되는 구조로, 에이전트 코딩 도구의 채택 속도를 높이려는 Google의 생태계 전략과 맞닿아 있다.

MCP 표준 네이티브 지원은 Gemini 3.5 Flash가 MCP Atlas에서 83.6%를 기록한 배경 중 하나이기도 하다. Anthropic이 주도하는 MCP 표준을 자사 에이전트 스택의 공식 인터페이스로 채택함으로써, 독자 표준을 고집하는 대신 업계 표준을 빠르게 수용해 생태계 네트워크 효과를 누리겠다는 실용적 판단으로 읽힌다. 가격 정책도 이 전략의 일부다. Google은 AI Studio와 Vertex AI에서 Gemini 3.5 Flash를 다른 프론티어 모델 대비 낮은 단가로 제공해 에이전트 개발자 커뮤니티의 실험 문턱을 낮추고 있다. 에이전트 루프에서 토큰 소비량이 단일 쿼리 대비 수십~수백 배 많다는 점을 고려하면 단가 경쟁력은 모델 선택에 직접적인 영향을 미친다.

2026년 에이전트 코딩 경쟁이 향하는 방향

SWE-bench에서 Terminal-Bench·MCP Atlas로의 이동이 시사하듯, 평가 기준은 단일 코드 완성 능력에서 에이전트 루프 전체 수행 능력으로 옮겨가고 있다. 에이전트 루프에서 응답 지연은 단순한 UX 문제가 아니라 실질적인 작업 처리 효율과 비용에 직결되며, Gemini 3.5 Flash가 4배 속도를 핵심 가치로 내세우는 것은 이 맥락에서 전략적으로 정확한 선택이다. MCP가 에이전트 도구 인터페이스의 사실상 표준으로 자리 잡으면서 각 모델 제공자는 MCP 생태계 내에서 최적화된 성능을 제공하는 경쟁에 참여하게 됐고, 오케스트레이터는 대형 모델이 맡고 실제 도구 실행과 코드 생성은 경량 고속 모델이 맡는 분업 구조도 확산되고 있다. Gemini 3.5 Flash는 이 구조에서 서브에이전트 추론 엔진으로서의 역할이 기대된다. 마지막으로, 빠른 속도와 높은 도구 호출 성공률만으로는 충분하지 않다는 인식이 커지면서 에이전트가 의도치 않은 부작용 없이 안전하게 작업을 수행하는지를 평가하는 안전성 벤치마크의 필요성도 함께 부상하고 있다. Terminal-Bench가 격리된 Docker 환경을 쓰는 것도 이 요구의 반영이다.