GPT-5.5의 에이전틱 코딩과 컴퓨터 사용: 벤치마크로 읽는 자율 개발 에이전트의 현재
GPT-5.5의 Terminal-Bench·SWE-Bench Pro·OSWorld-Verified 벤치마크 성과와 컴퓨터 사용 아키텍처, LLM 벤치마크 설계 원칙을 정리한다
2026-08-14 · 최초 발행 2026-05-01
OpenAI가 2026년 4월 23일 공개한 GPT-5.5는 단순한 버전 업데이트가 아니라 에이전트 지향 목표를 사전학습 단계부터 내재화한 최초의 완전 재훈련 기반 모델이다. 에이전틱 코딩, 컴퓨터 사용, 지식 노동, 초기 과학 연구 전 영역에서 전작 대비 뚜렷한 성능 향상을 입증했으며, 이는 AI 모델 설계 패러다임의 근본적 전환을 시사한다.
사후 파인튜닝이 아니라 사전학습부터 에이전트로
GPT-5.5는 GPT-4.5(2025년 2월) 이후 약 14개월 만에 출시된 완전 재훈련 기반 모델이다. GPT-5.x 계열의 이전 모델들이 기존 기반 모델에 사후 파인튜닝을 거쳐 에이전트 능력을 보완했다면, GPT-5.5는 사전학습 단계에서부터 "에이전트 지향 목표(agent-oriented objectives)"를 최적화 목표로 삼아 훈련됐다.
OpenAI의 발표에 따르면 GPT-5.5는 코드 작성·디버깅, 온라인 리서치, 데이터 분석, 문서·스프레드시트 생성, 소프트웨어 조작, 멀티툴 완료까지의 연속 작업에서 강점을 발휘한다. 단일 요청에 대한 즉각적 답변 품질을 넘어, 복수의 도구와 환경을 가로질러 장기적 목표를 추구하는 에이전트 패러다임으로의 전환을 뜻한다.
Terminal-Bench 82.7%가 말해주는 것
GPT-5.5의 에이전틱 코딩 성능은 세 핵심 벤치마크에서 측정됐다.
| 벤치마크 | GPT-5.4 | GPT-5.5 | 설명 |
|---|---|---|---|
| Terminal-Bench 2.0 | 75.2% | 82.7% | 복잡한 CLI 워크플로우·계획·반복·도구 협업 |
| SWE-Bench Pro | 51.3% | 58.6% | 실제 GitHub 이슈의 단일 패스 해결률 |
| OSWorld-Verified | 75.0% | 78.7% | 실제 컴퓨터 환경의 자율 조작 |
Terminal-Bench 2.0에서의 82.7%는 복잡한 멀티스텝 CLI 워크플로우에서 계획 수립, 반복 실행, 도구 협업이 얼마나 유기적으로 작동하는지를 측정한 것으로, 이전 세대 대비 크게 향상된 수치다.
에이전틱 코딩 모델의 핵심은 단순한 코드 생성을 넘어 완전한 개발 워크플로우를 자율적으로 수행하는 데 있다.
이를 위한 설계 원칙은 몇 가지로 정리된다. 목표 상태 유지는 장기 멀티스텝 태스크에서 모델이 중간 실패에도 불구하고 전체 목표를 잃지 않도록 하는 능력으로, GPT-5.5는 사전학습 단계에서 이 목표 상태를 표현하는 방식을 체계적으로 학습했다. 멀티툴 완료율 향상은 단일 도구를 넘어 복수의 도구(코드 실행 환경, 파일 시스템, 웹 검색, API 호출 등)를 연속적으로 활용해 태스크를 완료하는 비율을 극대화하는 것으로, 각 도구 호출 결과를 다음 호출의 컨텍스트로 누적하는 툴 체인 메모리 구조가 이를 뒷받침한다. 자기수정 루프는 코드 실행 오류·테스트 실패·예상치 못한 출력이 발생했을 때 모델 스스로 원인을 분석하고 수정 코드를 생성하는 루프를 내부적으로 구현한 것이고, 리팩터링 인식 능력은 단순한 기능 추가를 넘어 기존 코드베이스의 구조를 이해하고 아키텍처적으로 일관된 방향으로 리팩터링을 제안·실행하는 능력이다.
화면을 보고 스스로 조작하는 능력
GPT-5.5의 컴퓨터 사용 기능은 OSWorld-Verified 기준 78.7%를 달성하며 실제 컴퓨터 환경에서의 자율 조작 능력을 입증했다.
이 기능의 핵심 구성 요소는 네 가지다. GUI 이해는 스크린샷 이미지에서 버튼·입력 필드·메뉴·체크박스 등의 GUI 요소를 인식하고 각 요소의 기능적 의미를 파악하는 것으로, 단순한 시각적 객체 감지를 넘어 UI 구성 요소가 어떤 행동을 유도하는지를 의미론적으로 이해한다. 스크린 파싱은 화면 전체를 구조적 레이아웃으로 해석해 대화 상자·폼·리스트·탭 등의 계층적 UI 구조를 모델 내부 표현으로 변환하는 과정으로, OCR 기반 텍스트 추출과 시각적 레이아웃 분석이 통합적으로 작동한다. 액션 예측은 현재 화면 상태와 목표 달성까지 필요한 행동 시퀀스를 예측하는 것으로, 마우스 클릭 좌표·키보드 입력·스크롤 방향과 거리 등의 구체적 액션을 생성하며 각 액션의 예상 결과를 사전에 시뮬레이션해 최적 행동 경로를 선택한다. 자기수정 루프는 액션 실행 후 화면이 예상과 다르게 변화했을 때 차이를 감지하고 원인을 분석해 수정 액션을 수행하는 것으로, 클릭이 잘못된 위치에 발생했거나 모달 대화 상자가 예상치 않게 나타났을 때 자동으로 대응한다.
LLM을 어떻게 평가해야 신뢰할 수 있는가
LLM 성능을 종합적으로 평가하기 위한 벤치마크 체계는 크게 네 범주로 나뉜다.
SWE-Bench Pro는 GitHub 리포지토리의 실제 이슈를 모델이 독립적으로 해결하는 능력을 측정한다. 단순 코드 생성이 아닌 이슈 분석, 코드베이스 탐색, 패치 적용, 테스트 통과의 전체 사이클을 평가한다. HumanEval+는 함수 수준의 코드 생성 정확도를 측정하며, 엣지 케이스와 다양한 입력 유형에 대한 견고성을 강화한 확장 버전이다. MMLU(Massive Multitask Language Understanding)는 57개 분야의 대학원 수준 지식 문제를 통해 범용 지식 이해 능력을 측정하며 의학·법학·수학·역사 등 다양한 전문 분야를 포괄한다. GPQA Diamond는 전문가 수준의 대학원 과학 문제를 포함하며 물리학·화학·생물학 분야의 깊은 추론 능력을 평가하는데, GPT-5.5는 이 벤치마크에서도 상당한 수준의 성능을 기록했다.
신뢰할 수 있는 LLM 벤치마크를 설계하려면 몇 가지 원칙이 필요하다. 평가 데이터가 모델의 훈련 데이터에 포함돼 있으면 벤치마크 점수가 실제 능력을 과대 평가하므로, 최신 데이터를 활용하거나 시간적으로 구분된 데이터셋을 써서 데이터 오염을 방지해야 한다. 실험실 환경에서의 측정치가 실제 배포 환경의 성능을 잘 예측하는지 검증하는 실제 사용 사례 반영도 중요한데, SWE-Bench Pro와 OSWorld-Verified는 이 원칙을 강조하는 대표적 사례다. 단일 지표로는 모델의 전반적 능력을 파악할 수 없으므로 코딩·추론·지식·에이전트 능력을 종합적으로 측정하는 벤치마크 포트폴리오를 구성하는 다차원 평가가 필요하고, 동일한 조건에서 반복 실험을 수행했을 때 일관된 결과가 나와야 하며 평가 환경(온도 파라미터, 시드값 등)을 명시적으로 공개해야 하는 재현성 확보도 빠질 수 없다.
에이전틱 AI 모델 평가는 일반 언어 모델 평가와 본질적으로 다른 도전을 수반한다. 단일 응답의 품질이 아닌 연속적 의사결정 시퀀스의 최종 결과를 측정해야 하기 때문이다. 각 테스트 케이스마다 깨끗한 환경(파일 시스템, 코드베이스, GUI 상태)으로 초기화해야 하므로 대규모 평가의 비용이 크게 증가하는 환경 리셋 비용, 최종 목표를 달성하지 못했더라도 중간 단계의 올바른 판단에 부분 점수를 부여해 에이전트의 전략적 능력을 더 잘 포착하는 부분 점수 부여, 실제 웹이나 OS 환경은 비결정론적이므로 동일 태스크를 여러 번 반복 실행해 평균 성공률을 측정하는 확률적 환경 처리가 특수한 설계 고려사항으로 꼽힌다.
GPT-5.5는 사전학습 단계에서부터 에이전트 지향 최적화를 적용한 첫 번째 기반 모델로서, 에이전틱 코딩과 컴퓨터 사용 영역에서 선명한 성능 도약을 실현했다. Terminal-Bench 2.0의 82.7%, SWE-Bench Pro의 58.6%라는 수치는 AI가 단순 도구를 넘어 자율적 소프트웨어 개발 에이전트로 진화하고 있음을 보여준다. LLM 벤치마크 평가 방법론 역시 단일 응답 품질 측정에서 복잡한 멀티스텝 에이전트 능력을 측정하는 방향으로 발전하고 있으며, 이는 AI 모델의 실제 생산성 기여를 보다 정확히 예측하는 데 필수적인 기반이 될 것이다.