GLM-5.1이 SWE-Bench Pro에서 독점 모델을 눌렀다 — 오픈소스 8시간 에이전트의 실력

Zhipu AI(Z.ai)가 2026년 4월 7일 공개한 GLM-5.1은 SWE-Bench Pro에서 58.4%를 기록하며 GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro 등 주요 독점 모델을 제치고 1위를 달성한 오픈소스 LLM이다. 744억 파라미터 Mixture-of-Experts(MoE) 아키텍처를 기반으로, 단일 소프트웨어 개발 태스크를 최대 8시간 동안 자율적으로 수행하는 장기 에이전틱 능력과 비전-to-코드 아키텍처(GLM-5V-Turbo)를 결합했다.

독점 모델을 제친 배경

SWE-Bench Pro는 SWE-bench의 강화 버전으로, 단순히 패치를 생성하는 것이 아니라 실제 GitHub 저장소의 복잡한 이슈를 완전히 해결해야 하는 더 엄격한 평가 기준을 적용한다.

모델	SWE-Bench Pro 점수	유형
GLM-5.1	58.4%	오픈소스
GPT-5.4	~54%	독점
Claude Opus 4.6	~52%	독점
Gemini 3.1 Pro	~51%	독점

이 성능 향상은 몇 가지 요인이 겹친 결과다. 파일 시스템 탐색, 코드 실행, 터미널 명령어 사용 등 실제 개발 환경에서 필요한 도구 사용 능력을 집중적으로 훈련받은 도구 사용 특화 훈련, 에러 메시지를 읽고 코드를 수정하는 디버깅 루프를 학습해 처음 시도에 실패해도 접근 방식을 지속적으로 개선하는 반복적 자기 수정(Iterative Self-Correction), 대규모 코드베이스에서 관련 파일을 효율적으로 식별하고 필요한 컨텍스트만 선택적으로 로드하는 컨텍스트 관리가 여기 속한다.

744B MoE 아키텍처가 하는 일

GLM-5.1은 744억 파라미터 MoE 아키텍처를 기반으로 한다. MoE의 핵심은 입력에 따라 전문화된 "전문가(expert)" 서브네트워크 중 일부만 활성화한다는 점이다. 744B라는 거대한 파라미터 공간으로 다양한 도메인 지식을 저장하는 높은 모델 용량, 각 토큰 처리 시 전체 파라미터가 아닌 활성화된 전문가 그룹만 사용해 연산 비용을 줄이는 효율적 추론, 코딩·수학·자연어 이해 등 서로 다른 전문가 그룹이 각 도메인에 특화되는 전문화가 이 설계의 이점이다.

GLM-5.1은 GLM-5 베이스 모델과 동일한 아키텍처를 유지하면서 포스트 트레이닝 단계에서 코딩, 도구 사용, 자율 실행 능력을 집중적으로 강화했다. 새로운 아키텍처 설계 없이도 특정 능력 영역에서 획기적인 성능 향상이 가능함을 보여주는 사례다.

"AI 근무 시간" — 8시간 자율 에이전트 루프

⤢✕

Z.ai는 GLM-5.1이 단일 코딩 태스크를 최대 8시간 동안 자율적으로 수행할 수 있다고 발표했다. 이를 "AI 근무 시간(AI working hours)" 개념으로 표현하며, 인간 개발자의 하루 업무에 해당하는 작업량을 단일 모델이 수행할 수 있음을 강조한다. 실증 사례로 GLM-5.1은 Linux 데스크톱 시스템을 완전히 처음부터 구축하는 태스크를 8시간 내에 완료했는데, 이 과정에서 655회의 자율 반복(iteration)을 수행하며 전체 최적화 파이프라인을 완성하고 벡터 데이터베이스 쿼리 처리량을 초기 프로덕션 버전 대비 6.9배로 향상시켰다.

에이전트 루프는 주어진 태스크를 하위 태스크로 분해하고 실행 순서를 정하는 계획 수립(Planning), 코드 작성·파일 수정·명령어 실행을 담당하는 실행(Execution), 작성된 코드의 정확성을 자동 검증하는 테스트(Testing), 실패 케이스를 분석하고 접근 방식을 개선하는 반복 최적화(Iterative Optimization)로 구성된다.

화면을 코드로 바꾸는 GLM-5V-Turbo

GLM-5.1과 함께 공개된 GLM-5V-Turbo는 시각적 입력을 코드로 변환하는 비전-to-코드 능력에 특화된 멀티모달 모델이다. 웹페이지나 앱 스크린샷을 분석해 HTML/CSS/React 코드를 자동 생성하는 UI 스크린샷 → 코드 변환, 소프트웨어 아키텍처 다이어그램이나 플로우차트를 읽고 해당 코드를 작성하는 설계도 → 구현, 오류 화면이나 로그를 시각적으로 분석해 디버깅 방향을 제시하는 버그 스크린샷 분석이 핵심 기능이다.

GLM-5V-Turbo는 소프트웨어 개발 생명주기(SDLC) 전반의 자동화도 지원한다. 요구사항 명세서의 UI 목업에서 프론트엔드 코드를 생성하고, 백엔드 API를 연동하며, 테스트 코드를 작성하는 데까지 시각적 아티팩트를 중심으로 한 자동화 파이프라인 구성이 가능하다.

MIT 라이선스가 여는 것

GLM-5.1은 MIT 라이선스로 공개돼 프론티어급 오픈소스 모델 중 가장 자유로운 라이선스를 채택했다. HuggingFace 및 ModelScope에서 가중치를 다운로드할 수 있고, vLLM 및 SGLang 추론 프레임워크가 공식 지원하며, 단일 RTX 4090 또는 A6000 수준에서 추론 가능한 양자화 버전도 제공된다.

MIT 라이선스는 상업적 사용, 수정, 재배포, 파생 모델 공개 등 모든 용도에서 제한이 없다. GLM-5.1을 기반으로 한 다양한 특화 모델 개발과 산업 적용을 촉진하는 동시에, Zhipu AI의 기술력을 글로벌 개발자 커뮤니티에 알리는 전략적 효과도 있다.

수십만 줄의 Java 레거시 코드를 Python으로 전환하는 엔터프라이즈 마이그레이션에서는 GLM-5.1 에이전트가 8시간 단위로 모듈별 자율 마이그레이션을 수행해, 수동 대비 90% 시간을 절약하고 테스트 통과율 95%를 달성했다. 디자이너가 제공한 Figma 스크린샷에서 React 컴포넌트를 자동 생성하는 UI 목업 기반 프로토타이핑에서는 GLM-5V-Turbo로 디자인 → 코드 변환 파이프라인을 구축해 프론트엔드 개발 속도를 5배 끌어올렸다. 독점 모델 의존 없이 자체 AI 코딩 도구를 만드는 시나리오에서는 GLM-5.1을 자사 서버에 배포해 API 비용 없이 높은 코딩 성능을 확보했다는 사례도 보고된다.

GLM-5.1은 SWE-Bench Pro 58.4%로 독점 모델을 제압한 최초의 오픈소스 LLM으로, AI 에이전트 능력의 새로운 기준을 제시했다. 744B MoE 아키텍처 기반의 효율적 설계, 8시간 자율 에이전트 루프, GLM-5V-Turbo의 비전-to-코드 능력, MIT 라이선스를 통한 완전한 개방성은 오픈소스 AI가 독점 모델과 정면 경쟁할 수 있는 수준에 도달했음을 보여준다.