GLM-5.1이 SWE-Bench Pro에서 프런티어 모델을 넘어선 방법 — 754B MoE와 202,752 토큰 컨텍스트
Z.ai GLM-5.1의 7,540억 파라미터 MoE 구조와 202,752 토큰 컨텍스트 윈도우가 SWE-Bench Pro에서 Claude Opus 4.6·GPT-5.4를 상회한 기술적 배경과 오픈소스 LLM의 상용 경쟁력 조건을 정리한다.
2026-08-14 · 최초 발행 2026-05-05
2025년 하반기, 홍콩거래소 상장사인 Z.ai(智谱AI)가 내놓은 GLM-5.1은 7,540억 파라미터 규모의 오픈소스 대형 언어 모델이다. 소프트웨어 엔지니어링 벤치마크의 표준으로 자리 잡은 SWE-Bench Pro에서 이 모델은 Anthropic의 Claude Opus 4.6과 OpenAI의 GPT-5.4를 상회하는 점수를 기록했다. 202,752 토큰에 달하는 컨텍스트 윈도우와 함께 공개된 이 모델은 오픈소스 LLM이 상용 프런티어 모델과 어깨를 나란히 할 수 있다는 근거를 하나 더 보탰다.
SWE-Bench Pro는 무엇을 다르게 측정하는가
SWE-Bench는 2023년 프린스턴 대학 연구팀이 제안한 벤치마크로, 실제 GitHub 저장소의 이슈를 AI 에이전트가 자율적으로 해결하는 능력을 측정한다. 지식 암기나 수학 추론이 아니라 코드 이해, 버그 추적, 패치 생성, 테스트 통과라는 실제 엔지니어링 워크플로우 전체가 평가 대상이다.
2024년 도입된 SWE-Bench Verified는 인간 주석자가 정답을 사전 검증한 500개 문제 세트로 신뢰도를 높였다. SWE-Bench Pro는 여기서 더 나아가 최신 GitHub 이슈를 포함하고 난도를 높이며 평가 파이프라인의 공정성을 강화한 버전이다. 핵심 차이는 데이터 오염 통제에 있다. 기존 문제들이 모델의 학습 데이터에 포함되어 있을 가능성이 커지자, SWE-Bench Pro는 모델 학습 컷오프 이후 생성된 이슈만 선별해 암기로 통과하는 경로를 차단했다.
평가 자체도 단순한 코드 생성 테스트가 아니라 완전한 에이전트 실행 파이프라인을 요구한다.
모델은 저장소 전체를 탐색하고, 이슈와 관련된 파일을 특정하며, 실제로 코드를 수정하고, 단위 테스트를 실행해 통과해야 한다. 단일 프롬프트-응답으로는 작동하지 않는다. 여러 번의 도구 호출, 파일 읽기, 코드 실행, 오류 수정 루프가 이어지므로 명령 추종, 긴 문맥 추론, 에이전트 지속성이 함께 평가된다.
핵심 지표는 전체 문제 중 테스트를 통과하는 패치를 제출한 비율인 % Resolved다. GLM-5.1이 이 지표에서 Claude Opus 4.6과 GPT-5.4를 상회했다는 것은 단순한 코딩 능력 차이가 아니라 에이전트 실행 전략 전체의 우월성을 시사한다.
실제 GitHub 이슈가 어려운 이유는 실무 개발의 복잡성을 그대로 반영하기 때문이다. 수만 줄 코드베이스에서 수십 줄짜리 버그를 찾아내려면 파일 간 의존성, 클래스 상속 구조, 설정 파일과 런타임 동작의 관계를 이해해야 한다. 기존 테스트 스위트를 깨뜨리지 않으면서 기능을 추가하거나 버그를 수정해야 하는 경우도 많아, 코드 생성 능력을 넘어 기존 시스템의 설계 의도를 이해하는 능력이 요구된다.
754B 파라미터를 어떻게 굴리는가
GLM-5.1의 7,540억(754B) 파라미터는 단일 밀집 모델(Dense Model)이 아니라 Mixture-of-Experts(MoE) 아키텍처를 기반으로 한다. 전체 파라미터가 여러 전문가(Expert) 서브네트워크로 분산되고, 각 입력 토큰은 게이팅 네트워크가 선택한 소수의 전문가만 활성화한다. 총 754B 중 실제 추론 시 활성화되는 파라미터는 전체의 일부에 불과하다 — GPT-4, GPT-4o, Gemini Ultra, Mistral의 Mixtral 시리즈가 채택한 것과 같은 접근이다. 밀집 모델 대비 같은 컴퓨팅 예산으로 더 많은 파라미터 용량을 확보할 수 있어 지식 저장과 특수화 능력이 올라간다.
GLM 시리즈는 칭화대학교(Tsinghua University)의 General Language Model 연구에 뿌리를 둔다. GPT 계열의 단방향 자기회귀(Autoregressive) 방식 대신, 양방향 문맥 이해와 자기회귀 생성을 결합한 Autoregressive Blank Infilling 방식을 독자적으로 발전시켜 왔다.
202,752 토큰이라는 컨텍스트 윈도우는 현존 오픈소스 모델 중 최상위권으로, 약 150만 글자에 해당하며 수백 페이지 문서나 대형 코드베이스 전체를 단일 컨텍스트에서 처리할 수 있다는 뜻이다. 다만 긴 컨텍스트는 최대 토큰 수를 늘리는 것만으로 되지 않는다. 표준 어텐션 메커니즘의 계산 복잡도는 시퀀스 길이의 제곱에 비례하기 때문에, 컨텍스트가 길어질수록 메모리·연산 비용이 기하급수적으로 증가한다.
Flash Attention은 GPU의 고속 SRAM과 저속 HBM(High Bandwidth Memory) 사이의 메모리 이동을 최소화하는 타일링(Tiling) 기법으로, 표준 어텐션 대비 메모리 사용량을 O(n)으로 줄이고 속도를 크게 높인다. Flash Attention 2·3로 이어지는 최적화는 현재 대부분의 대형 모델 학습·추론의 표준이 됐다. Ring Attention은 멀티-GPU 환경에서 긴 시퀀스를 여러 장치에 분할해 각 디바이스가 자신의 청크(Chunk)에 대한 어텐션을 계산하고, 링(Ring) 형태의 통신 패턴으로 KV(Key-Value) 캐시를 교환한다. 단일 GPU의 메모리 한계를 넘어서는 초장문 시퀀스 처리가 가능해지는 구조다.
KV 캐시는 이전에 계산한 토큰의 Key·Value 행렬을 메모리에 보관해 중복 계산을 피하는 메커니즘이며, 컨텍스트가 길어질수록 차지하는 메모리가 선형적으로 늘어난다. GLM-5.1은 이를 세 가지 방식으로 완화한다. Grouped Query Attention(GQA)은 여러 쿼리 헤드가 하나의 KV 헤드를 공유해 Multi-Head Attention 대비 KV 캐시 크기를 헤드 그룹 수만큼 줄인다 — Llama 2·3, Mistral, Gemma 등 최신 오픈소스 모델이 공통으로 채택한 기법이다. Sliding Window Attention은 모든 토큰이 전체 컨텍스트에 어텐션하는 대신 고정 크기 윈도우 내 인접 토큰에만 어텐션하고, 장거리 의존성이 필요한 일부 레이어에서만 전역 어텐션을 병행해 메모리 사용량이 시퀀스 길이에 비례하지 않도록 제한한다.
벤치마크 경쟁력이 상용 대안이 되는 조건
GLM-5.1의 SWE-Bench Pro 성과는 오픈소스 LLM이 특정 도메인에서 상용 프런티어 모델과 동등하거나 그 이상일 수 있다는 사례이지만, 해석에는 몇 가지 맥락이 필요하다. 벤치마크 성능이 실제 프로덕션 성능을 그대로 반영하지는 않는다 — SWE-Bench Pro의 문제 유형이나 평가 방식에 최적화된 모델이 벤치마크에서는 높은 점수를 받아도 다양한 실제 시나리오에서는 다른 결과를 보일 수 있다. 754B 파라미터 모델의 실용적 배포도 여전히 상당한 인프라 투자를 요구한다. MoE로 활성화 파라미터를 줄였다 해도 전체 모델을 로드할 GPU 클러스터와 메모리는 일반 기업이 단독으로 감당하기 어려운 수준이다.
오픈소스 LLM이 상용 API 대비 비용 이점을 실현하는 조건은 사용 규모에 크게 의존한다. 낮은 트래픽에서는 GPU 클러스터 운영 비용이 API 과금보다 높을 수 있지만, 대규모 트래픽에서는 월정액 인프라 비용이 토큰 기반 과금보다 현저히 낮아진다. GLM-5.1의 MoE 구조는 이 비용 방정식을 유리하게 만든다 — 활성화 파라미터가 전체의 일부라 동급 성능의 밀집 모델보다 추론당 연산량이 적고, FLOP 기준으로 같은 하드웨어에서 더 높은 처리량을 낼 수 있다.
Z.ai가 글로벌 시장을 겨냥해 이 모델을 오픈소스로 공개한 전략도 눈여겨볼 만하다. 홍콩거래소 상장 기업으로서 글로벌 투자자에게 기술 신뢰성을 입증하는 동시에 오픈소스 커뮤니티를 통한 생태계 구축을 함께 노리는 방식이다. Llama 시리즈에 대한 Meta의 전략과 유사하게, 오픈소스 모델이 상용 클라우드 API 서비스의 보완재가 되는 구조를 의도한다.
202,752 토큰의 컨텍스트 윈도우는 SWE-Bench Pro 성능과 직접 연결된다. 대형 코드베이스의 여러 파일을 동시에 컨텍스트에 담을 수 있어, 에이전트가 결함 지역화 단계에서 더 넓은 범위를 탐색할 수 있다. 기존 32K·64K 토큰 제한 모델은 저장소 탐색을 반복적인 도구 호출로 쪼개야 했고, 그 과정에서 중요한 문맥이 컨텍스트 밖으로 밀려나거나 이전 탐색 결과를 잊어버려 같은 파일을 반복 조회하는 비효율이 생겼다. 다만 긴 컨텍스트 모델에는 컨텍스트 중간 부분의 정보를 잘 활용하지 못하는 "Lost in the Middle" 문제가 알려져 있다. GLM-5.1이 이를 어떻게 완화했는지는 기술 보고서의 추가 분석이 필요하지만, SWE-Bench Pro 성과 자체가 장문 컨텍스트 활용 능력을 어느 정도 입증한다.
오픈소스와 상용 진영이 좁혀지는 배경
GPT-4가 2023년 초 공개된 이후 오픈소스 모델이 프런티어 성능에 도달하는 속도가 예상을 크게 앞서고 있다. GLM-5.1 이전에도 Meta의 Llama 3.1·3.2·3.3, Mistral의 Mistral Large 2, DeepSeek의 DeepSeek-V3·R1이 각기 다른 평가 기준에서 상용 프런티어 모델에 근접하거나 초과하는 성능을 보였다. 이 수렴에는 몇 가지 배경이 있다. 대형 모델 학습 레시피가 점차 공개 문헌을 통해 표준화되고 있다 — Chinchilla 스케일링 법칙, RLHF, DPO, Constitutional AI 같은 핵심 기법이 학계에 공개돼 충분한 컴퓨팅을 가진 팀이라면 유사한 결과를 재현할 수 있다. 오픈소스 커뮤니티가 만드는 고품질 데이터셋과 파인튜닝 기법도 누적되고 있고, vLLM·SGLang·TensorRT-LLM 같은 추론 최적화 인프라가 오픈소스로 공개되면서 배포 효율도 상향 평준화되고 있다.
Z.ai는 중국 AI 기업 중 홍콩거래소 상장을 통해 글로벌 자본 시장에 직접 접근한 보기 드문 사례다. GLM 시리즈의 오픈소스 전략은 Hugging Face를 통한 글로벌 연구자·개발자 커뮤니티 확보를 목표로 하며, 상용 API와 오픈소스 모델을 병행 제공해 비용 민감 사용자는 자체 배포를, 편의성 우선 사용자는 API를 선택하는 이중 시장을 겨냥한다. SWE-Bench Pro에서의 성과는 단순한 기술 홍보를 넘어, GitHub Copilot·Cursor·Devin 같은 상용 코드 에이전트와의 경쟁에서 기반 모델 성능이 핵심 차별점으로 작용하는 소프트웨어 개발 자동화 시장 포지셔닝과 직결된다.
Z.ai GLM-5.1의 SWE-Bench Pro 성과는 오픈소스 LLM이 소프트웨어 엔지니어링 자동화라는 구체적 도메인에서 상용 프런티어 모델의 대안이 될 수 있다는 증거를 처음으로 명확하게 제시했다. 754B MoE 아키텍처와 202,752 토큰 컨텍스트 윈도우는 에이전트 실행 파이프라인이 요구하는 문맥 처리와 추론 일관성을 충족하는 수준에 도달했다. 다만 벤치마크 성능과 실제 프로덕션 적합성 사이의 간극, 초대형 모델의 배포 인프라 요건, 벤치마크 특화 최적화 가능성은 여전히 비판적으로 검토해야 할 부분이다. 오픈소스와 상용 프런티어 모델의 수렴 속도가 계속 빨라지는 가운데, 조직의 선택 기준은 순수 성능 지표보다 총소유비용·데이터 통제권·커스터마이즈 가능성의 조합이 될 것이다.