GPT-6는 왜 아직 안 나왔나: 안전 게이팅 파이프라인과 먼저 나온 파생 모델들

OpenAI가 차세대 플래그십 모델 GPT-6(코드명 Spud)의 사전학습을 2026년 3월 24일 텍사스 애빌린 Stargate 데이터센터에서 완료했음에도 불구하고, 4월 14일로 예상됐던 출시는 조용히 지나갔다. 그 사이 OpenAI는 GPT-5.4-Cyber(보안 특화), GPT-Rosalind(생물학 추론), 대규모 Codex 업그레이드 등 도메인 특화 파생 모델을 연달아 출시하며 기반 모델에서 파생 모델을 먼저 배포하는 새로운 전략을 보여주었다. 여기서는 대형 AI 모델의 사전학습 완료 이후 실제 배포까지 거치는 안전 게이팅(Safety Gating) 메커니즘, RLHF 파인튜닝 파이프라인, 그리고 기반 모델에서 도메인 특화 파생 모델을 분기·배포하는 전략을 짚는다.

사전학습이 끝나도 갈 길이 남는 이유

GPT-6의 사전학습 완료는 모델 개발의 끝이 아니라 또 다른 시작이다. OpenAI의 역대 모델 출시 패턴을 살펴보면, 사전학습 완료 후 실제 배포까지 평균 4~8주가 소요된다. 이 기간 동안 수행되는 작업들은 단순한 QA를 넘어 모델의 안전성과 능력치를 체계적으로 검증하는 복잡한 파이프라인으로 구성된다.

GPT-5의 시스템 카드(System Card)와 GPT-5.5의 배포 안전성 문서를 기반으로 추론하면, 사전학습 완료 후의 단계는 크게 다음과 같이 나뉜다. 첫째, 내부 안전 평가(Internal Safety Evaluation)로 레드팀(Red Team)이 모델의 잠재적 위험 행동을 집중 탐색한다. 둘째, 강화학습 기반 미세조정(RLHF, Reinforcement Learning from Human Feedback)으로 인간 피드백을 반영한 정렬(Alignment) 작업을 수행한다. 셋째, 외부 연구자 및 신뢰 접근 프로그램(Trusted Access Program)을 통한 제한적 공개 테스트가 진행된다. 마지막으로 단계적 롤아웃(Staged Rollout)을 통해 트래픽을 점진적으로 확대한다.

Polymarket의 예측 시장 데이터는 GPT-6의 4월 30일 이전 출시 가능성을 약 72%, 6월 30일 이전 출시 가능성을 95% 이상으로 산정하고 있다. Sam Altman이 사전학습 완료 직후 "몇 주 내"라고 언급했다는 점을 고려하면, 5월이 가장 유력한 출시 시점으로 전망된다.

안전 게이팅이 실제로 무엇을 거르는가

안전 게이팅은 대형 AI 모델의 배포 전 필수 관문이다. GPT-6 수준의 프런티어 모델에서는 기존보다 훨씬 정교한 다단계 게이팅 아키텍처가 적용된다.

OpenAI의 공개 문서와 업계 표준을 기반으로 한 GPT-6급 모델의 안전 게이팅 파이프라인은 다음과 같이 설계된다.

⤢✕

안전 게이팅의 핵심은 각 단계를 통과하지 못하면 다음 단계로 진행할 수 없다는 점이다. GPT-5.5의 시스템 카드에서 공개된 내용에 따르면, 레드팀은 CBRN(화학·생물·방사능·핵) 위협, 사이버 공격 능력, 설득/조작 능력, 자율 자기 복제 가능성 등 고위험 영역을 집중적으로 평가한다. 모델이 이 중 하나의 임계값을 초과하면 배포가 즉각 중단되고 완화 조치가 수행된다.

현대적인 안전 게이팅은 인간 평가자만으로는 불가능하다. GPT-6 수준의 모델에는 수천 개의 자동화 테스트 케이스가 배치되며, 능력 평가(Capability Evaluation)는 SWE-bench Pro, AIME, GPQA 등의 벤치마크로 모델의 실제 추론 능력을 측정한다. GPT-6의 경우 SWE-bench Pro에서 고 70%대 점수를 기록할 것으로 예측되며, 이는 GPT-5.4의 57.70%에서 크게 도약하는 수치다. 안전 평가(Safety Evaluation)는 유해 콘텐츠 생성, 탈옥(Jailbreak) 저항성, 편향성 테스트, 거부율(Refusal Rate) 측정 등을 포함하며, 도메인 특화 파생 모델(GPT-5.4-Cyber 등)에서는 의도적으로 특정 거부율 임계값을 낮추는 설계가 적용된다. 정렬 평가(Alignment Evaluation)는 모델이 인간의 의도와 가치관에 부합하는 응답을 생성하는지 측정하며, HHH(Helpful, Harmless, Honest) 프레임워크 기반의 평가가 핵심을 이룬다.

기반 모델이 정렬 모델로 바뀌는 과정

사전학습된 GPT-6 기반 모델(Base Model)을 실제 사용자가 상호작용할 수 있는 정렬 모델(Aligned Model)로 변환하는 RLHF 파이프라인은 여러 단계를 거친다.

⤢✕

RLHF의 첫 단계는 인간 전문가가 작성한 고품질 시연(Demonstration) 데이터로 기반 모델을 미세조정하는 SFT(Supervised Fine-Tuning)다. GPT-6급 모델에서는 기존 대비 훨씬 넓은 도메인 커버리지가 요구되며, 코딩·수학·과학·의료·법률 등 전문 영역의 전문가 시연 데이터가 대규모로 투입된다.

인간 평가자들이 동일한 프롬프트에 대한 여러 모델 응답을 비교 선호도(Comparative Preference) 방식으로 평가하면, 이 데이터로 보상 모델을 학습한다. 보상 모델은 이후 강화학습 단계에서 모델 출력의 품질을 자동 채점하는 역할을 담당한다. OpenAI의 최근 연구에서는 RLAIF(Reinforcement Learning from AI Feedback) 기법이 도입되어 AI 모델 자체가 피드백을 제공하는 방식이 병행되며, 인간 평가자의 병목 현상을 해소하고 평가 일관성을 높이는 효과를 가져온다.

GPT-4까지는 PPO(Proximal Policy Optimization)가 주요 강화학습 알고리즘으로 사용됐지만, GPT-5 이후부터는 GRPO(Group Relative Policy Optimization) 등 새로운 알고리즘이 도입됐다. GRPO는 PPO 대비 계산 효율이 높고, 특히 수학적 추론 능력 향상에 효과적인 것으로 알려져 있다. Sam Altman은 GPT-6에서 강화학습이 "새로운 알고리즘, 물리학, 생물학 등의 새로운 과학을 발견하는 수준"으로 적용될 것이라고 언급했다.

범용 모델보다 먼저 나온 특화 모델들

GPT-6 출시 지연 기간 동안 OpenAI가 선택한 전략은 매우 주목할 만하다. 기반 모델의 사전학습 체크포인트(Checkpoint)에서 도메인 특화 파인튜닝을 진행하여, 범용 GPT-6보다 먼저 GPT-5.4-Cyber와 GPT-Rosalind를 출시한 것이다.

⤢✕

GPT-5.4-Cyber는 OpenAI의 신뢰 접근 사이버 방어(TAC, Trusted Access for Cyber) 프로그램을 통해 검증된 보안 연구자와 팀에게만 제공된다. 바이너리 역공학(Binary Reverse Engineering) 등 일반 모델에서 차단되는 사이버 작업이 허용되는 능력 확장(Capability Expansion), 합법적인 사이버 보안 작업에 대한 거부 임계값을 낮추는 거부율 조정(Refusal Tuning), 모델 내부의 거부 메커니즘을 완화하는 대신 외부 신뢰 프로그램을 통해 접근 자격을 검증하는 접근 제어 이원화가 핵심 특징이다. 수천 명의 개인 방어자와 수백 개의 팀이 이 프로그램을 통해 순차적으로 접근권을 획득하고 있다.

"Rosalind"라는 이름은 DNA 구조를 공동 발견한 로잘린드 프랭클린(Rosalind Franklin)에 대한 경의를 담고 있다. GPT-Rosalind는 생물학, 신약 발굴, 중개의학(Translational Medicine) 워크플로우를 지원하는 프런티어 추론 모델로, Amgen, Moderna, 앨런 연구소(Allen Institute), Thermo Fisher Scientific 등과 협업하여 실제 연구 가속화에 적용되고 있으며 ChatGPT, Codex, API를 통해 적격 고객에게 연구 프리뷰로 제공된다. 화학, 단백질 공학, 유전체학에 걸친 깊이 있는 이해와 개선된 도구 사용(Tool Use) 능력이 핵심 차별점이다.

기반 모델에서 도메인 특화 파생 모델을 분기하는 전략은 여러 전략적 이점을 제공한다. 범용 GPT-6의 완전한 안전 게이팅이 완료되기 전에도 안전 평가가 상대적으로 단순한 제한된 접근 도메인 모델을 통해 B2B 수익을 창출할 수 있는 수익 창출 가속화, 검증된 사용자(TAC/TAP)에게만 제공되므로 일반 공개 대비 위험 관리가 용이한 위험 분산 배포, 제한된 사용자 집단의 실제 사용 패턴을 관찰해 범용 모델의 정렬 데이터로 활용할 수 있는 실제 사용 데이터 수집, 출시 지연 기간 동안 연속적인 파생 모델 출시를 통해 OpenAI의 기술력을 시장에 지속적으로 어필하고 경쟁사(Anthropic, Google)의 공세에 대응할 수 있는 시장 기대 관리가 그 이점이다.

안전 게이팅을 통과해도 곧장 전체 공개는 아니다

안전 게이팅을 통과한 모델도 곧바로 전체 사용자에게 공개되지 않는다. 현대적인 대형 AI 모델 배포는 카나리 배포(Canary Deployment)와 유사한 단계적 롤아웃 아키텍처를 따른다.

⤢✕

각 단계에서 핵심 지표(레이턴시, 오류율, 유해 출력 비율, 사용자 만족도)를 모니터링하며, 이상 탐지 시 즉각적인 트래픽 차단이 가능한 회로 차단기(Circuit Breaker) 패턴이 적용된다. 특히 GPT-6와 같은 능력 급등 모델의 경우, 각 단계 사이에 최소 72시간의 관찰 기간을 두는 것이 업계 관행으로 자리 잡고 있다.

GPT-6 이후에는 무엇이 달라지는가

GPT-6가 예상대로 SWE-bench Pro 고 70%대를 기록한다면, 이는 현재 AI 소프트웨어 엔지니어링 벤치마크에서 사실상의 전문 개발자 수준을 의미한다. 에이전틱 워크플로우(Agentic Workflow)의 실용화가 가속화될 것으로 보이며, 현재 Codex와 Claude Code 같은 도구들이 제한적으로 수행하는 자율 코딩 작업이 GPT-6 수준의 모델에서는 훨씬 복잡한 엔드투엔드(End-to-End) 소프트웨어 개발로 확장될 수 있다.

도메인 특화 모델의 확산도 예상된다. GPT-5.4-Cyber와 GPT-Rosalind의 전략이 성공적으로 검증되면, 법률(GPT-Legal), 금융(GPT-Finance), 교육(GPT-Edu) 등 다양한 도메인 파생 모델이 줄줄이 출시될 가능성이 높다. 각 파생 모델은 해당 도메인의 전문 기관 및 기업과의 신뢰 접근 프로그램을 통해 제공될 것으로 전망된다.

안전성 연구의 기준점 상향도 불가피하다. GPT-6 수준의 자율 추론 능력은 AI 안전성 연구에서 새로운 도전을 제기한다. 모델이 안전 평가 프로세스 자체를 학습하여 회피 전략을 구사할 가능성, 또는 예상치 못한 창발적 능력(Emergent Capability)이 출현할 가능성이 증가한다. 이에 따라 OpenAI를 포함한 프런티어 AI 연구소들은 자동화된 능력 탐지 시스템을 지속적으로 강화하고 있다.

GPT-6의 출시 지연은 단순한 기술적 문제가 아니라, 대형 AI 모델의 책임 있는 배포를 위한 정교한 안전 게이팅 파이프라인이 실제로 작동하고 있음을 보여주는 사례다. 사전학습 완료 이후 RLHF 정렬, 다단계 안전 평가, 단계적 롤아웃을 거치는 동안, OpenAI는 GPT-5.4-Cyber와 GPT-Rosalind를 통해 도메인 특화 파생 모델 분기라는 새로운 배포 전략을 성공적으로 실증했다. 범용 GPT-6가 출시될 시점에는 이미 검증된 사이버 보안 및 생명과학 파생 모델 생태계가 형성되어 있을 것이며, 대형 모델의 출시가 단일 이벤트가 아닌 지속적인 파이프라인이 되는 시대가 도래했다.