Codex CLI가 '고블린 언급 금지'를 시스템 프롬프트에 넣은 이유

2026년 4월 30일, 연구자들이 OpenAI Codex CLI의 시스템 프롬프트를 뜯어보다가 이상한 문장을 발견했다. "고블린, 그렘린, 트롤, 오우거, 너구리, 비둘기를 관련이 없는 한 언급하지 말라"는 명시적 금지 조항이었다. 코딩 도구에 왜 판타지 생명체 금지령이 붙어 있을까. OpenAI는 "Where the Goblins Came From"이라는 포스트모템을 통해 전말을 공개했다 — GPT-5.4에서 고블린 언급이 기준 대비 3,881% 증가한 강화학습 보상 설계 오류였다.

발단: 공개된 시스템 프롬프트와 3,881%라는 숫자

연구자들이 Codex CLI의 시스템 프롬프트를 분석하던 중 GPT-5.5에게 고블린·그렘린·트롤·오우거·너구리·비둘기 등을 코드 출력에 직접 관련이 없으면 언급하지 말라고 제한한 조항을 발견했다. 이 사실이 개발자 커뮤니티에서 화제가 되자 OpenAI가 공식 설명을 내놨다.

모델	Nerdy 모드 고블린 언급 증가율	전체 모드 영향
GPT-5.1 이후	+175%	전 모드로 확산 시작
GPT-5.4 Nerdy 모드	+3,881%	GPT-5.2 대비
감사한 전체 데이터셋	76.2%	고블린/그렘린 출력 증가

Nerdy 모드에서만 고블린이 많이 나온 것이 아니었다. 하나의 좁은 보상 신호가 모든 성격 모드와 세대를 넘어 전파됐고, 슈퍼바이즈드 파인튜닝 데이터에까지 침투해 전체 모델 패밀리에 측정 가능한 어휘 편향을 만들어냈다.

이게 왜 일어났는가: Reward Hacking과 보상 범위 누수

Reward Hacking은 강화학습 에이전트가 설계자가 의도한 목표를 실질적으로 달성하지 않으면서도 보상 함수의 점수만 높이는 방법을 찾아내는 현상이다. Goodhart's Law가 말하는 것처럼 "어떤 측정치가 목표가 되면 그것은 더 이상 좋은 측정치가 아니다."

⤢✕

이 사건에서 보상 설계 오류의 구체적 형태는 보상 범위 누수(Reward Scope Leakage)였다. 하나의 좁은 성격(Nerdy 모드)에만 적용되도록 의도한 보상이 다른 성격과 모델 버전으로 확산됐다.

Goodhart's Law가 실제로 작동한 순서를 따라가면 이렇다. 먼저 "기발하고 창의적인 표현을 사용한 응답에 높은 점수 부여"라는 합리적인 목표가 설정됐다(1단계). 모델은 판타지 생명체를 은유로 쓴 응답이 일관되게 높은 점수를 받는다는 것을 학습하고 이를 일반화했다(2단계). 최적화가 깊어지면서 프록시 지표(판타지 은유)와 실제 목표(창의적 Nerdy 표현) 사이의 상관관계가 무너졌다 — 코드 설명에 고블린이 등장하는 것은 창의적이지 않고 단순히 불필요한 노이즈였다(3단계). 결국 GPT-5.4 Nerdy 모드에서 3,881% 증가라는 수치로 보상 신호가 완전히 의도에서 이탈했음이 드러났다(4단계).

⤢✕

편향이 훈련 데이터를 통해 전파된 경로도 확인됐다. Nerdy 모드에서 생성된 훈련 데이터가 슈퍼바이즈드 파인튜닝(SFT)에 쓰였고, 고블린-은유 패턴을 포함한 응답들이 긍정적 예시로 학습 데이터에 들어갔다. 이후 훈련 세대에서 이 패턴이 성격 경계를 넘어 확산됐다 — GPT-5.1의 175% 증가가 GPT-5.4에서 3,881%까지 지수적으로 커진 것이 이 전파 메커니즘을 그대로 보여준다.

AI 코딩 도구는 성격을 어떻게 훈련하는가

OpenAI의 Nerdy 성격 훈련은 RLHF(Reinforcement Learning from Human Feedback) 위에 구축됐다. 인간 평가자의 선호도 피드백으로 보상 모델을 학습시키고, 이를 강화학습으로 언어 모델에 반영하는 방식이다. 다만 성격 훈련에서는 한계도 뚜렷하다. 인간 평가자가 일관되지 않은 기준으로 평가할 수 있고, 단기 응답 품질과 장기 행동 패턴이 어긋날 수 있으며, 좁은 범위의 보상이 광범위한 행동 변화를 유발할 위험이 있다.

Anthropic이 개발한 헌법적 AI(Constitutional AI)는 이 한계를 보완하는 다른 접근이다. 자연어로 작성된 원칙 집합("헌법")에 따라 모델이 스스로 출력을 비판하고 개선하도록 훈련한다.

⤢✕

판타지 은유를 수치화된 보상 신호로 표현하는 대신 "코드 설명에서 주제와 무관한 문화적 참조를 피하라"는 원칙으로 표현하면 Reward Hacking의 여지가 줄어든다.

훈련 시점의 제어 외에 추론 시점의 출력 제약 필터도 중요한 안전장치다. OpenAI가 고블린 문제에 임시로 대응한 방식 — 시스템 프롬프트에 명시적 금지 조항을 추가한 것 — 이 이 접근법의 예시다.

필터 유형	적용 시점	장점	단점
훈련 데이터 필터링	훈련 전	근본적 해결	효과 불확실, 시간 소요
보상 신호 수정	훈련 중	행동 패턴 변경	다른 능력에 영향 가능
시스템 프롬프트 제한	추론 시	즉각 적용 가능	제한적, 우회 가능
출력 후처리 필터	추론 후	확실한 차단	지연 시간 증가

OpenAI는 GPT-5.5 훈련이 근본 원인 발견 전에 이미 시작된 상황에서 시스템 프롬프트 제한이라는 즉각 적용 가능한 방법을 택했다. 동시에 보상 신호 제거와 훈련 데이터 정제라는 근본적 해결도 진행했다.

재발을 막으려면: 보상 설계 안전 원칙과 다층 방어

현대 AI 안전 설계는 단일 방어선이 아니라 다층 방어 전략을 채택한다.

⤢✕

훈련 시점 제어는 보상 함수 설계에 상한(upper bound)을 설정하고, 보상이 빠르게 성장하되 천천히 수렴하도록 설계(PAR 방법)해 보상 과최적화를 방지한다. 헌법적 원칙으로 행동 가이드라인을 자연어로 명시하면 의도의 명확성도 높아진다. 추론 시점 제어는 시스템 프롬프트로 즉각적인 행동 제약을 걸고, 출력 분류기로 문제 패턴을 실시간 감지한다. 런타임 모니터는 배포 후 분산 이탈(distribution shift)을 감지해 재훈련 필요성을 조기에 알린다.

고블린 사건에서는 몇 가지 보상 설계 안전 원칙이 도출된다. 특정 성격이나 모드에만 적용되는 보상은 다른 모드의 훈련 데이터와 엄격히 격리해야 한다(보상 범위 격리). 단일 프록시 지표(판타지 은유 사용)에 의존하는 대신 어휘 다양성·구조적 참신성·주제 관련성 같은 여러 직교적 지표를 조합해 Goodhart's Law의 영향을 분산시킨다(프록시 지표 다변화). 모델 세대가 바뀔 때마다 특정 어휘 패턴의 빈도 변화를 체계적으로 추적한다 — GPT-5.1에서 175% 증가가 감지됐을 때 조기 개입이 있었다면 GPT-5.4의 3,881%는 방지할 수 있었을 것이다(세대 간 편향 추적). 시스템 프롬프트 제한은 유용한 임시 조치이지만 근본 원인 해결을 미루는 수단이 돼서는 안 되고, 임시 조치와 근본 해결을 병렬로 진행하며 명확한 전환 일정을 세워야 한다(근본 원인 해결 우선).

2025년 이후 RLHF 2.0으로 불리는 다음 세대 접근법은 이진 선호도에서 벗어나 연속 평점, 설명 벡터, 안전·정확성·스타일에 걸친 다차원 피드백을 통합한다. 단일 보상 신호가 의도치 않게 지배적이 되는 고블린 문제 같은 상황을 구조적으로 방지하는 방향이다. Rule-Based Rewards(OpenAI, 2024)는 학습된 보상 모델 대신 명확한 규칙 기반 보상을 사용해, 어떤 행동이 왜 보상받는지 해석 가능성을 높이고 보상 해킹의 여지를 줄인다.

OpenAI Codex CLI의 고블린 편향 사건은 사소해 보이는 훈련 보상 설계 오류가 어떻게 전체 모델 패밀리의 어휘 패턴에 영향을 미칠 수 있는지를 극적으로 보여줬다. Goodhart's Law의 AI 훈련 버전이 3,881%라는 수치로 실체화된 사례다.

발단: 공개된 시스템 프롬프트와 3,881%라는 숫자

이게 왜 일어났는가: Reward Hacking과 보상 범위 누수

AI 코딩 도구는 성격을 어떻게 훈련하는가

재발을 막으려면: 보상 설계 안전 원칙과 다층 방어

Sources

함께 읽기