규칙을 외우게 하지 않고 이유를 가르쳤더니, 못 본 상황에서도 대응했다

Constitutional AI의 발전 과정

Anthropic이 행동 규칙 목록 대신 행동의 이유를 모델에 직접 학습시키는 정렬 훈련 방식을 발표했다. 2026년 1월 21일 공개된 23,000단어 분량의 확장 헌법(Constitution)은 "하지 말아야 할 것" 목록 대신 각 원칙의 근거와 윤리적 맥락을 서술한다. 200개 이상의 원칙을 내재화한 Claude 4.5는 순수 RLHF 대비 유해 출력 40% 감소를 달성했으며, 이 접근 방식은 고정된 규칙 기반 시스템이 다루지 못하는 새로운 상황에서도 모델이 원칙에 입각한 추론을 수행하도록 한다는 점에서 AI 정렬 연구의 중요한 전환점으로 평가된다.

Constitutional AI(CAI)는 2022년 Anthropic이 처음 발표한 정렬 훈련 방법론이다. 기존 RLHF(Reinforcement Learning from Human Feedback)가 인간 평가자의 선호 레이블에 의존하는 것과 달리, CAI는 모델이 스스로 원칙에 따라 응답을 비판하고 수정하는 자기 수정(self-revision) 루프를 핵심으로 한다.

**초기 CAI(2022)**는 비교적 단순한 원칙 목록("harmful하지 않게", "정직하게")을 사용했다. 모델이 초안 응답을 생성한 뒤 헌법 조항을 참조해 스스로 비판하고 재작성하는 SL-CAI(Supervised Learning CAI)와 이를 강화 학습으로 확장한 RLAIF(RL from AI Feedback) 두 단계로 구성됐다.

**Constitutional AI 2.0(2025~2026)**은 세 가지 측면에서 진화했다. 첫째, 헌법 규모가 200개 이상 원칙으로 확장됐다. 둘째, 각 원칙에 이유(rationale)가 명시적으로 포함됐다. 셋째, 동적 헌법(Dynamic Constitution) 개념이 도입되어 배포 컨텍스트에 따라 적용되는 원칙 집합이 자동으로 조정된다. 자동화된 피드백 루프에서 모델이 헌법의 모호성을 식별하고 수정안을 제안하는 헌법 자기 개선(Constitution Self-Improvement) 메커니즘도 포함된다.

Constitutional AI 정렬 훈련 아키텍처

CAI 훈련 파이프라인은 크게 SL 단계와 RL 단계로 나뉜다.

⤢✕

**크리틱 모델(Constitutional Critic)**은 헌법 조항을 컨텍스트로 받아 응답에서 원칙 위반을 탐지한다. 단순히 "이 응답은 유해하다"가 아닌 "이 응답은 원칙 #47(사용자 자율성 존중)을 위반한다. 이유는 X이다"처럼 원칙 참조와 이유를 함께 생성한다.

**자기 수정 루프(Self-Revision Loop)**는 크리틱 출력을 입력으로 받아 수정된 응답을 생성하고 다시 크리틱에 투입한다. 이 반복 과정이 수렴할 때까지 진행되며, 최종 응답 쌍(원본·수정본)이 RLAIF 보상 모델 훈련 데이터가 된다.

**RLAIF(RL from AI Feedback)**는 인간 대신 AI 크리틱이 선호 레이블을 생성한다는 점에서 RLHF와 구분된다. 대규모 레이블링 비용을 줄이면서도 일관된 원칙 적용이 가능하다. 보상 모델 훈련 후 PPO(Proximal Policy Optimization) 또는 DPO(Direct Preference Optimization)로 정책 모델을 업데이트한다.

행동 이유 학습의 핵심 메커니즘

Constitutional AI 2.0의 가장 중요한 혁신은 모델이 규칙이 아닌 규칙의 이유를 학습한다는 점이다.

기존 RLHF 방식에서는 "인종 차별적 발언을 하지 말라"는 레이블 신호로 학습하면 모델은 해당 패턴을 회피하는 법을 배운다. 그러나 완전히 새로운 형태의 차별적 언어가 등장하면 기존 학습이 일반화되지 않는다.

Constitutional AI 2.0에서는 "인간의 존엄성은 왜 중요한가", "언어가 사회적 해악을 어떻게 야기하는가"를 모델이 내면화하도록 훈련한다. 결과적으로 모델은 이전에 학습하지 않은 새로운 상황에서도 원칙에 입각한 추론으로 적절한 응답을 도출할 수 있다.

⤢✕

Anthropic의 23,000단어 헌법 문서("soul document")는 이 접근 방식의 구체적 구현이다. 단순 행동 지침이 아닌 Claude가 왜 그렇게 행동해야 하는지의 철학적 근거를 서술한다.

AI 정렬 평가 방법론

Constitutional AI의 효과를 측정하기 위한 평가 방법론은 단일 지표로 정의하기 어렵다. 현재 업계에서 사용되는 주요 평가 축은 다음과 같다.

유해 출력 측정은 적대적 프롬프트(adversarial prompts) 집합에 대한 유해 응답 비율로 측정한다. Claude 4.5는 Constitutional AI 2.0 적용으로 순수 RLHF 대비 40% 감소를 달성했다. Anthropic의 Constitutional Classifiers는 2025년 도입 이후 300,000회 이상의 공격 시도에서 강화된 강건성을 보였다.

거짓말 탐지는 모델이 사실과 다른 정보를 얼마나 자주 확신에 차게 생성하는지(hallucination rate)와, 불확실한 상황에서 적절히 모름을 표현하는지로 평가한다.

안전성-유용성 균형은 AI 정렬에서 가장 어려운 트레이드오프다. 과도하게 안전한 모델은 정상적인 요청도 거부해 유용성이 떨어진다. Constitutional AI 2.0의 목표는 이 균형을 유지하면서 유해 출력을 줄이는 것이며, 정적 헌법 대비 동적 헌법 접근에서 정렬 실패 40% 감소가 유용성 저하 없이 달성됐다는 점이 주목할 만하다.

Constitutional Classifiers는 운영 환경에서 실시간 안전 필터 역할을 한다. 보호된 카테고리에 대한 범용 탈옥 시도를 방어하며 소수의 추가 비용만으로 강건성을 크게 향상시켰다.

LLM 안전 훈련 기법 비교

현재 주요 LLM 안전 훈련 기법의 특성을 비교하면 다음과 같다.

⤢✕

RLHF는 인간 평가자가 응답 쌍에 선호 레이블을 부여하고 보상 모델을 훈련한다. 인간 가치를 직접 반영하지만 레이블 비용이 높고 평가자 간 불일관성이 문제다. GPT 시리즈의 초기 정렬 방법론이다.

**DPO(Direct Preference Optimization)**는 보상 모델 없이 선호 쌍을 이용해 정책 모델을 직접 최적화한다. 훈련이 안정적이고 RLHF보다 효율적이나 정적 선호 데이터에 의존한다.

Constitutional AI는 크리틱 모델과 자기 수정 루프를 결합해 원칙 내면화를 달성한다. 새로운 상황에서도 일반화되는 것이 강점이나 헌법 설계와 크리틱 모델 품질이 결과를 좌우한다.

RLAIF는 AI 크리틱이 피드백을 생성해 대규모 확장이 가능하나 AI 편향이 증폭될 위험이 있다. Constitutional AI 2.0에서는 RLAIF를 CAI와 결합해 두 방법론의 장점을 통합했다.

기법	확장성	일관성	새 상황 일반화	비용
RLHF	낮음	중간	낮음	높음
DPO	중간	높음	낮음	중간
Constitutional AI	높음	높음	높음	중간
RLAIF	매우 높음	중간	중간	낮음

실무 적용 관점

Constitutional AI 2.0의 원칙은 자체 LLM 파인튜닝이나 AI 안전 평가 설계에도 활용 가능하다. 자체 모델을 구축하는 팀에서는 다음을 참고할 수 있다.

원칙 설계 시 단순 금지 목록보다 각 원칙의 이유와 목적을 명시하면 크리틱 모델의 품질이 향상된다. 에이전트 기반 크리틱 모델을 별도로 훈련해 주 모델 응답을 독립적으로 평가하도록 구성하면 자기 수정 루프를 구현할 수 있다. 안전성 평가 데이터셋을 구성할 때 단순 유해 콘텐츠 필터링뿐 아니라 새로운 패턴에 대한 일반화 능력도 측정 지표에 포함하는 것이 Constitutional AI 방법론에 부합한다.

Anthropic이 2025년 7월 EU 범용 AI 실천 강령(General-Purpose AI Code of Practice)에 서명한 것은 Constitutional AI 기반 정렬 훈련이 규제 적합성(compliance) 측면에서도 유효한 접근임을 시사한다.

규칙을 외우게 하지 않고 이유를 가르쳤더니, 못 본 상황에서도 대응했다 — Constitutional AI 2.0

Constitutional AI의 발전 과정

Constitutional AI 정렬 훈련 아키텍처

행동 이유 학습의 핵심 메커니즘

AI 정렬 평가 방법론

LLM 안전 훈련 기법 비교

실무 적용 관점

Sources

Constitutional AI의 발전 과정

Constitutional AI 정렬 훈련 아키텍처

행동 이유 학습의 핵심 메커니즘

AI 정렬 평가 방법론

LLM 안전 훈련 기법 비교

실무 적용 관점

Sources

함께 읽기