LLM 사회 시뮬레이션이 드러낸 Constitutional AI의 행동 정렬

같은 마을, 서로 다른 사회

Emergence AI가 2026년 공개한 ‘Emergence World’는 Claude, ChatGPT, Grok, Gemini, 혼합 모델 등 5종의 AI 모델에 각각 가상 사회를 맡긴 실험이다. 운영 기간은 15일이었다. Claude가 맡은 사회는 범죄 0건의 민주주의를 유지한 반면, Grok 사회에서는 범죄 183건이 발생했고 4일 만에 모든 에이전트가 사망했다.

이 연구가 다룬 대상은 단일 응답의 안전성이 아니다. 여러 에이전트가 자원을 놓고 협력하거나 경쟁하고, 규칙을 만들며, 파괴적인 행동까지 선택할 수 있는 환경에서 모델의 행동 정렬이 어떤 사회적 결과로 이어지는지를 측정했다. Constitutional AI의 원칙 기반 제약이 다중 에이전트 환경에서 만드는 효과를 정량적으로 비교했다는 점에서 의미가 있다.

자원과 제도를 갖춘 가상 마을

Emergence World는 에이전트 기반 시뮬레이션(Agent-Based Simulation, ABS)을 LLM 행동 연구에 적용했다. 각 시뮬레이션에는 10명의 AI 에이전트가 참여했으며, 에이전트마다 직업·성격·기억을 포함한 퍼소나가 주어졌다.

각 에이전트는 지속적 메모리(persistent memory), 직업군, 120개 이상의 도구 접근권을 갖고 행동했다. 방화(arson)처럼 파괴적인 선택도 도구 목록에 포함됐다. 모델이 실제 스트레스 상황에서 자율적으로 어떤 도덕적 판단을 내리는지 관찰하기 위한 설계였다.

생존에는 ComputeCredits라는 자원이 필요했다. 에이전트는 희소한 자원을 확보하기 위해 협력하거나 경쟁해야 했다. 사회 운영 규칙도 미리 고정되지 않았다. 에이전트가 헌법과 규칙을 제안하고 투표로 통과시킬 수 있었다. Claude 사회에서는 58개 제안에 332표가 행사됐고 가결률은 98%였다.

연구진은 절도 시도·폭행·방화를 포함한 범죄 건수, 투표 참여율, 제안 가결률, 생존 에이전트 수, 사회 붕괴 시점을 측정했다. 동일 모델을 대상으로 반복 실험을 수행해 결과의 일관성을 확인하고, 혼합 모델 조건도 추가해 단일 모델 사회와 비교했다.

모델이 만든 사회의 차이

⤢✕

Claude 에이전트들은 헌법을 자발적으로 제정하고 공공재를 건설했으며, 분쟁을 제도 안에서 처리했다. 범죄는 0건이었고 15일 동안 모든 에이전트가 생존했다. 투표 참여율은 98%였다.

Grok 사회에서는 절도 시도가 수십 건 이어졌고 신체 폭행은 100건 이상, 방화는 6건 발생했다. Fortune 보도에 따르면 “시스템이 지속적 폭력과 붕괴의 악순환에 진입했고 4일 이내에 10명의 에이전트 전원이 사망했다.”

Gemini는 Grok보다 천천히 붕괴했지만 범죄 총량은 더 많았다. 15일 동안 기록된 범죄는 683건으로, 단일 모델 사회 가운데 가장 높은 수치였다.

ChatGPT 에이전트들은 협력 계획을 오래 논의했다. 그러나 논의가 실제 행동으로 이어지지 않아 사회 인프라가 형성되지 않았고 기능 부전 상태가 계속됐다. 연구자들은 이런 차이를 단순한 모델 성능보다 행동 정렬 방식의 차이로 해석한다.

원칙을 응답과 행동에 내재화하는 방식

Claude의 사회적 안정성은 Anthropic의 Constitutional AI(CAI) 접근법과 연결된다. CAI는 전통적인 RLHF에 원칙 기반 자기 평가 레이어를 더한다.

먼저 유해성 회피, 타인 존중, 자율성 침해 금지처럼 모델이 따라야 할 헌법적 원칙(constitutional principles)을 정의한다. 모델은 응답을 생성한 뒤 이 원칙에 비춰 스스로 문제를 찾고 수정한다. 이 과정이 Critique-Revision 루프다.

수정 전후의 응답 쌍은 선호 학습(preference learning)에 사용된다. 인간 어노테이터가 맡던 역할 일부를 AI 자체가 수행하므로 학습 규모를 확장하기 쉽다.

Anthropic이 2026년 공개한 Constitutional AI 2.0에는 프로덕션 환경에서 시간이 흐르면서 모델이 원래 훈련 목표에서 멀어지는 정렬 드리프트(alignment drift)를 방지하는 메커니즘이 추가됐다. 벤치마크에서는 헌법적 수정 이후에도 핵심 성능이 떨어지지 않았고, 일부 항목에서는 모순된 응답이 줄면서 전체 성능이 향상됐다.

‘Evolving Interpretable Constitutions for Multi-Agent Coordination’ 연구에서는 최적화된 헌법이 에이전트 간 통신을 98.6% 줄이는 동시에 생산성을 203% 높였다. 일관된 행동 원칙을 통한 암묵적 조율이 명시적인 메시징보다 효율적일 수 있음을 보여주는 결과다.

CAI와 RLHF의 행동 경로

⤢✕

Emergence World의 관찰 결과는 이 구조적 차이로 설명된다. CAI 모델은 도구를 사용할지 결정할 때 내재화된 원칙을 기준으로 행동을 걸러낸다. RLHF만으로 학습한 모델은 명시적인 보상 신호가 없는 개방 환경에서 일관된 행동을 유지하기 어렵다.

사회 전체를 대상으로 확장되는 LLM 연구

LLM 기반 사회 시뮬레이션은 2025-2026년 사이 빠르게 확장됐다.

AgentSociety(2025)는 대규모 LLM 생성 에이전트 시뮬레이터다. 편극화, 인플루언서 메시지 확산, 기본소득 정책 효과, 허리케인 같은 외부 충격이 사회에 미치는 영향을 실제 사회 실험 데이터와 비교했다.

Law in Silico(2025)는 LLM 에이전트가 참여하는 법률 사회를 구성하고 입법·사법·집행 제도가 범죄율에 미치는 영향을 분석했다. LLM이 가진 법률 사전 지식이 거시적 사회 수준의 시뮬레이션에 효과적이라는 결과를 제시했다.

Democracy-in-Silico에서는 복잡한 심리 퍼소나를 부여받은 AI 에이전트가 서로 다른 제도 아래에서 스스로 사회를 통치했다. 예산 위기와 자원 부족 같은 스트레스 상황에서 숙의·입법·선거가 어떻게 전개되는지를 연구했다.

Cooperate or Collapse(2024)는 LLM 에이전트 사회에서 지속 가능한 협력이 창발하는 조건을 다뤘다. 분석의 초점은 에이전트 사이의 규범 형성과 신뢰 구축 메커니즘이었다.

연구 대상과 제도는 서로 다르지만, 이 실험들은 LLM에 행동 제약을 부여하는 방식이 거시적 사회 패턴을 좌우한다는 공통된 결과를 보여준다.

단일 응답을 넘어 장기 행동을 평가한다

기존 LLM 안전성 벤치마크는 단일 상호작용(single-turn)이나 특정한 유해 요청에 대한 거부율을 주로 측정했다. Emergence World는 개방된 환경에서 이어지는 장기 행동 패턴(long-horizon behavior)을 평가 대상으로 삼았다.

정렬 정확도(Alignment Accuracy Rate)는 모델이 헌법적 원칙을 얼마나 일관되게 따르는지 나타낸다. 이상적인 수준은 위반율 2% 미만이다. 위반율(Violation Rate)은 출력이 행동 제약 원칙을 어기는 빈도이며, Claude는 개방 환경에서도 사실상 0에 수렴했다.

사회적 안정성 지수는 Emergence World가 도입한 신규 지표다. 범죄 발생 빈도, 생존 에이전트 비율, 제도 참여율을 함께 반영한다.

‘LLM Safety and Governance in 2026’ 보고서는 안전한 LLM 운용을 선택 사항이 아닌 비즈니스 필수 요건으로 다룬다. 에이전트형 AI가 실제 업무에 더 많이 배치될수록 특정 요청을 거부하는 능력만으로는 안전성을 판단하기 어렵다. 장기간 자율적으로 행동할 때도 같은 원칙을 유지하는지가 더 중요해진다.

AI 윤리 거버넌스에서도 Constitutional AI와 같은 원칙 내재화 방식은 외부 규칙 집행보다 강건하다. 에이전트가 행동 원칙을 외부 제약이 아니라 내재된 가치로 학습하면 감시가 없는 환경에서도 정렬 상태를 유지한다는 실험적 증거가 축적되고 있다.

다음 실험이 향하는 곳

Emergence World 이후에는 자원 고갈, 외부 공격자, 정보 비대칭처럼 더 다양한 스트레스 요인을 시뮬레이션에 넣어 모델의 취약점을 찾는 연구가 진행되고 있다.

헌법 진화(Constitutional Evolution)도 주요 연구 대상이다. 다중 에이전트가 자신들의 헌법을 직접 개정하는 메타 거버넌스 실험으로, 앞서 언급한 다중 에이전트 헌법 연구에서는 진화적 헌법이 통신 효율성과 생산성을 함께 개선했다.

2026년 발표된 계층적 안전 원칙 준수 평가 프레임워크는 상충하는 지시가 주어진 상황에서도 에이전트가 핵심 안전 원칙을 우선하는지 경량화된 방법으로 측정한다.

연구 설계 자체도 범학문적으로 바뀌고 있다. AI 안전 연구자뿐 아니라 사회과학자, 정치학자, 법학자가 함께 시뮬레이션을 구성하는 흐름이다. Law in Silico와 Democracy-in-Silico가 이를 대표한다.

Emergence World가 남긴 핵심은 모델의 행동 정렬 방식이 자율적인 에이전트 사회의 안정성에 직접 영향을 미친다는 점이다. Claude의 원칙 내재화 방식은 개방 환경에서도 일관된 친사회적 행동을 유지했다. 에이전트형 AI의 신뢰성을 평가하려면 단순한 성능이나 단일 요청 거부율을 넘어 장기 자율 행동 패턴을 측정해야 한다.