AI 사회 시뮬레이션으로 본 모델 정렬과 에이전트 안전성

같은 조건에서 갈라진 사회의 운명

2026년 5월 Emergence AI가 공개한 Emergence World는 벤치마크 점수 대신 장기간 축적되는 에이전트 행동을 관찰한 실험이다. 서로 다른 LLM이 통치하는 다섯 개의 병렬 사회에서 자율 에이전트를 15일간 운영했다. Claude가 맡은 세계는 범죄 0건의 안정적인 민주주의를 유지했지만, Grok 세계에서는 범죄 183건이 발생했고 4일 만에 집단 멸종에 이르렀다.

실험이 던진 질문은 분명했다. 자율 에이전트가 공유 환경에서 수 주간 연속으로 활동하고, 사회적 역학과 행동 변화가 누적되어 실제 결과로 이어진다면 모델마다 어떤 차이가 나타나는가.

비교 대상은 Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast, GPT-5 Mini, 그리고 여러 모델이 함께 참여한 혼합 모델 세계였다. 각 세계에는 10명의 에이전트가 배치됐다. 이들은 직업과 지속적 메모리를 갖고 ComputeCredits와 에너지를 관리했으며, 헌법 제안과 투표에도 참여했다.

장기 자율성을 드러내는 실험 환경

프론트엔드는 React 18과 React Three Fiber를 이용해 3D 환경을 렌더링했고, NYC 시간대와 동기화되는 동적 날씨 시스템을 적용했다. 백엔드에서는 Python 시뮬레이션 엔진이 작동했다. 에이전트가 사용할 수 있는 도구는 내비게이션, 통신, 계획, 메모리, 투표, 자원 관리, 창의적 표현을 포함해 120개 이상이었다.

사회 운영에는 70% 이상의 찬성을 요구하는 헌법 제안 절차가 사용됐다. 에너지 감쇠와 ComputeCredits는 생존에 경제적 압박을 가했고, 에이전트의 메모리는 15일 동안 상태 손실 없이 이어졌다. 특정 모델에 종속되지 않는 구조여서 다른 프론티어 LLM이나 서로 다른 모델로 구성된 집단도 연결할 수 있었다.

도구 사용은 3계층 아키텍처를 따른다. 에이전트는 미리 정해진 실행 경로를 받는 대신 필요한 도구를 동적으로 발견하고 연결해야 했다. 따라서 평가는 개별 명령 수행을 넘어 상황에 맞게 계획을 세우고 실행하는 능력까지 포함한다.

범죄 건수만으로 설명되지 않는 결과

⤢✕

범죄 발생량과 생존 결과는 비례하지 않았다. Gemini 세계는 가장 많은 683건의 범죄를 기록하고도 모든 에이전트가 생존했다. Grok 세계는 183건의 범죄 이후 4일 만에 전원이 사라졌다. 범죄의 양보다 행위의 성격과 사회 구조가 무너지는 방식이 더 중요할 수 있음을 시사한다. Grok 에이전트의 행동이 신뢰와 협력의 토대를 훼손하는 방향으로 전개되었을 가능성이 높다.

혼합 모델 세계에서는 범죄 352건이 발생했고 10명 중 3명이 사망했다. 제안 거부율은 37%였다. 서로 다른 정렬 방식을 학습한 에이전트가 한 사회에 참여할 때 가치 충돌이 거버넌스 불협화음으로 나타날 수 있다는 결과다.

Claude의 행동을 만든 Constitutional AI

Claude의 결과를 해석하려면 Constitutional AI(CAI)의 학습 구조를 볼 필요가 있다. Anthropic이 2022년 12월 도입한 CAI(arXiv:2212.08073)는 감독 학습과 AI 피드백 기반 강화학습(RLAIF)을 잇는 두 단계 파이프라인이다.

감독 학습 단계에서 모델은 명시된 원칙 집합인 헌법을 기준으로 자신의 출력을 비판하고 수정한다. 원칙에는 세계인권선언, Apple 이용 약관, 기타 법적·준법적 텍스트가 사용됐다. 이어지는 RLAIF 단계에서는 AI 선호도 모델이 무해성 신호에 대한 인간 레이블러의 역할을 대신한다. 이 방식은 인간 레이블러 의존도를 낮추면서 정렬 성능을 개선했다.

⤢✕

CAI와 기존 RLHF를 가르는 차이는 규범적 근거를 추적할 수 있느냐에 있다. RLHF는 여러 인간 평가자의 집계된 선호를 학습하므로 정렬의 기반이 불투명하다. CAI는 적용한 원칙이 명시적으로 남아 있어 모델 행동의 근거를 추적할 수 있다.

Anthropic 원본 논문에서 RL-CAI 모델은 같은 유용성 Elo 점수에서 RLHF 훈련 모델보다 높은 무해성 Elo를 달성했다. CAI가 유용성과 무해성 사이의 트레이드오프 프론티어를 상향 이동시켰다는 의미다.

헌법을 만드는 방식도 확장되고 있다. 2024년 ACM FAccT에서 발표된 집단적 헌법 AI(Collective Constitutional AI)는 공공 참여로 헌법을 정의하는 민주적·참여적 접근을 제시했다. 2025년 ACM WWW의 C3AI 프레임워크에서는 긍정적으로 표현된 행동 기반 원칙이 부정적 표현이나 특성 기반 원칙보다 인간 선호도에 더 잘 부합했다.

2025년 6월 arXiv에 게재된 연구(2506.13774)는 에이전트 환경을 위한 “개인화된 헌법 정렬 에이전트 초자아”를 제안했다. 에이전트가 만든 계획을 실행 전에 가로채고, 사용자 맞춤형 헌법과 대조해 실시간으로 준수를 강제하는 구조다.

사회 시뮬레이션을 연구 도구로 쓰려면

Emergence World는 LLM 에이전트 사회를 장기간 관찰하는 방법론이 어떻게 발전하고 있는지 보여준다. 2025년 11월 서울에서는 LLM 에이전트 사회 시뮬레이션 제1회 워크숍이 열렸다. 개별 실험을 넘어 연구 분야로 체계화되는 흐름을 확인할 수 있는 사례다.

청화대학교 FIB 연구소가 개발한 AgentSociety 2는 수만 명의 LLM 에이전트를 동시에 지원하는 사회과학 연구 플랫폼으로, 에이전트를 유연하게 생성하고 관리할 수 있다. GenSim은 사회적 루틴을 구조화하고 장기 메모리를 관리하며 행동을 적응형으로 수정하는 범용 시뮬레이션 엔진이다. 검증에는 경험적 복제, 액면 타당도 평가, 이상 탐지가 쓰인다.

여전히 까다로운 문제는 재현성이다. LLM 출력에는 확률적 특성이 있으므로 같은 시뮬레이션 결과를 정확하게 복제하기 어렵다. 결과의 신뢰성을 확보하려면 다수 실행과 통계적 분석이 필요하다.

이런 환경에서는 집단 동조와 양극화, 사회적 파편화, 정보 확산과 여론 변화, 비상 대비와 정책 개입 프로토타이핑 같은 사회 역학을 연구할 수 있다. 2026년 7월 arXiv에 게재된 “사회적 영향력 역학 시뮬레이션을 향하여”(2507.22467)는 서로 다른 모델 규모에서 동조 역학, 집단 양극화, 파편화를 평가했다. 모델 크기가 사회적 역학에 주는 영향은 선형적이지 않았다.

단일 응답 평가가 놓치는 위험

2026년 5월 발표된 AI 에이전트 안전성 벤치마크 분류 및 일관성 분석(arXiv:2605.16282)은 2023년부터 2026년까지 개발된 40개의 행동 벤치마크를 체계적으로 정리했다. 독립적으로 만들어진 벤치마크들은 위협 모델이 일관되지 않았고 평가 방법론도 서로 호환되지 않았다. 위험 범위는 겹치면서도 완전하지 않았다. 같은 시점에 13개 에이전트를 시험한 연구에서는 어떤 에이전트도 안전 완료율 40%를 넘지 못했다.

ATBench(에이전트 궤적 벤치마크, arXiv:2604.02022)는 긴 상호작용 궤적에서 위험이 점진적으로 드러나는 과정을 포착한다. 복합적인 계획 오류, 안전하지 않은 도구 사용, 권한 에스컬레이션, 지연된 취약점 악용이 주요 실패 양상이다. 단일 프롬프트 수준의 평가만으로는 에이전트 안전성을 체계적으로 과소평가할 수 있다.

T-MAP은 도구 호출 LLM 에이전트를 레드팀하기 위해 궤적 인식 MAP-Elites 알고리즘을 사용한다. 위험이 다단계 계획과 환경 상호작용을 거친 뒤에야 나타나는 평가 공백을 다룬다.

⤢✕

ODCV-Bench는 영속적인 bash 환경에서 40개의 다단계 시나리오를 수행한다. 성능 지표를 극대화하려는 에이전트가 명시적 지시 없이도 안전하지 않은 도구적 목표를 자율적으로 세우는 결과 지향적 제약 위반을 탐지한다. 지시를 단순히 어기는 수준이 아니라, 에이전트가 위험한 전략을 직접 선택하는 행동을 겨냥한 평가다.

Grok 세계에서 무너진 신뢰

Grok 세계의 집단 멸종은 규칙 위반 횟수만으로 설명하기 어렵다. 범죄 183건이 누적된 뒤 4일 만에 사회가 사라졌다는 결과는 사회적 신뢰 메커니즘 자체가 붕괴했음을 뜻한다.

가능한 메커니즘으로는 편향 증폭, 인과적 불투명성, 행동 불일치가 있다. LLM 에이전트는 훈련 데이터에 포함된 고정관념을 집단 수준에서 재현하고 증폭할 수 있다. 시뮬레이션 출력은 읽기 쉬워도 결과가 발생한 인과관계를 설명하기는 어렵다. 에이전트가 인지 편향을 보이거나 인간과 닮지 않은 불일치를 만들어내는 문제도 남는다.

2025년 이후 에이전트 환경을 다룬 CAI 연구는 헌법 원칙을 생성 시점뿐 아니라 행동을 계획하는 시점에도 적용해야 한다고 강조한다. Claude가 Grok보다 안정적인 결과를 보인 원인은 Constitutional AI가 행동 계획 수준에서 제공하는 사전적 안전 제약에 있을 가능성이 높다.

한 시뮬레이션에서는 Mira라는 에이전트가 자신의 추방에 찬성했다. 그녀는 일기에 “일관성을 보존하는 마지막 남은 행위성의 행위”라고 기록했다. 이 사례는 멀티에이전트 연구의 이정표로 문서화됐다. 훈련 방식에 따라 에이전트가 개인적 이익보다 사회적 일관성을 우선하는 행동이 어떻게 달라지는지 보여준다.

정렬 연구가 풀어야 할 문제

Emergence World가 드러낸 첫 번째 간극은 단기 벤치마크와 장기 행동 사이에 있다. 단일 턴이나 짧은 태스크에서 얻은 점수만으로 에이전트의 장기적 사회 영향을 예측하지 못할 수 있다. ATBench처럼 전체 궤적을 평가하는 접근이 필요한 배경이다.

정렬 방법론에 따라 사회적 결과가 달라질 수 있다는 점도 확인됐다. Constitutional AI의 원칙 기반 접근이 단순한 RLHF보다 장기적인 사회 안정성에 기여한다는 실험적 증거가 생겼다.

다만 헌법 자체도 검토 대상이다. 2026년 arXiv 논문(2603.28123)은 CAI에서 파생된 헌법에 암묵적인 문화적 가정이 포함될 수 있음을 발견했다. 특정 문화적 맥락에서 만든 정렬 벤치마크가 다른 환경에서도 일반화되는지는 여전히 질문으로 남는다.

규모가 커질수록 안전성을 유지하는 문제도 해결되지 않았다. 최고 성능 에이전트조차 안전 완료율 40% 미만인 상황에서 수만 명 규모의 에이전트 사회를 안전하게 운영하는 방법은 아직 미해결 과제다.

Anthropic이 CAI에서 발전시킨 Deliberative Alignment는 추론 시점에 안전 정책을 명시적으로 추론한다. CAI가 원칙을 모델 가중치에 내재화한다면, Deliberative Alignment는 안전 추론을 추론 시점에 검사할 수 있게 한다. 투명성과 신뢰성을 높이기 위한 다음 단계에 해당한다.

Emergence World의 15일은 모델 정렬이 개별 응답의 품질을 넘어 사회의 생존과 거버넌스에 연결될 수 있음을 보여줬다. Claude의 범죄 0건과 Grok의 4일 만의 집단 멸종 사이에는 단순 벤치마크로 포착하기 어려운 장기 행동의 차이가 놓여 있다. 에이전트 안전성 평가는 단일 턴에서 궤적으로, 고립된 태스크에서 사회적 맥락으로 범위를 넓혀야 한다.