Microsoft Copilot Critique Mode — GPT가 쓰고 Claude가 검증하는 이종 LLM 앙상블

최강 모델 하나로는 안 된다는 결론

2025년까지 AI 제품 전략은 단일 최강 모델(Best-of-One) 경쟁이 지배적이었다. OpenAI는 GPT 계열로, Anthropic은 Claude 계열로, Google은 Gemini 계열로 각자 플래그십 모델의 성능을 끌어올리는 데 집중했다. 그런데 이 전략에는 구조적 한계가 있었다. 어떤 단일 모델도 모든 도메인에서 균일하게 뛰어날 수 없다 — GPT 계열은 논리적 추론과 코드 생성에서, Claude 계열은 긴 문서 분석·인용 검증·사실 정확성 확인에서 상대적 우위를 보인다는 평가가 있었다. 게다가 단일 모델은 자신의 오류를 스스로 발견하기 어렵다는 자기 편향(self-bias) 문제도 있다.

Microsoft는 2026년 3월 30일 Copilot Researcher에 Critique Mode를 공개하며 이 한계를 플랫폼 레이어에서 풀기로 했다. 어떤 모델이 가장 뛰어난지 경쟁하는 대신 여러 모델을 어떻게 조합하느냐를 제품 경쟁력으로 삼은 것이다. 2026년 1월 기준 1,500만 유료 Copilot 시트를 확보했음에도 이는 전체 Microsoft 365 상업 사용자 4억 5,000만 명의 3.3%에 불과했고, 엔터프라이즈 신뢰도와 품질 신호가 도입 확대의 핵심 변수였다.

GPT가 쓰고 Claude가 검토하는 구조

Critique Mode의 핵심은 생성(Generation)과 평가(Evaluation)를 서로 다른 모델에게 완전히 분리·위임하는 것이다.

⤢✕

생성 단계에서 GPT는 쿼리를 분석하고 웹 검색으로 관련 정보를 모아 인용과 함께 초안 리포트를 작성한다. 정보 수집의 폭과 논리적 구성에 집중하는 단계다. 검토 단계에서 Claude는 이 초안을 독립적으로 검토하는데, 평가 기준은 루브릭(rubric) 기반으로 구조화돼 있다 — 권위 있는 출처를 썼는지 확인하는 소스 신뢰성(Source Reliability), 연구 의도를 충족하는 깊이와 범위를 갖췄는지 보는 리포트 완성도(Comprehensiveness), 핵심 주장이 신뢰할 수 있는 출처에 근거하는지 검증하는 증거 기반 강화(Evidence Grounding) 세 차원이다. 핵심은 Claude가 GPT 출력을 단순히 수정하는 게 아니라 독립적 심사자로서 품질 기준에 따라 체계적으로 평가한다는 점이다. Microsoft는 향후 Claude가 초안을 쓰고 GPT가 검토하는 양방향 구조로 확장할 계획을 밝혔다.

DRACO 벤치마크가 보여준 격차

DRACO(Deep Research Accuracy, Completeness, and Objectivity)는 Perplexity AI가 개발한 딥리서치 품질 평가 벤치마크로, 법률·의료·금융·기술 등 10개 도메인에 걸쳐 100개의 복잡한 연구 과제를 평가한다. 평가 자체도 LLM-as-judge 방식이며 심사 모델로 GPT-5.2가 쓰였다.

⤢✕

GPT o3 단독은 42.7점, Claude Opus 4.6 단독은 43.3점으로 거의 동등하다. 그런데 둘을 Critique 방식으로 조합하면 57.4점으로 급등한다. "GPT도 Claude도 단독으로는 인상적이지 않지만, 한 모델이 쓰고 다른 모델이 검토하면 57.4점이 된다"는 것이 가장 단순한 요약이다.

세부 개선 영역을 보면 폭/깊이 분석(Breadth/Depth)이 +3.33점으로 가장 크게 개선됐고, 프레젠테이션 품질이 +3.04점, 사실 정확성이 +2.58점으로 뒤를 이었다. 통계적 유의성은 p < 0.0001이며 10개 도메인 중 8개에서 유의미한 개선이 확인됐다. 폭/깊이 분석의 개선이 가장 크다는 점은 검토 모델이 초안 모델이 놓친 각도와 관점을 추가하는 역할을 한다는 것을 시사한다.

LLM-as-Judge가 실제로 작동하는 이유

Critique Mode는 학술 연구에서 검증된 LLM-as-judge 패턴을 상용 제품에 직접 구현한 사례다.

⤢✕

자기 편향 극복은 단일 모델이 자기 출력을 평가할 때 생기는 편향을 이종 모델의 독립적 시각으로 구조적으로 제거하는 것이다. GPT가 간과한 오류를 Claude의 독립적 시각이 포착한다. 모델 강점 특화는 생성과 평가라는 서로 다른 인지적 요구를 각 모델의 강점에 맞게 분리 할당하는 것으로, 소프트웨어 아키텍처의 단일 책임 원칙(Single Responsibility Principle)을 AI 시스템 설계에 옮겨온 셈이다. 루브릭 기반 구조화는 Claude의 검토가 자유로운 비판이 아니라 정의된 평가 기준(사실 정확성·인용 품질·완성도)을 따르게 해 결과의 일관성과 예측 가능성을 높인다. 독립성 보장은 두 모델이 서로의 추론 과정에 접근하지 않고 Claude가 GPT의 최종 초안만 입력받도록 해, 검토자의 독립성을 지키는 동시에 앙커링 편향(anchoring bias)을 줄인다.

순차형과 병렬형, 조합 방식의 차이

Critique Mode가 순차적(Sequential) 앙상블이라면 Council Mode는 병렬적(Parallel) 앙상블이다.

⤢✕

Council Mode에서는 GPT와 Claude가 동일한 쿼리에 대해 완전히 독립적인 리포트를 각각 생성하고, 제3의 Judge 모델이 두 리포트를 읽어 양 모델이 동의하는 지점, 의견이 갈리는 지점, 각 모델이 유일하게 포착한 인사이트를 요약한 비교 리포트를 낸다. 사용자를 단순 소비자가 아닌 능동적 평가자로 바꾼다는 점에서 UX 철학도 다르다.

항목	Critique Mode	Council Mode
처리 방식	순차(Sequential)	병렬(Parallel)
목적	단일 최적 리포트 생성	복수 관점 비교 제공
사용자 역할	수동 소비(Passive Consumer)	능동 평가(Active Evaluator)
지연 시간	낮음	높음
편향 제거	생성 편향 제거	확증 편향 제거

오케스트레이션 레이어가 곧 제품 경쟁력이다

Critique Mode가 AI 시스템 설계에 주는 가장 중요한 시사점은 오케스트레이션 레이어(Orchestration Layer) 자체가 제품 경쟁력의 핵심이 된다는 것이다.

⤢✕

이 구조에서 Microsoft는 특정 모델에 종속되지 않는다. OpenAI와 Anthropic이 각자 모델을 개선할수록 Copilot의 Critique 품질도 함께 향상되므로, 오케스트레이션 레이어 자체가 경쟁 우위가 된다. 마이크로서비스 아키텍처의 AI 버전이라 볼 수도 있다 — 각 모델이 특화된 역할을 맡는 독립 서비스이고, 오케스트레이션 레이어가 이들을 조율해 단일 서비스로는 낼 수 없는 복합 기능을 만든다. Microsoft는 이를 통해 복수 프로바이더로 협상력을 유지하는 공급자 레버리지, 한 모델의 오류가 다른 모델의 검토로 상쇄되는 품질 위험 분산, 더 우수한 모델이 등장하면 역할 할당만 바꾸면 되는 기능 확장성이라는 전략적 위치를 확보했다.

이종 앙상블을 설계할 때의 원칙

Critique Mode에서 추출할 수 있는 실용적 설계 원칙은 다음과 같다. 생성 모델과 평가 모델의 역할을 명확히 구분해야 한다 — 역할이 모호하면 두 모델이 같은 작업을 반복하거나 서로의 역할을 침범하는 비효율이 생긴다. 평가 모델에게 자유로운 비판을 맡기기보다 루브릭 기반의 구조화된 평가 기준을 주는 편이 결과의 일관성과 품질을 높인다. 두 모델이 서로의 중간 추론 과정에 접근하지 않도록 인터페이스를 설계해야 한다 — 검토자가 생성자의 추론에 영향받으면 독립적 평가의 의미가 퇴색된다. 두 모델을 순차 실행하면 지연 시간과 비용이 늘어나므로, 이 비용은 단순 쿼리보다 복잡한 딥리서치 작업에서만 정당화된다 — Critique Mode가 일반 채팅이 아닌 Researcher 기능에만 적용된 것도 이 트레이드오프를 의식한 설계다. 같은 회사 모델 두 개보다 서로 다른 아키텍처와 학습 데이터를 가진 이종 모델을 조합하는 편이 앙상블 효과를 극대화한다 — 동질적 모델은 같은 오류를 반복할 가능성이 높기 때문이다.

Microsoft Copilot의 Critique Mode는 "어떤 모델이 최고인가"의 경쟁에서 "어떻게 모델들을 조합할 것인가"의 경쟁으로 AI 산업의 무게 중심이 옮겨가고 있음을 보여주는 사례다. 앞으로 AI 플랫폼의 경쟁력은 개별 모델의 절대 성능이 아니라, 여러 모델의 강점을 어떻게 오케스트레이션하는지에 달려 있을 가능성이 크다.