Anthropic의 Claude 에이전트 기반 셀프서비스 BI 설계

같은 모델이 21%와 95%를 오간 이유

Anthropic이 공개한 내부 데이터 분석 사례에서 Claude 에이전트는 비즈니스 애널리틱스 쿼리의 **95%**를 처리한다. 대부분의 도메인에서 95% 집계 정확도를 달성했고, 잘 정의된 도메인에서는 99% 수준에 도달했다.

그러나 스킬 프레임워크 없이 원시 모델만 사용했을 때의 정확도는 **21%**였다. 동일한 모델이 컨텍스트를 어떻게 제공받느냐에 따라 21%와 95%라는 차이를 보인 셈이다. 이 결과는 분석 에이전트의 성능이 모델 역량만으로 결정되지 않으며, 데이터 거버넌스와 지식 스캐폴딩이 함께 설계돼야 한다는 점을 보여준다.

분석 에이전트가 흔들리는 지점

Anthropic 팀이 확인한 실패 패턴은 개념과 엔티티의 모호성, 데이터 진부화, 검색 실패로 나뉜다.

개념-엔티티 모호성(Concept-to-Entity Ambiguity)은 하나의 비즈니스 용어가 데이터 웨어하우스 안에서 여러 방식으로 표현될 때 발생한다. 예를 들어 "활성 사용자(active user)"가 여러 테이블에 서로 다른 기준으로 구현돼 있다면 에이전트는 어떤 테이블을 기준으로 삼아야 할지 판단하기 어렵다. Anthropic은 비즈니스 개념마다 하나의 권위 있는 테이블을 두는 방식으로 이 문제에 대응했다.

데이터 진부화(Data Staleness)는 지표와 메트릭이 바뀌었는데 모델이 참조하는 컨텍스트가 이를 따라가지 못하는 상황이다. 정기적인 유지보수 파이프라인과 검증 체계가 필요한 이유다.

검색 실패(Retrieval Failures)는 필요한 컨텍스트가 존재하면서도 에이전트가 그것을 제대로 찾지 못하는 문제다. Anthropic이 절차적 지식을 별도의 스킬로 구성한 직접적인 배경이기도 하다.

데이터 기반에서 검증까지 이어지는 스택

Anthropic의 분석 시스템은 데이터 파운데이션, 시맨틱 레이어, 스킬 레이어, 검증 및 평가 프레임워크로 구성된다. 질문이 들어오면 각 계층이 앞서 확인한 실패 요인을 차례로 방어한다.

⤢✕

데이터 파운데이션에는 dbt 스타일의 데이터 모델과 변환, 테스트, 메타데이터가 놓인다. 여기서 비즈니스 개념을 하나의 권위 테이블로 정규화하지 않으면 상위 계층의 품질도 보장하기 어렵다.

시맨틱 레이어는 메트릭과 KPI의 단일 정의를 유지하는 진실의 원천이다. Claude가 문서 초안을 만들고 메트릭 설명을 제안할 수는 있지만, 정의를 소유하고 승인하는 주체는 사람이다. 자동 생성된 정의를 사용했을 때 기존 모호성이 복제되거나 새로운 모호성이 들어오면서 정확도가 낮아졌기 때문이다.

스킬 레이어에는 분석 질문을 처리하는 절차가 마크다운으로 기록된다. 질문에 따라 어떤 테이블을 조인할지, 어떤 쿼리 구조를 사용할지, 무엇을 주의해야 하는지를 에이전트가 필요할 때 읽는다. 이 계층이 정확도를 21%에서 95%로 높이는 데 핵심 역할을 했다. 내부 BI 시스템에도 Claude Code와 같은 스킬 메커니즘이 적용됐다.

마지막 계층은 오프라인 평가, 어블레이션 테스트, 온라인 모니터링으로 구성된다. 오프라인에서는 에이전트 정확도를 측정하고, 어블레이션 테스트로 각 컴포넌트의 기여도를 확인한다. 운영 중에는 적대적 검토를 포함한 온라인 모니터링으로 품질을 추적한다.

절차적 지식을 마크다운으로 관리한다

스킬 파일은 LLM이 소비할 절차적 지식을 자연어 마크다운으로 표현한 저장소다. 각 파일에는 해당 스킬이 적용될 질문 유형, 권위 테이블과 참조 조건, 반복해서 쓰이는 SQL 패턴, 과거 실패에서 확인한 주의사항, 연관 스킬 의존성이 들어간다.

에이전트는 질문을 받으면 먼저 유형을 분류한다. 이어 관련 스킬 파일을 검색해 읽고, 그 컨텍스트를 바탕으로 SQL을 생성한다. 일반적인 RAG(Retrieval-Augmented Generation)와 닮았지만, 검색 단위가 단순한 문서 청크가 아니라 분석 절차를 담은 지식 단위라는 차이가 있다.

자동화의 경계는 지식 소유권에서 갈린다

⤢✕

루틴한 쿼리 응답과 시각화는 Claude 에이전트가 맡는다. 문서 초안과 메트릭 설명 제안, 커버리지 갭 탐지도 자동화 영역에 포함된다.

반면 메트릭 정의 승인, 스킬 파일 큐레이션, 문서 최종 확정은 사람이 담당한다. 이상치 조사와 인과 모델링, 예측 분석도 인간의 영역으로 남았다. 자동화 대상과 지식 기반의 소유자를 분리한 것이다.

메트릭 정의까지 자동 생성했을 때는 시스템 전체의 정확도가 하락했다. 모델이 기존의 모호성을 되풀이하거나 새로운 모호성을 넣었기 때문이다. Anthropic은 Claude가 초안을 만들고 사람이 승인하는 협업 구조를 선택했다.

데이터팀은 쿼리 처리자가 아니라 시스템 설계자가 된다

업무의 **95%**를 자동화했다는 것은 데이터팀을 줄였다는 의미가 아니라, 팀이 맡는 일의 중심이 이동했다는 뜻이다.

이전 업무	이후 업무
SQL 쿼리 작성 및 수정	인과 모델링(Causal Modeling)
대시보드 데이터 업데이트	예측 분석(Forecasting)
반복적 리포트 생성	머신러닝 실험 설계
지표 조회 응대	데이터 거버넌스 아키텍처
시각화 커스터마이징	에이전트 스킬 큐레이션

반복적인 조회 요청을 처리하는 능력보다 에이전트가 답하지 못하는 문제를 정의하고, 데이터와 지식 구조를 관리하는 역량의 비중이 커졌다. 데이터 사이언티스트는 인과 모델링과 예측 분석 같은 업무에 집중하게 됐다.

다른 기업 사례에서 반복되는 조건

AI 기반 BI 자동화 시장은 2026년 140.1억 달러 규모이며 연 18.4% 성장률을 기록하고 있다.

에너지 기업 AES는 감사 프로세스를 자동화해 작업 기간을 14일에서 1시간으로 줄이고 비용을 99% 절감했다. 제지 기업 Suzano는 5만 명의 직원에게 즉각적인 데이터 접근 권한을 제공했고 쿼리 속도를 95% 향상했다. Anthropic과 Snowflake는 2026년 파트너십을 확장해 Claude를 엔터프라이즈 데이터 플랫폼에 직접 통합했다.

이 사례들에서는 기술을 도입하기 전에 단일 진실 원천을 확립하는 데이터 거버넌스 작업이 진행됐고, 사람이 감독할 범위도 명확히 구분됐다.

DSS와 데이터 거버넌스 관점에서 읽기

전통적인 의사결정 지원 시스템(DSS)은 분석가가 쿼리를 작성하면 시스템이 결과를 돌려주는 구조였다. Anthropic의 에이전트 스택은 자연어 질문에서 의도를 파악하고 SQL을 생성한 뒤, 시각화와 인사이트 해석까지 이어지는 사이클을 자동화한다.

이 과정에서 COBIT과 DAMA 프레임워크가 강조하는 단일 진실 원천(Single Source of Truth)은 단순한 컴플라이언스 항목을 넘어 에이전트 정확도의 전제 조건으로 작동한다. 데이터 거버넌스가 부실하면 모델이 강해도 개념과 테이블을 안정적으로 연결할 수 없다.

기존 ETL/ELT 파이프라인 위에 놓인 시맨틱 레이어는 비즈니스 메트릭의 의미를 에이전트에 전달한다. Anthropic 사례는 이 계층이 에이전트 AI와 결합하는 방식을 보여준다.

오프라인 평가에서 어블레이션 테스트, 온라인 모니터링, 적대적 검토로 이어지는 검증 프레임워크는 AI 시스템에 대한 연속적 감사 체계로도 해석할 수 있다.

기업 데이터 스택에 적용하는 순서

⤢✕

첫 작업은 비즈니스 개념을 단일 권위 테이블로 정규화하는 것이다. 그 위에 사람이 소유하는 메트릭 정의를 문서화하고, 도메인별 절차를 스킬 파일로 만든다.

에이전트 프로토타입은 그다음이다. 제한된 도메인에서 정확도를 측정하고, 어블레이션 테스트로 각 컴포넌트의 기여도를 확인한다. 목표에 미치지 못하면 병목이 생긴 계층을 찾아 개선한 뒤 다시 검증한다. 목표를 달성한 뒤에는 적대적 검토를 포함한 온라인 모니터링을 마련하고 적용 도메인을 점진적으로 넓힌다.

에이전트가 이 흐름의 4번째 단계에 있다는 점이 중요하다. 데이터 정규화와 시맨틱 레이어 없이 에이전트부터 배치하면 21% 정확도의 시스템에 머물 수 있다. Anthropic 사례에서 95% 자동화를 가능하게 한 기반은 구조화된 컨텍스트와 인간이 관리하는 데이터 거버넌스였다.