LLM 에이전트로 설계하는 비정형 데이터 품질 자동화 파이프라인

비정형 데이터 품질을 파이프라인 안에서 다루는 방식

데이터 레이크에 쌓이는 텍스트, JSON, 로그는 기존 규칙 기반 품질 도구만으로 관리하기 어렵다. 스키마가 바뀌거나 의미가 달라진 값을 단순한 형식 검증만으로는 놓치기 쉽기 때문이다. AI 시스템에서는 데이터 오류가 초당 수천 건의 잘못된 예측으로 이어질 수도 있다.

LLM 기반 에이전트는 이 구간에 스키마 추론, 검증 룰 생성, 이상 탐지, 메타데이터 갱신을 연결한다. 수집부터 서빙까지 품질 관문을 두고, 탐지된 문제를 자동 수정 또는 리뷰 큐로 보내는 구조다.

파이프라인 상태를 보고 이슈를 탐지·수정하는 자율 에이전트
데이터셋 메타데이터, 통계, 스키마에서 검증 룰을 만드는 동적 룰 생성
수집·변환·서빙 각 단계에 배치하는 자동화 품질 게이트

자유 형식 데이터에서 스키마를 추론하는 흐름

비정형 데이터의 스키마 추론은 반복되는 엔티티와 그 관계를 찾아내는 작업이다. 통계 기반 방식이 정형 데이터 중심이었다면, LLM은 자유 형식 텍스트에서도 구조를 읽어낼 수 있다.

⤢✕

스키마 추론에는 전체 데이터셋에서 수백~수천 레코드를 계층적으로 뽑아 사용한다. 샘플 레코드에 기존 스키마 예시와 도메인 힌트를 함께 넣고, JSON Schema 또는 Pydantic 모델처럼 구조화된 출력 형식을 요구한다. 여러 추론 결과는 다수결 앙상블(Majority Vote Ensemble)로 취합해 신뢰도 점수를 만든다.

LangChain Iceberg Toolkit처럼 자연어로 Apache Iceberg 데이터 레이크를 질의하는 접근도 여기에 연결된다. SQL 지식 없이 데이터 구조를 탐색하고 스키마를 확인할 수 있어, 거버넌스 담당자의 데이터 접근 장벽을 낮춘다.

메타데이터에서 검증 룰을 만드는 에이전트

Databricks와 LatentView가 2026년에 공개한 연구에서는 LLM이 데이터셋 메타데이터, 컬럼 통계, 샘플 값을 받아 Great Expectations 형식의 Expectation Suite를 생성한다. Unity Catalog와 함께 쓰면 생성된 룰을 버전 관리하고 재사용할 수 있다.

룰 유형	예시	LLM 생성 방식
완전성(Completeness)	필수 컬럼 null 비율 < 1%	컬럼 통계 기반 임계값 추론
형식 유효성(Format Validity)	날짜 형식 ISO 8601 준수	샘플 값 패턴 분석
참조 무결성(Referential Integrity)	외래 키 존재 여부	스키마 관계 추론
비즈니스 규칙(Business Rule)	금액 > 0, 재고량 >= 0	도메인 컨텍스트 이해
통계적 이상(Statistical Anomaly)	Z-score 기반 이상값 탐지	분포 분석 + LLM 해석

룰은 데이터가 유입되는 과정에서 기존 레지스트리와 비교되고, 필요하면 새 규칙 또는 변경된 규칙으로 저장된다. 검증 결과는 카탈로그와 감사 로그에도 이어져야 한다.

⤢✕

LLM 호출을 데이터 레이크 전체에 적용하지 않는 이유

페타바이트급 데이터 레이크 전체를 LLM으로 평가하는 방식은 비용 현실성이 없다. 대표성을 확보하는 샘플링과, 위험 신호가 있는 영역에만 검증을 집중하는 전략이 필요하다.

계층화 샘플링은 날짜·지역·카테고리별 파티션에서 대표 샘플을 뽑는다. 최근 배치나 신규 소스처럼 이상 가능성이 높은 파티션에는 가중치를 높인다. 전체 데이터의 1~5% 수준에서 95% 이상 품질 이슈를 커버할 수 있다.

적응형 샘플링은 이전 배치에서 문제가 발견된 파티션의 다음 배치 샘플 비율을 높인다. 반대로 품질 점수가 안정적인 파티션은 비율을 점진적으로 줄이고, 통계적 신뢰 구간(Confidence Interval)에 따라 샘플 크기를 결정한다.

전략	설명	비용 절감 효과
경량 모델 1차 필터링	소형 LLM(Haiku 등)으로 명백한 이상값 사전 탐지	대형 LLM 호출 40~60% 감소
캐싱 & 룰 재사용	동일 스키마 패턴 룰을 캐시에서 재사용	반복 LLM 호출 최소화
배치 프롬프팅	여러 레코드를 단일 LLM 호출로 묶어 처리	토큰 오버헤드 감소
결과 기반 적응	품질 점수 높은 파티션 샘플 비율 자동 축소	안정 구간 비용 절감
임계값 기반 에스컬레이션	이상 점수 임계값 초과 시에만 대형 LLM 호출	대형 모델 비용 최소화

통계 밖의 이상을 읽어내는 패턴 인식

Z-score나 IQR은 수치 분포의 이상을 찾는 데 유용하지만, 데이터가 비즈니스 맥락에서 말이 되는지까지 판단하지는 못한다. LLM 기반 탐지는 통계적 방법 위에 의미론적(Semantic) 패턴 인식을 더한다.

컨텍스트 이상(Contextual Anomaly): 통계적으로는 정상이더라도 비즈니스 맥락상 맞지 않는 값이다. 의료 데이터의 나이 = 150처럼 통계 분포에서는 희귀하지 않아도 의미적으로 불가능한 값을 판단한다.
의미적 중복(Semantic Duplication): 문자열은 다르지만 같은 개체를 가리키는 경우를 찾는다. "삼성전자", "Samsung Electronics", "삼성전자㈜"가 그 예다.
패턴 드리프트(Pattern Drift): 시계열에서 텍스트 패턴이 점진적으로 달라지는 구조적 변화를 감지한다.
논리적 불일치(Logical Inconsistency): 여러 컬럼의 관계가 깨진 레코드를 찾는다. 종료일이 시작일보다 이른 경우가 대표적이다.

Monte Carlo의 2026년 Agent Observability 기능은 AI 에이전트의 컨텍스트, 성능, 행동, 출력 전 생애주기를 통합 가시성으로 제공하며, 이런 이상 탐지 결과를 대시보드에 통합한다.

데이터 레이크에서 역할을 나누는 에이전트

오케스트레이션 에이전트는 수집 파이프라인의 품질 게이트를 관리하고, 이상 탐지 시 격리(Quarantine) 또는 재처리를 트리거한다. 인시던트를 분류해 담당자에게 알리는 역할도 맡는다.

탐색 에이전트는 새 데이터셋을 프로파일링하고, 기존 데이터셋과의 연결을 추천하며, 데이터 리니지(Lineage)를 추적한다. 수정 에이전트는 형식 오류나 null 채우기 같은 단순 이슈를 수정하고 이력을 감사 로그에 남긴다. 자동 수정이 어려운 경우는 사람 리뷰 큐로 넘긴다.

카탈로그에는 다음 메타데이터를 자동 생성할 수 있다.

기술적 컬럼명을 비즈니스 의미로 풀어낸 비즈니스 설명(Business Description)
PII(개인식별정보), 민감 데이터, 도메인 분류를 위한 자동 태그
완전성·정확성·일관성·시의성을 종합한 데이터 품질 점수(DQ Score)
분석 목적에 맞는 데이터셋과 조인 경로 추천

감사 가능성을 포함한 거버넌스 설계

2026년 8월 2일 EU AI Act의 고위험 시스템 의무 조항이 전면 시행된다. NIST AI RMF 1.1은 2026년 3월 GOVERN·MAP·MEASURE·MANAGE의 네 가지 기능 체계로 AI 거버넌스 통제 도메인을 제시했다. ISO 42001 인증은 기업 구매자들이 가장 많이 요청하는 AI 거버넌스 증거 형식으로 자리잡았다.

데이터 품질 에이전트가 룰을 생성하고 수정한다면, 그 과정 자체가 감사 대상이 된다.

거버넌스 계층	자동화 방식	적용 도구
접근 제어(Access Control)	데이터 감도 기반 자동 마스킹·암호화	Unity Catalog, AWS Lake Formation
변경 감사(Change Audit)	LLM 룰 생성·수정 이력 자동 버전 관리	Git-based Rule Registry
데이터 리니지(Lineage)	변환 단계별 자동 리니지 추적	OpenLineage, DataHub
컴플라이언스 스캔	PR 병합 시점 자동 컴플라이언스 검사	자동화 파이프라인 게이트
품질 SLA 모니터링	품질 지표 임계값 초과 시 자동 알림	Monte Carlo, Soda

감사는 나중에 덧붙이는 기능으로 다룰 수 없다. 접근 제어, 룰 변경 이력, 리니지, 컴플라이언스 검사를 아키텍처 단계에서 내재화하는 Governance by Design이 전제되어야 한다.

검증 엔진과 관측성 도구 사이의 선택

데이터 품질 도구는 생성형 AI 기반 동적 룰, 코드 기반 명시적 검증, ML 기반 자동 이상 탐지라는 방향으로 나뉜다.

비교 항목	LLM 에이전트 (자체 구축)	Great Expectations	Monte Carlo
접근 방식	생성형 AI 기반 동적 룰	코드 기반 명시적 검증	ML 기반 자동 이상 탐지
설정 방식	메타데이터 기반 자동 생성	수동 Expectation 정의	자동 베이스라인, 자동 확장
비정형 데이터	텍스트·JSON 등 직접 지원	구조화 데이터 중심	구조화 데이터 중심
AI 에이전트 지원	핵심 기능	ExpectAI (보조 기능)	Agent Observability (2026)
비용 모델	LLM API 사용료 + 인프라	오픈소스 (무료)	엔터프라이즈 SaaS (유료)
팀 규모 적합성	대규모, AI 역량 보유 팀	소·중규모 Python 팀	중·대규모 엔터프라이즈
거버넌스 통합	커스텀 구현 필요	외부 도구 연동	내장 인시던트 관리
설명 가능성	LLM 근거 제공 가능	규칙 명시적	이상 점수 기반

비정형 데이터 비중이 높고 AI 팀이 있다면 LLM 에이전트를 자체 구축하는 방향이 맞다. Python 친화적인 소·중규모 팀은 Great Expectations로 직접 제어할 수 있고, 엔터프라이즈 수준의 자동 모니터링과 인시던트 관리가 필요하면 Monte Carlo가 대상이 된다.

실무에서는 Great Expectations를 검증 실행 엔진으로 두고 LLM을 룰 생성기로 쓰는 하이브리드 구성이 2026년 실용적인 패턴으로 부상하고 있다.

DAMA 품질 차원에 연결되는 자동화

데이터 품질 관리는 DAMA(Data Management Association) 프레임워크에서도 데이터 거버넌스의 핵심 영역이다. LLM 자동화는 DAMA DMBOK의 품질 차원을 다음과 같이 다룬다.

DAMA 품질 차원	정의	LLM 자동화 방식
완전성(Completeness)	필수 데이터 존재 여부	null 비율 임계값 자동 설정
정확성(Accuracy)	실제 값과의 일치	의미적 검증 + 외부 참조 비교
일관성(Consistency)	시스템 간 동일성	크로스 시스템 패턴 분석
적시성(Timeliness)	데이터 시의성	스트림 지연 자동 모니터링
유일성(Uniqueness)	중복 없음	의미적 중복 탐지
유효성(Validity)	비즈니스 규칙 준수	도메인 규칙 자동 생성

메타데이터 저장소(Metadata Repository)에서 데이터 카탈로그, 품질 대시보드로 이어지는 정보 흐름을 LLM 에이전트가 자동화한다. 데이터 리니지(Data Lineage) 자동화와도 직접 맞물린다.

역할별 에이전트와 실시간 품질 게이트의 방향

스키마 추론, 룰 생성, 검증, 수정, 보고 역할을 나누는 멀티 에이전트 아키텍처로의 전환이 진행되고 있다. 데이터 품질에 특화된 소형 파인튜닝 모델이 대형 범용 LLM을 대체하는 영역도 늘어나며, 비용 효율과 지연 시간에서 우위를 확보한다.

Kafka·Flink 스트리밍 파이프라인에는 LLM 품질 에이전트가 인라인으로 들어가 배치가 아닌 이벤트 단위의 실시간 검증을 수행하는 방식이 확산된다. 이상 탐지, 근본 원인 분석, 자동 수정, 검증까지 사람 개입 없이 완결하는 자기 치유 파이프라인(Self-Healing Pipeline)도 엔터프라이즈 데이터 플랫폼의 표준 기능으로 자리잡는다.

EU AI Act의 고위험 AI 시스템 학습 데이터 품질 문서화 의무를 충족하는 컴플라이언스 자동화 역시 데이터 품질 플랫폼에 내장되는 방향이다.