메타데이터 하나로 카탈로그·계보·품질을 묶는 거버넌스 설계
Apache Atlas 카탈로그, 데이터 계보 자동 수집, Great Expectations류 품질 게이트를 메타데이터 허브로 통합하는 거버넌스 아키텍처와 절차를 정리한다
2026-08-12 · 최초 발행 2025-12-12
대시보드에 찍힌 숫자가 어느 원천 테이블에서, 어떤 변환을 거쳐 나왔는지 아무도 즉시 답하지 못하는 조직이 있다. 규제 감사가 들어오면 그때부터 로그를 뒤지고, 품질 문제가 터지면 원인을 찾는 데 며칠이 걸린다. 데이터 거버넌스는 이 질문에 미리 답을 준비해두는 체계다. Data Catalog(Apache Atlas), Data Lineage, Quality Frameworks(Great Expectations·Deequ·Soda)를 메타데이터 중심으로 통합하면, 규제 준수와 셀프서비스 분석을 동시에 잡을 수 있다.
카탈로그는 검색만이 아니라 정책의 근거다
데이터 카탈로그는 조직의 데이터셋, 스키마, 비즈니스 용어집, 태그, 분류 정보를 중앙에서 관리하는 메타데이터 시스템이다. Apache Atlas는 메타모델 확장성, 계보 연동, Ranger와의 정책 연계가 장점이다. 엔티티 타입(데이터셋·프로세스·용어집)과 분류(클래시피케이션), 태그 연계 구조를 갖추고, 검색·계보·용어집·정의역 관리를 Ranger 기반 동적 마스킹·필터링과 함께 제공한다.
계보는 여러 방식으로 수집된다
데이터 계보는 데이터가 생성·변환·소비되는 전 과정을 엔티티와 관계로 추적하는 기능이다. 테이블·컬럼·잡 수준의 흐름을 가시화하면 영향 분석, 변경 관리, 규제 감사 대응이 쉬워진다. 수집 방식은 세 갈래로 나뉜다.
| 방식 | 성능 | 확장성 | 일관성 | 안정성 | 운영 편의 |
|---|---|---|---|---|---|
| SQL 파싱 기반 | 중간: 복잡 SQL 시 비용 증가 | 높음: 엔진 비종속 가능 | 높음: 정적 분석으로 재현성 확보 | 중간: 파싱 실패 리스크 | 중간: 규칙 관리 필요 |
| 런타임 후킹(Spark Listener 등) | 높음: 실행 시 실제 흐름 반영 | 높음: 분산 스케일 대응 | 중간: 코드 경로 따라 변동 | 높음: 실행 로그 근거 | 낮음: 엔진별 에이전트 운영 |
| 수동/API 등록 | 낮음: 수작업/파이프라인 오버헤드 | 낮음: 인력 의존 | 높음: 명시적 정의 | 높음: 개발 통제하 안정 | 높음: 단순 API 호출로 유연 |
컬럼 수준 계보는 정확도가 높지만 비용이 늘고, 테이블 수준 계보는 경량이고 신속하게 구축된다. 실무에서는 테이블 수준부터 시작해 중요 도메인만 컬럼 수준으로 확대하는 순서를 많이 쓴다.
품질 게이트는 파이프라인 앞뒤에 심는다
데이터 품질 프레임워크는 스키마·분포·완전성·참조무결성·신선도 등의 규칙을 자동 검사하는 테스트 프레임워크다. Great Expectations, Deequ, Soda 등을 파이프라인에 통합하면 품질 게이트와 리포팅이 자동화된다. 파이프라인 전·후단에 게이트를 심고, 검사 결과를 메타데이터로 카탈로그에 반영하는 구조가 기본이다.
분류·태그 기반 정책(PII, PCI, HIPAA 등)으로 접근 제어와 마스킹을 자동화하고, 계보와 정책 변경 이력을 함께 남기면 민감 데이터 흐름을 추적하는 감사 추적성이 생긴다. 여기에 데이터 소유자·스튜어드를 지정하고 승인·이슈 관리·용어집 변경 요청 프로세스를 정의하는 스튜어드십 워크플로가 붙어야 카탈로그 UI와 티켓·알림 시스템이 실제로 맞물려 돌아간다.
Apache Atlas를 중심에 둔 아키텍처
표준 흐름은 데이터 소스 → 수집/ETL/ELT → 품질 게이트 → 스토리지/레이크하우스 → 카탈로그/계보(Atlas) → 소비자(BI/ML) 순이다. 보안 쪽은 Atlas의 분류 태그가 Ranger 정책으로 매핑되고, 쿼리 시점에 그 정책이 동적으로 적용되는 구조다.
도입은 메타모델 설계에서 시작한다
먼저 엔티티 타입(데이터셋·프로세스·파이프라인)과 분류 체계(민감도·도메인)를 정의하고, Atlas·Ranger를 고가용성으로 배포하면서 메타데이터 스토어 백업·버전 관리를 갖춘다. Airflow, Spark, dbt, Kafka, Delta·Iceberg·Hudi 레이크하우스에서 메타데이터를 자동 수집하도록 커넥터를 연결한 뒤, 계보는 테이블 수준부터 자동 수집하고 중요 도메인으로 컬럼 수준을 확대한다.
품질 게이트는 Great Expectations·Deequ·Soda 테스트를 파이프라인에 심고 결과를 메타데이터로 업서트하며, Atlas 태그를 Ranger 정책으로 자동 생성·동기화하고 마스킹·필터를 검증한다. 이후에는 메타데이터 수집 성공률, 계보 완전성, 품질 지표를 SLO 대시보드로 관측하고, 용어집·태깅 승인과 감지→분류→조치→검증으로 이어지는 이슈 루프를 자동화하는 거버넌스 워크플로를 운영한다.
실무에서 어떻게 쓰이나
금융에서는 민감정보(PII)를 자동 분류해 마스킹 정책을 적용하고, 계보로 규제 보고서의 추적 경로를 자동 생성한다. 신용 리스크 모델 입력 데이터는 신선도·완전성 SLO로 모니터링하고, 위반 시 배포를 차단한다. 제조·IoT는 센서 데이터 병합·집계 파이프라인의 계보를 시각화해 원인 분석 MTTR을 줄이고, 이상치가 감지되면 알림→재처리 큐→승인 후 재배포로 이어지는 절차를 자동화한다. 커머스·마케팅은 캠페인 성과 지표 정의를 용어집에 표준화해 모든 대시보드가 같은 정의를 쓰게 하고, 카탈로그 검색·별점·사용 통계로 셀프서비스 데이터 소비를 촉진한다.
어디까지 자동화하고 어디서 사람이 검수하나
메타데이터 수집 범위는 우선순위 도메인부터 테이블→컬럼 순으로 확대하는 게 모범사례지만, 컬럼 수준 완전성과 수집·보관 비용은 항상 맞바꿔야 한다. 품질 게이트는 증분 처리 전후 이중 검증(스키마, 통계)을 두고 실패 시 롤백·재처리로 분기하는 게 안전하지만, 게이트가 엄격할수록 신뢰는 올라가도 처리 지연과 운영 비용이 늘어난다.
자동 태깅은 정규식·분류 모델로 초기 태깅을 하고 스튜어드가 검수하는 워크플로가 현실적인데, 자동화 정확도의 한계와 사람 검수 비용은 여전히 트레이드오프다. 중앙집중과 연방 거버넌스는 글로벌 표준에 도메인 자율 규칙을 공존시키고 공통 메타모델을 강제하는 방식으로 절충하는데, 중앙 표준을 강제할수록 도메인 민첩성은 줄어든다. 보안 연계는 Atlas 태그를 Ranger 정책으로 자동 동기화하고 정책 테스트 파이프라인을 구축하는 게 기본이지만, 정책을 세분화할수록 운영 복잡도(정책 스프롤)도 함께 커진다.
최소 구현: 용어집과 분류 등록
전제조건은 Apache Atlas 2.x, Ranger 2.x, Airflow·dbt·Spark 커넥터 구성이다. 실제 호환성은 최신 정보로 확인해야 하고, 메타데이터 저장소의 백업·DR 계획도 별도로 세워야 한다.
# 전제: ATLAS_ENDPOINT, ATLAS_USER, ATLAS_PASS 환경 변수 설정
# 1) 용어집 생성
curl -u "$ATLAS_USER:$ATLAS_PASS" -H "Content-Type: application/json" \
-X POST "$ATLAS_ENDPOINT/api/atlas/v2/glossary" \
-d '{
"name":"Business_Glossary",
"shortDescription":"비즈니스 표준 용어집",
"language":"ko"
}'
# 2) 분류(클래시피케이션) 생성
curl -u "$ATLAS_USER:$ATLAS_PASS" -H "Content-Type: application/json" \
-X POST "$ATLAS_ENDPOINT/api/atlas/v2/types/typedefs" \
-d '{
"classificationDefs":[{"category":"CLASSIFICATION","name":"PII","description":"개인식별정보","attributeDefs":[]}]
}'품질 결과는 실행ID, 타임스탬프, 통과·실패, 지표값을 dataset_quality_run 같은 Atlas 엔티티로 저장하고 데이터셋 엔티티와 1:N 관계를 맺는다. 최근 실행 상태를 속성으로 캐시해두면 카탈로그 UI에서 바로 노출할 수 있다. 운영 지표로는 메타데이터 수집 성공률, 계보 연결율(Disconnected Node 비율), 품질 테스트 커버리지, 태깅 적중률을 SLO 기준으로 알림 설정하고 월별 개선률을 추적한다.
지표로 본 효과
정량적으로는 데이터 이슈 탐지·해결 시간이 3060% 단축되고 품질 실패율은 2040% 감소하며 승인 리드타임은 25% 절감된다. 규제 감사 준비 시간은 50% 이상 줄고, 중복 데이터 생성 비용은 15~30% 절감되는 것으로 관찰된다. 정성적으로는 신뢰 가능한 단일 소스 오브 트루스가 확보되고 데이터 책임·소유가 명확해지며, 셀프서비스 문화와 데이터 제품 라이프사이클 거버넌스가 자리 잡는다.
Apache Atlas 중심의 카탈로그·계보와 품질 프레임워크를 통합하면 파이프라인의 신뢰성과 투명성을 체계적으로 확보할 수 있다. 테이블 수준 계보와 핵심 품질 규칙부터 단계적으로 도입하고, 태그 기반 정책과 스튜어드 워크플로를 결합해 컴플라이언스와 셀프서비스를 함께 가져가는 게 현실적인 경로다.