찾을 수 없는 데이터는 없는 데이터다 — 데이터 카탈로그 구축과 도구 선택

테이블 수천 개, 대시보드 수백 개가 쌓여 있어도 그중 어느 것이 최신이고 신뢰할 만한지 아는 사람이 없으면 그 데이터는 사실상 없는 것과 같다. 데이터 카탈로그는 이 탐색 문제를 메타데이터 중심으로 푼다.

메타데이터의 층위

데이터 카탈로그는 조직 내 모든 데이터 자산의 메타데이터를 수집·표준화·색인해 검색·이해·사용·관리 행위를 가능하게 하는 시스템이다. 여기서 메타데이터는 스키마·타입·위치 같은 기술 메타데이터, 신선도·사용량·SLA 같은 운영 메타데이터, 용어집·소유자·민감도 같은 비즈니스 메타데이터, 그리고 데이터 흐름을 추적하는 계보(Lineage) 메타데이터까지 네 갈래로 나뉜다. 목적은 셀프서비스 데이터 탐색, 일관성·품질·보안 정책 집행, 감사 대응과 규제 준수 지원이다.

카탈로그 안에서 벌어지는 일

입력은 데이터 소스·파이프라인·BI/ML·사용자 큐레이션이다. 이 입력이 추출→정규화/검증→저장(그래프/관계형)→인덱싱→정책 평가→계보 생성 순으로 처리돼, 검색·카탈로그 UI/API, 품질·계보 리포트, 접근정책 집행, 감사 로그로 출력된다. 실패한 레코드는 격리해 재시도·알림·티켓을 자동화하고, 수집→정규화→저장 단계마다 원자성을 보장하며 이벤트 소싱으로 재생 가능성을 확보한다. 동시 수정 충돌은 엔티티 레벨 낙관적 락과 병합 정책(최신 타임스탬프 우선, 소스 우선순위)으로 처리한다.

⤢✕

무엇을 스캔하고 어떻게 신뢰를 쌓는가

커넥터와 스캐너가 배치·스트리밍으로 DW·레이크·DB·BI·ETL·ML·SaaS에서 메타데이터를 걷어오면, 스키마를 정규화하고 엔티티 표준 키를 매핑해 데이터셋·컬럼·파이프라인 모델을 일관화한다. 계보는 ETL/ELT, 쿼리 파서, 오케스트레이터 이벤트로 상·하류 의존성을 자동 구축하는데 컬럼 수준 계보가 있어야 영향분석·변경전파·근원(Source-of-Truth) 판별이 정확해진다. 품질 쪽은 샘플링이나 전체 스캔으로 분포·결측·유일성·이상치를 프로파일링하고 시계열로 지표를 유지하며, null 비율이나 참조 무결성 같은 규칙이 깨지면 알림·티켓으로 연결한다. 검색은 시맨틱 검색과 태그·분류체계, 업무 용어집으로 이뤄지고 인기·인증·최신성 같은 신뢰 지표와 사용자 리뷰가 여기에 얹힌다. 마지막으로 역할·속성 기반 접근제어와 민감정보 자동 분류·마스킹, 감사 로그·변경 이력 영속화가 정책 집행을 완성한다.

90일 안에 돌아가게 만들기

12주차는 우선순위 도메인·소스를 정하고 데이터 제품·소유자를 매핑하며 TTFD(첫 발견까지 걸리는 시간), 품질 이슈율, 인증 데이터셋 수 같은 성공 지표를 합의한다. 36주차는 커넥터를 배치해 스키마·계보를 자동 수집하고 민감정보를 스캔하며, 품질 규칙 최소셋을 정의하고 실패 경로를 격리·알림과 연동한다. 710주차는 SSO·RBAC/ABAC를 연동하고 정책 엔진을 연결해 승인 워크플로를 구성하며, 용어집·분류체계를 수립하고 태그·인증 같은 메타데이터 모델을 확장한다. 1113주차는 상위 100개 데이터셋을 문서화하는 스프린트를 돌리고 도메인 스튜어드를 운영화하며, 사용량을 계기화하고 채택 캠페인과 SLA·운영지표 대시보드를 공개한다.

실무에서 이렇게 쓰인다

신뢰된 인증 데이터셋을 BI 대시보드와 연결하면 재사용이 촉진되고, 검색·인기·평판 기반 추천으로 탐색 시간이 줄어드는 것이 셀프서비스 분석의 핵심이다. PII를 자동 분류해 접근정책·감사로그 리포트를 자동 생성하고 데이터 보존·삭제 정책 준수를 증빙하는 것은 규제 대응에서, 피처 스토어와 실험 추적 메타데이터를 통합해 실험 재현성을 보장하고 데이터 누출 방지 정책·계보로 모델 신뢰성을 강화하는 것은 ML 특성 발견·재사용에서 각각 쓰인다. 도메인별 데이터 제품을 카탈로그화하고 표준 스키마·정의를 공유해 상호운용성을 확보하는 것은 데이터 메시 거버넌스와 맞닿아 있다.

도구는 무엇으로 고르나

커넥터 폭, 계보 정밀도(컬럼 레벨까지 가는지), 확장성, 정책 집행 통합, 운영 편의성(TCO)이 선택 기준이다. 아래 수치는 환경·버전·구성에 따라 상이할 수 있어 최신 정보를 확인해야 한다.

솔루션	유형	성능	확장성	일관성	안정성	운영 편의
DataHub	오픈소스	중	높음(분산 인덱스)	중(스키마 유연)	중~높음	높음(CI/CD 친화)
Apache Atlas	오픈소스	중	높음(하둡/하이브 친화)	높음(타이프 시스템)	중	중(학습 곡선 존재)
Amundsen	오픈소스	중	중	중	중	높음(경량)
Collibra	상용	높음	높음	높음	높음	중(강력하나 복잡)
Alation	상용	높음	높음	높음	높음	높음(사용자 경험 우수)

오픈소스는 유연성·비용 이점이 있지만 초기 통합·운영 리소스가 필요하고, 상용은 기능 폭·지원이 강점인 대신 라이선스 비용과 벤더 종속을 감수해야 한다.

보안·거버넌스에서 지키는 선

정책 엔진에서 속성기반 정책으로 세분화하고 예외는 승인 워크플로로 관리하는 최소 권한·기본 차단 원칙이 기본이다. 민감정보는 정규식·통계·샘플링을 혼합해 탐지하되 오탐·미탐 피드백 루프를 운영해야 하고, 계보 신뢰성은 SQL 파서와 오케스트레이터 이벤트를 병합하되 컬럼 레벨을 우선하고 수동 보정은 감사 추적을 유지한 채 허용한다. 멀티테넌시 환경에서는 도메인 격리(네임스페이스)와 조직 단일 검색 사이의 균형을 잡아야 하고, 크로스 도메인 접근은 정책·감사를 강화한다. 메타데이터 저장소는 이중화하고 인덱스 재구축을 자동화하며 백업·리플레이 절차를 문서화해야 가용성을 지킬 수 있다.

효과는 숫자로 이렇게 나타난다

탐색 시간은 평균 6090% 줄어드는데, 200명이 하루 0.5시간씩 아낀다고 하면 하루 100시간이 절감되는 규모다. 비표준·중복 테이블은 2040% 축소되고, 규칙 위반·스키마 드리프트 같은 품질 이슈는 3050% 감소하며, 신규 분석가가 생산성에 도달하는 온보딩 기간은 3050% 단축된다. 정성적으로는 신뢰 기반 협업 문화가 자리 잡고 데이터 제품 책임성이 강화되며, 규제 대응 민첩성이 오르고 데이터 보안 사고 위험이 줄어든다.

결국 데이터 카탈로그는 자동 수집·표준화·계보·품질·정책 집행을 하나의 허브에 모아 탐색과 신뢰, 준수를 동시에 잡는 인프라다. 우선 도메인부터 90일 로드맵으로 단계적으로 도입하고, 조직 맥락에 맞는 솔루션을 골라 운영 지표 기반으로 계속 다듬는 편이 현실적이다.