Databricks Lakehouse와 Data Mesh로 설계하는 도메인 데이터 운영

데이터 평면과 책임 모델을 함께 설계해야 하는 이유

Lakehouse Architecture는 데이터 레이크의 개방형 스토리지와 데이터 웨어하우스의 ACID 및 관리 기능을 결합한 통합 분석 아키텍처다. Parquet 같은 오픈 포맷과 Delta Lake 트랜잭션 로그를 바탕으로 배치, 스트리밍, ML, BI를 단일 레이어에서 처리한다.

Data Mesh는 기술 스택보다 조직 운영에 무게를 둔다. 데이터 소유권을 각 도메인에 위임하고, 데이터를 제품으로 관리하게 하며, 플랫폼 팀은 공통 인프라와 거버넌스를 연방 모델로 제공한다.

두 모델은 경쟁 관계가 아니다. Lakehouse가 데이터 평면과 처리 기반을 제공한다면, Data Mesh는 누가 데이터를 책임지고 어떤 방식으로 제품화할지를 정한다.

Delta Lake에서 품질 계층까지 이어지는 처리 기반

Delta Lake는 Optimistic Concurrency 트랜잭션 로그와 스냅샷 격리를 통해 원자성과 일관성을 보장한다. Schema evolution/enforcement, Time Travel, Z-Ordering 같은 데이터 관리 기능도 이 계층에 포함된다.

데이터는 보통 Bronze, Silver, Gold 레이어를 거치며 정리한다. Bronze는 수집 원천을 담고, Silver에서는 정제와 정합을 수행하며, Gold는 서빙과 데이터 제품을 위한 계층이 된다. 이 구분은 데이터 품질을 높이는 동시에 각 단계의 책임을 나누는 기준이 된다.

Spark/Photon, Auto Loader, Structured Streaming은 배치와 스트리밍을 하나의 처리 흐름으로 묶는다.

카탈로그 정책과 도메인 데이터 제품의 경계

Unity Catalog는 데이터, 모델, 피처, 노트북을 중앙 카탈로그에서 관리하면서 권한, 라인리지, 감사 추적을 제공한다. 데이터 분류, 마스킹, 동적 필터링 같은 정책 집행도 이 지점에서 이뤄진다.

도메인 팀은 데이터 제품의 수명주기 전체를 맡는다. 수집부터 품질 관리, 문서화, SLA까지 제품 책임이 도메인에 남는다. 반면 플랫폼 팀은 표준 API, 템플릿, CICD, 메타데이터 및 정책 엔진을 서비스 형태로 제공한다.

Parquet/Delta 같은 오픈 포맷과 SQL/REST/ANSI 권한 모델은 벤더 종속을 줄이는 기반이다. 카탈로그를 통한 검색, 발견, 구독 흐름은 서로 다른 도메인의 데이터 제품을 교차 활용하는 경로가 된다.

수집부터 데이터 제품 소비까지의 흐름

⤢✕

원천 데이터는 스키마와 품질 규칙을 통과한 뒤 Bronze, Silver, Gold로 변환되고, 이후 도메인 데이터 제품과 소비 채널로 이어진다. 규칙을 위반한 데이터는 Quarantine/DLQ로 분기해 재처리 파이프라인을 구성한다. Delta Transaction Log는 커밋과 어보트, 스냅샷 기반 동시성 유지를 담당한다.

기술 플랫폼과 운영 원칙이 맡는 역할

항목	Lakehouse (Databricks)	Data Mesh (Principles)
성능	Photon/Spark, 캐시·Z-Order로 대화형·대용량 처리 최적화	성능 자체보다는 도메인별 튜닝 자율성과 SLA 정의 중심
확장성	스토리지/컴퓨트 분리, 탄력적 오토스케일	조직·도메인 단위 수평 확장, 데이터 제품 증가에 따른 확장
일관성	Delta ACID, 스냅샷 격리	계약 기반 스키마·SLA, 연방 거버넌스로 정책 일관성
안정성	Time Travel/롤백, 감사 추적	책임 주체 명확화로 운영 리스크 분산
운영 편의	카탈로그·워크스페이스 통합, CI/CD 파이프라인 표준화	표준 템플릿·플랫폼 서비스로 자율·준수 균형 확보

거래 분석, 피처 서빙, 감사 추적에 적용하는 방식

실시간 CDC 기반 거래 분석에서는 DB CDC 스트림과 거래 로그를 입력으로 사용한다. Auto Loader와 Structured Streaming으로 Bronze에 적재한 뒤 키 정합과 중복 제거를 거쳐 Silver로 넘기고, 집계와 지표 모델링을 통해 Gold를 만든다. Databricks SQL 대시보드로 제공할 때는 SLA 99.9%, 지연 목표 5분 이내를 둔다.

도메인 간 데이터 제품을 결합할 때는 마케팅 도메인의 고객 세그먼트와 리스크 도메인의 거래 위험 점수를 사용한다. Unity Catalog에서 카탈로그 검색과 접근 승인을 거친 뒤 Gold 제품을 조인하고, 계약 기반 스키마 검증을 수행한다. 결과는 추천 모델 입력 피처나 캠페인 타겟 리스트 API 서빙에 활용할 수 있다.

ML Feature Store 흐름에서는 Silver 테이블에서 생성한 피처 파이프라인을 입력으로 삼는다. 피처 등록, 버저닝, 라인리지 관리와 오프라인/온라인 동기화를 거쳐 온라인 예측 API와 A/B 실험 메트릭 집계로 연결한다.

PII가 포함된 데이터셋은 분류 태깅 후 동적 마스킹과 필터링을 적용하고, 접근 로그와 라인리지를 자동 수집한다. 감사 리포트, 접근 이벤트 알림, Time Travel 기반 증적 보존이 이 흐름의 산출물이다.

운영 표준은 중앙에서, 제품 책임은 도메인에서

거버넌스는 카탈로그, 분류, 마스킹을 포함한 중앙 정책 정의와 도메인별 예외 승인 프로세스를 함께 운영한다. 데이터 품질은 스키마, 분포, 참조무결성을 대상으로 하는 계약 기반 테스트와 DLQ 재처리 큐 표준화로 관리한다.

배포 흐름에는 IaC와 데이터 파이프라인 CI/CD를 두고, Delta Live Tables/Workflow로 선언형 파이프라인을 관리한다. 중앙 통제를 과도하게 강화하면 도메인 민첩성이 떨어질 수 있으며, 자율성을 지나치게 넓히면 표준 편차가 커질 수 있다.

통합 스택과 스토리지·컴퓨트 분리를 적용하면 비용/TCO는 2040% 절감이 기대된다. 데이터 수집에서 서빙까지의 리드타임은 3060% 단축되고, 파이프라인 장애 복구 시간은 50% 이상 개선될 수 있다. Z-Ordering/캐시 적용 시 대화형 쿼리 지연은 30~70% 개선되며, 계약 기반 품질 검증은 SLA 위반 건수를 40% 이상 줄일 수 있다. 라인리지와 감사 자동화는 감사 대비 준비 시간을 60% 단축한다.

Databricks Lakehouse는 통합 스토리지, 처리, 거버넌스를 위한 기술 표준 아키텍처이고, Data Mesh는 도메인 중심 제품화와 연방 거버넌스를 위한 운영 체계다. 초기에는 한 도메인 파일럿으로 카탈로그, 품질, 배포 표준을 세운 뒤 도메인 확대와 제품 카탈로그 운영으로 성숙도를 높이는 방식이 적합하다.