DW 2.0 아키텍처: 실시간 통합과 메타데이터 기반 데이터 웨어하우스

배치 중심 DW를 넘어서야 하는 이유

데이터 활용 범위가 넓어지고 처리 속도 요구가 커지면서, 배치 처리 위주의 데이터 웨어하우스만으로는 대응하기 어려운 구간이 생겼다. DW 2.0(Data Warehouse 2.0)은 실시간 취합, 정형·비정형 데이터 통합, 메타데이터 기반 관리, 데이터 생명주기 중심 운영을 한 구조로 묶는 차세대 데이터 웨어하우스 개념이다.

핵심은 대용량 데이터를 실시간으로 처리하면서 비즈니스 변화에 민첩하게 대응하는 데 있다. 이를 위해 상호작용영역은 수집과 착륙을 맡고, 통합영역은 정제·통합·표준화를 수행한다. 준보관영역은 저비용 고가용 분석 캐시로, 아카이브영역은 장기 보존 공간으로 사용한다.

이 구조는 레이크하우스 포맷인 Delta, Iceberg, Hudi와 CDC·스트리밍 처리의 표준화를 포함한다. 비정형·반정형 데이터까지 포괄하고, 실시간과 배치를 함께 운영하며, 데이터 카탈로그와 계보(Lineage), 스키마 진화, 정책 기반 접근 제어를 내재화한다.

데이터가 이동하는 경로와 저장 영역

데이터는 수집, 정제·통합, 활용, 준보관, 아카이브 순서로 이동한다. 각 영역은 성능·비용·일관성 목표가 다르므로 하나의 저장소와 처리 방식으로 일괄 운영하지 않는다. 핫·웜·콜드 티어링을 적용하면 저장·컴퓨팅 비용을 조절하면서 데이터 거버넌스의 일관성을 유지할 수 있다.

로그, 문서, 이미지, 오디오 같은 비정형 데이터는 오브젝트 스토리지를 기반으로 관리한다. 텍스트 추출, OCR, 벡터화 전처리 파이프라인을 표준화하고, 검색·벡터 인덱스와 메타데이터를 통해 탐색성을 확보한다. 정형 데이터와 결합할 때는 공통 키와 타임라인 정렬이 필요하다.

변화가 잦은 업무에서는 CDC 기반 변경 데이터 캡처와 함께 Backfill, 버전드 스키마, Contract 테스트를 적용한다. 마트 레이어의 뷰, 머티리얼라이즈드 뷰, 피처 스토어는 요구 변화에 맞춰 구성을 바꾸는 수단이 된다.

⤢✕

영역	주요 저장소/컴퓨팅	성능	확장성	일관성	안정성	운영 편의
상호작용영역	메시지 브로커, 랜딩 버킷	밀리초~초 단위 인입	이벤트 수평 확장 우수	최종적 일관성 중심	재시도/역압 기반 내결함성	스키마 온 리드, 간단 운영
통합영역	스트리밍 엔진, 레이크하우스	초~분 단위 처리	컴퓨트·스토리지 분리 확장	ACID 테이블로 스냅샷 일관성	체크포인트/Exactly-once 구성	파이프라인/카탈로그 자동화
준보관영역	컬럼너·MV·캐시	서브초~초 쿼리	캐시 수평 확장	소스 대비 약한 강도(동기화 주기 의존)	캐시 재빌드 용이	비용 대비 성능 우수
아카이브영역	콜드 스토리지	지연 허용	무제한 확장	불변 스냅샷 기반	장기보존/법규 준수	자동 Lifecycle 정책

메타데이터가 운영 기준을 연결하는 방식

DW 2.0에서 메타데이터는 부가 정보가 아니라 운영 기준이다. 기업 메타데이터는 범기업 표준 용어집, 택소노미, 도메인 모델과 함께 데이터 주체·소유자·보안 등급을 정의한다. 거버넌스 정책과 표준 KPI 정의의 단일 진실 공급원이 여기에 속한다.

로컬 메타데이터는 팀과 파이프라인 단위의 스키마 매핑, 품질 규칙, 변환 로직 버전 정보를 다룬다. 실험적 모델과 A/B 파이프라인 구성, 롤백도 이 계층에서 지원한다.

비즈니스 메타데이터에는 KPI·지표 정의서, 계산 논리, 임계값·SLA, 데이터 사용 맥락 설명서가 포함된다. 데이터 제품 계약서(Data Contract)와 서비스 카탈로그도 함께 관리한다.

테크니컬 메타데이터는 테이블·컬럼 스키마, 파티셔닝, 통계, 실행 계획, 계보(Lineage), 데이터 품질 지표를 기록한다. 민감정보 태깅과 마스킹·토큰화 정책, 접근 제어 바인딩 역시 이 범주에 속한다.

이 계층은 카탈로그·계보·품질지표를 통합하고, ABAC/RBAC 기반 접근 제어, PII 마스킹, 라이프사이클·보존정책 자동 시행으로 이어진다.

실시간 파이프라인에서 관리할 조건

입력 단계에서는 OLTP CDC, 이벤트·로그, 파일·오브젝트 업로드를 소스로 받는다. 스키마 등록은 필수이며, PII 마스킹 규칙을 사전에 적용하고 Contract 검증을 통과해야 한다.

처리 단계의 스트리밍은 이벤트 정렬, 중복제거, 세션화, 키 기반 MERGE 업서트와 워터마크 지연 허용치 관리를 포함한다. 배치·ELT는 랜딩에서 정제, 표준화, 서브젝트 레이어로 흐르며 ACID 테이블에 커밋한다. 트랜잭션과 락은 레이크하우스 테이블의 스냅샷 격리, 멱등 MERGE, 스테이징+스왑 로드로 다룬다.

출력 단계에서는 데이터마트·뷰·피처 스토어를 동기화하고 캐시를 갱신한 뒤 BI와 API로 배포한다. 이때 메타데이터 카탈로그와 계보도 자동으로 반영해야 한다.

오류는 DLQ(Dead Letter Queue)로 분기하고 카나리·리트라이라인, 역압·스로틀링으로 제어한다. 스키마 진화에 실패했을 때는 호환 모드 전환, 서킷브레이커 발동, 이전 버전 롤백을 세이프가드로 둔다.

실시간 신호가 필요한 업무

옴니채널 리테일에서는 POS CDC와 웹·앱 이벤트 스트리밍을 결합해 매장과 온라인 재고를 동기화한다. 수요 급증은 1~2분 내에 탐지하고, 가격·프로모션 엔진에 API로 반영한다.

제조 환경에서는 센서 타임시리즈와 정비 이력을 통합해 피처 스토어로 관리한다. 이상 징후가 발생하면 근실시간 알림을 보내고 부품 교체 리드타임을 최적화한다.

금융 업무에서는 카드 거래 CDC에 디바이스 지문·위치 이벤트를 결합한다. 피처 재계산 지연을 5초 이내로 유지하면서 의심 거래 차단률 개선을 목표로 한다.

지연·신뢰성·비용에 미치는 변화

DW 2.0은 수집부터 인지와 조치까지의 지연을 배치 24h에서 스트리밍 1~5분 수준으로 단축한다. ACID 레이크하우스와 계보·품질지표를 함께 적용하면 데이터 결함 검출률을 높일 수 있으며, 가령 누락 탐지 90%+가 제시된다.

데이터 제품 개발 리드타임은 3050% 단축하고 스키마 변경 리스크를 줄일 수 있다. 티어링과 컴퓨트·스토리지 분리를 적용하면 워크로드 의존 가정 아래 TCO를 2040% 절감할 수 있다. 라벨링·마스킹·보존정책을 자동화하면 규제 감사 대응 시간도 줄어든다.

초기 도입은 고객과 수익 영향이 높은 업무부터 단계적으로 시작할 수 있다. 레이크하우스 기반 표준화와 CDC·스트리밍 파이프라인을 갖추는 일은 메타데이터·거버넌스 체계 구축과 분리되지 않는다.