데이터 웨어하우스가 스키마부터 못박는 이유

전사 차원의 의사결정을 지원하려면 정형 데이터를 목적별로 집계·분석 가능한 상태로 쌓아두는 저장소가 필요하다. 데이터 웨어하우스는 주제 지향(Subject-oriented), 통합(Integrated), 비휘발성(Non-volatile), 시변성(Time-variant) 특성을 갖는 전사 데이터 저장소로, 운영계(OLTP) 시스템에서 발생한 내부 정형데이터를 리포트·대시보드·OLAP 분석에 맞게 적재한다. 비정형/반정형 중심의 데이터 레이크와 달리 스키마를 사전에 정의하고 강한 일관성을 보장하기 때문에, 품질 관리와 회계·감사 대응에 특히 적합하다.

구조: 스타 스키마와 배치 ETL이 골격이다

컴퓨팅·스토리지는 유닉스 서버 기반 SMP 또는 어플라이언스형 MPP 아키텍처로 구성하고, 고성능 SAN 연결과 대용량 캐시로 대규모 스캔·조인을 처리한다. 테라바이트급 파티셔닝과 병렬 처리로 피크 타임 리포팅 동시성을 보장하며, I/O 경합을 줄이기 위해 테이블스페이스를 분리한다.

데이터 모델링은 사실 테이블과 차원 테이블로 구성되는 스타·스노우플레이크 스키마를 쓴다. 서러게이트 키와 공통 차원(Conformed Dimension) 설계로 교차 분석의 일관성을 확보하고, SCD Type 2 같은 이력 관리로 시점별 KPI를 재현 가능하게 만든다. 날짜·조직·제품 중심의 표준 차원 체계를 세우는 것이 기본이다.

ETL은 소스 추출 → 스테이징 → 변환/정제 → 키 매핑 → 적재로 이어지는 배치 파이프라인이다. 품질 규칙 검증과 에러 격리 구간을 명확히 나누고, 트랜잭션 경계 설정·멱등성 확보·부분 실패 롤백 전략을 세운 뒤 스케줄러·워크플로 엔진으로 의존성을 관리한다.

OLAP과 가속화 레이어는 집계 테이블, 머테리얼라이즈드 뷰, 큐브(MOLAP/ROLAP)로 쿼리 경로를 단축한다. 빈번히 조회되는 지표는 미리 계산해두고 인덱스를 최적화하며, 파티션 프루닝·세그먼트 캐시·조인 힌트 같은 물리적 튜닝을 병행하고, 리포트·대시보드 도구와의 시맨틱 계층을 정의한다.

거버넌스·보안·운영은 데이터 카탈로그와 계보(Lineage) 관리로 변경 영향도를 추적하고 표준 데이터 사전을 구축하는 데서 시작한다. 역할 기반 접근 통제(RBAC), 행/열 수준 보안, 감사 로깅, 백업/DR 계획을 세우고, 변경관리(CAB)와 배포 자동화 파이프라인을 함께 운영한다.

절차: 스테이징부터 커밋까지

⤢✕

어디에 쓰이는가

재무 결산 리포트 자동화에서는 ERP(GL/AP/AR)의 정형데이터를 통합 적재하고 환율·계정매핑·조정분 처리 규칙을 모델링한다. 월말 배치 ETL과 결산 전후 스냅샷을 관리해, 감사 추적이 가능한 PDF/BI 리포트를 배포한다. 영업 성과 대시보드는 CRM·주문·청구 데이터를 통합해 고객·제품·지역 차원 기준으로 KPI를 정의하고, 일일/시간 단위 집계 테이블로 응답속도를 확보하며 OLAP 슬라이스·다이스로 세그먼트 분석을 지원한다. 제조 품질/원가 분석은 MES/SCM/설비 로그 중 정형 지표를 중심으로 수집해 로트·공정·설비 차원으로 불량·수율 트렌드를 분석하고, 시간 파티셔닝·압축·집계뷰로 테라바이트 규모 데이터에서도 빠른 진단을 가능하게 한다.

숫자로 보는 효과

보고 자동화는 월간 수작업 120시간에서 24시간 수준으로, 약 80% 절감된다. 주요 KPI 대시보드 응답은 120초에서 812초로, 약 1015배 향상된다. 품질 규칙 준수율은 99.9%를 달성하고 이력 재현성이 확보되며, 가용성은 계획상 99.95% 수준에 RPO 1일 이내, RTO 4시간 이내를 목표로 잡는다. 감사 대응은 라인리지·로그 기반 근거 제시 시간이 70% 이상 단축된다.

트레이드오프는 결국 "얼마나 자주 바뀌는가"의 문제다

차원 모델링은 성능·일관성 면에서 유리하지만, 스키마 변경이 잦은 도메인에서는 뷰나 세맨틱 레이어로 완충해야 한다. 집계 테이블은 성능을 끌어올리지만 최신성 요구가 높다면 마이크로배치·CDC를 혼합해야 한다. 날짜 기준 파티셔닝은 프루닝을 극대화하지만 과도하게 쪼개면 메타데이터 오버헤드가 커진다. 인덱스와 머테리얼라이즈드 뷰는 조회를 가속하는 대신 적재 윈도우와 리프레시 비용을 늘리고, 야간 배치 중심 운영은 24x7 서비스 환경에서는 단계적으로 스트리밍·배치 하이브리드로 옮겨가야 한다.

항목	전통형 EDW(유닉스/온프레미스)	현대형 클라우드 DWH
성능	고성능 스케일업, I/O 튜닝 중심	스케일아웃, 자동 쿼리 최적화/캐시
확장성	용량·코어 선투자, 증설 리드타임 장기	탄력적 확장/축소, 사용량 기반
일관성	강한 일관성, 트랜잭션 제어 강조	강한 일관성 또는 서비스별 선택
안정성	이중화/DR 직접 설계 필요	관리형 복제·스냅샷 내장
운영 편의	패치/튜닝 수작업 비중 높음	자동화·서버리스 옵션 풍부

도입·운영 체크리스트로는 보존 기간·성장률·동시 사용자 수 기반 용량·I/O·메모리 산정, 누락/중복/참조무결성/코딩 규칙과 실패 시 격리·재처리 표준 운영, 차원별 이력 보존 기간과 SCD 유형(Type 1/2/3) 정의 및 재현성 검증, RBAC·행/열 보안·PII 마스킹·감사 로그 보존, 스키마 마이그레이션 자동화와 뷰·지표 회귀 테스트를 챙긴다. 결국 데이터 웨어하우스는 엄격한 모델링과 품질·거버넌스로 정형 데이터를 통합해, 숫자가 언제 다시 봐도 같은 값으로 나와야 하는 업무에서 그 역할을 한다.