DW 데이터 파이프라인을 위한 ETT 설계와 운영

전송 계층까지 관리하는 DW 파이프라인

ETT(Extraction, Transformation, Transportation)는 운영계의 파일·DB·로그에서 데이터를 꺼내 정제·변환한 뒤, 안전하고 효율적으로 전송·적재하는 전 과정을 다룬다. 목적은 DW의 일관성과 통합성을 유지하는 데 있다.

ETL과 닮았지만, ETT는 Loading을 전송(Transportation)과 적재 오케스트레이션으로 나눠 본다. 네트워크 경로, 압축과 암호화, 전송 오류 재시도, 청크 관리, 스테이징 관리가 독립적인 설계 대상이 된다. 데이터 품질 확보와 이기종 표준화, 성능 튜닝 때문에 이 영역은 DW 구축 노력의 80%+를 차지한다.

소스에서 타깃까지 이어지는 처리 책임

추출 단계에서는 RDBMS, Mainframe(SAM/VSAM), CSV·JSON·Parquet 파일, Log·Queue 메시지처럼 서로 다른 소스를 다룬다. CDC(Change Data Capture) 기반 증분 추출과 스냅샷, 하이브리드 방식을 업무 특성에 맞춰 선택하며, 운영계 부하를 최소화해야 한다.

정제와 변환에서는 코드 체계 매핑, 스키마 정규화, 단위·타임존·문자셋 통일, 중복 제거를 수행한다. 도메인 및 참조 무결성을 검사하고 이상치·결측치를 처리하며, 문제가 있는 레코드는 Quarantine으로 격리해 재처리 큐에서 다룬다.

전송과 적재는 압축·암호화·청크 전송, 병렬 스트림, 오프피크 스케줄링, 네트워크 대역폭 제약을 함께 고려한다. 적재는 스테이징, 검증, 타깃 커밋으로 이어지는 2단계 로딩으로 안정성을 확보한다. 멱등성(Idempotency), 체크포인트, 재시도 정책도 이 흐름에 포함된다.

배치·세미온라인·온라인 처리는 SLA, 데이터 신선도, 비용을 기준으로 혼용할 수 있다. 스키마 버전, 라인리지, 품질 지표, SLA는 메타데이터와 카탈로그를 통해 관리한다.

스테이징 검증을 거쳐 DW에 반영하는 흐름

ETT의 입력은 운영계 DB·파일·로그, 메타데이터, 스케줄러 트리거다. 증분 추출 뒤 정제·검증과 매핑·집계를 수행하고, 압축·암호화 전송을 거쳐 스테이징에 적재한다. 이후 검증을 통과한 데이터만 타깃에 커밋한다. 결과물은 DW의 스테이징·사실·차원 테이블, 거부 레코드 저장소, 감시·감사 로그다.

⤢✕

스테이징 단위로 파티션 락을 적용하고, 검증을 통과한 건만 타깃 테이블에 멱등 커밋한다. 실패한 파티션은 롤백한다. 전송 실패에는 지수 백오프 재시도와 체크포인트 기반 재개를 적용하며, 불량 레코드 격리와 감시 알림을 연계한다.

전송 방식은 지연과 운영계 영향의 균형 문제다

오프라인 방식은 SAM·파일을 이용하는 대용량 배치에 적합하며, 네트워크 제약이 있는 환경에서 사용할 수 있다. 파일 무결성을 위한 해시와 재전송 정책이 필요하다.

온라인 방식은 DB 연결을 사용해 낮은 지연과 트랜잭션 일관성을 확보하기 쉽다. 대신 소스 시스템 부하와 락 영향을 관리해야 한다.

세미온라인 방식은 로그나 CDC를 주기적으로 전송해 near real-time 처리를 지원한다. 지연과 비용의 균형을 맞추고, 재생 가능한 로그를 설계해야 한다.

ETL 서버의 위치에 따라 달라지는 선택지

아키텍처	성능	확장성	일관성	안정성	운영 편의
운영시스템 중심	소스 근접 처리로 추출 성능 우수하나 운영계 부하 위험	운영계 스케일 한계	트랜잭션 일관성 확보 용이	운영계 장애 전파 위험	변경·배포 절차 복잡
DW 중심	적재·집계 최적화 유리	DW/레이크 확장 용이	스테이징 통한 검증 용이	소스-타깃 네트워크 의존	단일 플랫폼 관리 용이
별도 ETL 서버 중심	전송·병렬화 최적화	수평 확장으로 파이프라인 분산	멱등 설계로 최종 일관성 보장	격리로 장애 확산 최소화	중앙 오케스트레이션 용이

운영 기준에 포함할 항목

하드웨어와 비용 측면에서는 네트워크 대역폭, 디스크 I/O, CPU·메모리, 라이선스·클라우드 요금을 함께 본다. 개발과 유지보수를 위해 코드와 구성을 분리하고, 템플릿·컴포넌트화 및 메타데이터 드리븐 파이프라인을 적용할 수 있다.

문자셋과 스키마 드리프트를 처리하면서 자동 타입 변환 성능을 관리하고, 벡터화 변환과 프리디케이트 푸시다운도 검토 대상이다. 보안은 전송 시 TLS, 저장 시 암호화, RBAC, PII 마스킹·토크나이제이션을 포함한다.

체크포인트와 재시도, 멱등 키, 데이터 품질 SLO, 모니터링·알림은 신뢰성의 기반이다. 이기종 운영계의 표준화 부재에는 어댑터 계층, 커넥터 카탈로그, 스키마 레지스트리로 대응한다.

DW 적재와 로그 통합에서의 적용

ERP 일배치 적재에서는 ERP RDB의 CDC와 마스터·트랜잭션 테이블을 입력으로 사용한다. 스테이징 파티션 로드와 참조 무결성 검증 뒤, 사실·차원 테이블에 SCD Type2를 반영한다. 결과는 매출 사실과 고객·상품 차원이며 SLA는 일 1회 D+1 06:00 완료다.

로그 기반 세미온라인 통합은 앱 로그·CDC 토픽을 1~5분 마이크로배치로 처리한다. 스키마 진화에 대응하고 Watermark로 지연 데이터를 처리하며, 이상치는 격리한다. 행동 분석 Mart와 Near real-time 대시보드가 출력 대상이다.

네트워크 제약과 대용량을 함께 다뤄야 한다면 청크 압축 전송, 오프피크 전송 창, 증분 필터링·파티셔닝을 조합할 수 있다. 이 방식에서는 전송 시간이 40% 이상 감소하고 소스 부하가 30% 이상 감소했다.

배치 소요시간은 2060% 단축되고, 불량 레코드율은 50%+ 감소하며, 재처리 비용은 30% 감소할 수 있다. 데이터 신선도(지연)는 3070% 개선된다. DW 신뢰도와 분석·AI 프로젝트 추진 속도를 높이는 동시에 운영계 안정성을 유지하고, 거버넌스와 감사 대응력도 강화할 수 있다.