데이터 과학 프로젝트를 움직이는 CRISP-DM·애자일·칸반 운영법

실험과 배포를 같은 운영 체계 안에 두기

데이터 과학 프로젝트는 가설이 바뀌고, 데이터 품질 문제가 발견되며, 평가 결과에 따라 이전 단계로 돌아가는 일이 반복된다. 비즈니스 문제를 모델 배포로 곧장 연결하는 방식만으로는 이 탐색 과정을 관리하기 어렵다.

CRISP-DM은 수명주기의 기준점을 제공하고, Agile for Data Science는 짧은 실험 단위에서 가설을 검증하게 한다. Kanban은 그 사이에 쌓이는 대기열과 의존성을 드러내 흐름을 조정한다. 세 방식은 모델 실험, 검증, 배포, 모니터링에 걸친 실행 체계를 함께 구성할 수 있다.

수명주기·실험·흐름을 맡는 방식

CRISP-DM은 비즈니스 이해에서 시작해 데이터 이해, 데이터 준비, 모델링, 평가, 배포로 이어지는 데이터 과학 표준 수명주기다. 각 단계의 산출물과 승인 조건, 단계 사이의 전이 규칙을 정하면 단계적 거버넌스와 게이트 기반 품질 관리에 활용할 수 있다.

이 체계에서는 데이터 소스, 피처 변환, 모델 버전, 평가 메트릭의 계보(Lineage)를 관리해야 한다. 평가 결과가 기대와 다르면 상위 단계로 돌아가 리스크나 가설을 수정하는 피드백 루프도 운영 절차에 포함된다.

Agile for Data Science는 가설을 중심으로 백로그를 만들고, 단기 스프린트 안에서 가치를 확인하는 운영 모델이다. 사용자 스토리 대신 분석 스토리와 스파이크 항목을 두고, 명시적인 시간상자(Timebox)를 적용한다.

착수 조건과 완료 조건은 DoR/DoD 품질 게이트로 잡을 수 있다. 데이터 접근 권한, 샘플링 계획, 수용 기준(metric delta, 신뢰구간 등)을 작업 전에 명세한다. Discovery 트랙에서는 가설과 실험을 설계하고, Delivery 트랙에서는 모델 제품화와 배포 자동화를 수행한다.

Kanban은 작업중(WIP) 제한과 풀 시스템을 통해 작업 흐름을 다룬다. 대기열을 줄이고 병목을 보이게 만들어 사이클타임 단축을 유도한다. 긴급, 고가치, 규제 이슈 같은 서비스 클래스를 정의하고, 클래스별 우선순위와 에스컬레이션 규칙을 문서화한다.

누적흐름도(CFD), 리드타임 분포, 차단 사유 분석은 지속적인 개선의 근거가 된다.

데이터 품질 이슈가 재학습으로 이어지는 흐름

⤢✕

비즈니스 문제는 가설, 데이터 준비, 모델링, 평가를 거쳐 배포와 모니터링으로 이어진다. 데이터 품질 이슈는 칸반의 품질 개선 작업으로 보내고, 평가가 수용 기준에 못 미치면 스파이크와 실험을 통해 데이터 단계로 되돌린다.

배포 전에 모델 레지스트리 등록을 원자적 트랜잭션으로 처리하고, 승인 정책 기반 게이트를 통과하도록 구성한다. 드리프트가 감지되면 재학습 항목을 백로그로 되돌려 다음 작업 흐름에 반영한다.

프레임워크별 역할과 운영 특성

항목	CRISP-DM	Agile for Data Science	Kanban
성능(속도/처리량)	단계 명확성으로 재작업 감소	짧은 스프린트로 피드백 가속	병목 제거로 흐름 최적화
확장성(조직/팀)	표준 수명주기로 확장 용이	스쿼드·챕터 구조와 궁합 우수	다팀 간 공통 보드·정책 운영 가능
일관성(프로세스)	단계별 산출물·게이트 표준화	DoR/DoD로 품질 기준 일관화	정책·WIP로 작업 규율 강화
안정성(리스크)	회귀 루프로 리스크 완화	실험 타임박스로 비용 통제	가시화·차단 관리로 변동성 감소
운영 편의	학습 곡선 낮음, 도입 용이	세레머니 운영 필요, 유연성 높음	도구 단순, 지표 운용 간편

제조·마케팅·금융 모델에서의 적용

제조 결함 예측 모델에서는 CRISP-DM 단계에 맞춰 데이터 이해와 품질 체크리스트를 운영하고, AUC와 정밀도-재현율 곡선을 평가 기준으로 명세할 수 있다. 애자일 스프린트는 피처 엔지니어링 가설 검증에 쓰고, 스파이크는 센서 드리프트 원인 분석에 사용한다. 품질 이슈와 의존성 작업은 칸반 보드에서 보이게 하며, WIP를 2~3으로 제한해 사이클타임을 30% 단축한다.

마케팅 LTV 모델과 실험 플랫폼에서는 Discovery 트랙에서 코호트를 정의하고 가설을 세운다. Delivery 트랙은 피처 파이프라인과 배포 자동화를 맡는다. CRISP-DM의 평가 단계에는 리프트와 ROI 수용 기준을 두고, 배포 전 모델 레지스트리 등록을 의무화한다. 캠페인 마감 이슈는 Kanban 서비스 클래스로 우선 처리하고, 예측과 실적의 편차는 재학습 백로그로 연결한다.

금융 규제 보고용 대출 리스크 모델을 재검증할 때는 CRISP-DM 문서화 규격에 따라 데이터 계보, 가정, 제약사항을 기록한다. 검증 항목은 애자일 방식으로 나누고 우선순위를 정하며, 스프린트 리뷰에는 리스크와 컴플라이언스가 참여한다. Kanban의 차단 사유 관리는 승인 지연 병목을 줄여 SLA 만족률 95% 달성에 활용할 수 있다.

운영 지표로 확인하는 변화

이 운영 방식을 적용하면 평균 사이클타임은 2040% 단축되고, 재작업률은 1530% 감소할 수 있다. 배포 빈도는 2배 증가하며, 모델 성능 이탈 탐지 리드타임은 50% 단축된다.

수치 외에도 작업 가시성과 예측 가능성이 높아지고, 품질 기준이 업무 과정에 자리 잡는다. 컴플라이언스 대응력과 팀 간 의존성 관리 효율도 함께 강화된다.

정책과 도구를 연결하는 운영 설계

CRISP-DM 단계별 산출물과 게이트를 정의한 뒤 Agile 세레머니 캘린더를 정한다. Kanban 보드는 Ready, Doing, Review, Deploy, Monitor 칼럼으로 구성하고, WIP 기준과 차단 사유 분류 코드를 함께 둔다.

DoR/DoD, 수용 기준(metric delta, 신뢰수준), 데이터 품질 규칙, 예외 처리 정책은 작업 단위에 적용할 품질 기준이 된다. 이슈 트래커, 모델 레지스트리, 피처 스토어, 실험 추적(MLflow 등)을 통합하고, CFD, 리드·사이클타임, 실패 배포율, 실험 성공률을 주간 점검한다.

표준화와 유연성, 흐름 안정화, 규제 대응성은 이 방식의 장점이다. 반면 세레머니와 문서화 오버헤드가 늘고 탐색 작업의 추정은 여전히 어렵다. 스파이크 타임박스, 크기가 작은 스토리 분할, Discovery/Delivery 듀얼 트랙, 지표 기반 회고로 그 부담을 조절할 수 있다.