데이터 사이언스 프로젝트를 운영하는 Agile·CRISP-DM·Kanban

데이터 과학 프로젝트는 계획대로 직선으로 진행되지 않는다. 가설은 데이터 앞에서 수정되고, 모델 성능은 배포 뒤의 운영 조건에서 다시 검증된다. 이 반복을 감당하면서도 비즈니스 대응 속도와 재현성, 규제 요구를 놓치지 않으려면 Agile, CRISP-DM, Kanban을 하나의 운영 흐름으로 엮을 필요가 있다.

반복 학습·표준 절차·흐름 관리를 함께 둔다

Agile in Data Science는 짧은 반복 주기 안에서 가설을 세우고, 실험하고, 학습한 뒤 방향을 조정하는 방식이다. 스프린트 계획, 데일리 스탠드업, 리뷰와 레트로스펙티브는 그대로 쓰되, 불확실성과 탐색 업무가 많은 데이터 과학 작업에 맞춰 경량화한다.

CRISP-DM은 Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation, Deployment으로 이어지는 표준 프로세스다. 프로젝트 거버넌스와 산출물의 일관성을 확보하고, 의사결정 근거를 재현 가능하게 남기는 데 쓰인다.

Kanban for Analytics는 보드와 WIP(Work-In-Progress) 제한을 통해 대기와 병목을 드러내고 흐름을 조정한다. 대기·진행·검토·완료 상태를 시각화하고, Pull 방식으로 우선순위를 바꾸면서 리드 타임을 관리한다.

세 방법론의 역할은 겹치기보다 보완적이다. Agile은 학습 속도, CRISP-DM은 절차와 통제, Kanban은 작업 흐름에 초점을 둔다.

방법론	목적/적합 범위	속도(Delivery)	확장성(조직/포트폴리오)	일관성(프로세스)	안정성(품질/리스크)	운영 편의(툴/관행)
Agile in DS	가설 검증·빠른 학습	높음	중간	중간	중간	높음
CRISP-DM	표준 절차·거버넌스	중간	높음	높음	높음	중간
Kanban for Analytics	흐름 최적화·대기 감소	높음	높음	중간	중간	높음

표준화와 안정성은 CRISP-DM이, 속도와 운영 편의는 Agile과 Kanban이 우위다. 포트폴리오 수준으로 확장할 때는 Kanban과 CRISP-DM의 조합이 유리하다.

가설 중심 스프린트에 거버넌스와 흐름 지표를 연결한다

역할은 비즈니스 가치, 실험, 파이프라인, 검증 책임이 섞이지 않게 둔다. Product Owner는 비즈니스 가치를 책임지고, Analytics Lead/DS는 실험 설계와 모델링을 맡는다. MLOps/DE는 데이터와 배포 파이프라인을, QA/Compliance는 검증과 규제 준수를 담당한다. 데이터 민감도나 모델 리스크 등급에 따른 심의 절차처럼 변경 관리와 승인 게이트도 정의한다.

스프린트의 목표는 명시적인 비즈니스 가설로 설정한다. 완료 정의(DoD)에는 재현 가능한 노트북, 실험 기록, 성능 기준 충족을 포함한다. 스프린트 사이의 피드백에서는 사이클 타임, WIP, Throughput 같은 Kanban 흐름 지표를 보고 계획을 보정한다.

보드는 Backlog → Ready → Doing → Review → Done으로 표준화할 수 있다. WIP 제한은 예를 들어 Doing=3, Review=2처럼 지정한다. 이때 함께 보는 지표는 사이클 타임, 리드 타임, Throughput, Blocker 빈도, Rework율이다.

품질과 재현성은 데이터·특징·모델 버저닝(DVC, LakeFS, Model Registry), 실험 추적(MLflow)으로 관리한다. 오프라인·온라인 일치성을 검증하고 Drift를 모니터링하며, 성능 하한·에러율 상한·비즈니스 KPI 악화를 기준으로 롤백 조건을 정한다.

이슈와 보드는 Jira, Azure Boards로, 코드와 데이터는 Git, DVC로 관리할 수 있다. 실험과 모델에는 MLflow, Weights & Biases를 사용하고, 배포와 관측에는 CI/CD, Feature Store, A/B, Canary를 둔다. 데이터 검증부터 특징 빌드, 학습, 평가, 패키징, 배포까지 이어지는 표준 파이프라인 템플릿도 제공한다.

백로그에서 운영 피드백까지 이어지는 흐름

입력은 비즈니스 목표, 데이터 소스 인벤토리, 규제·보안 요구사항이다. 백로그를 정제하고 WSJF 또는 가치-노력 매트릭스로 우선순위를 정한 뒤, Ready 기준 충족 여부를 확인한다. 스프린트에서는 가설과 DoD, 수용 기준을 명시하고 CRISP-DM의 Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation, Deployment 단계를 수행한다. 각 단계 산출물은 버저닝한다.

리뷰와 데모, 레트로스펙티브에서는 성과·지표·위험·다음 가설을 결정한다. 배포는 Canary 또는 Shadow 같은 단계적 릴리즈로 진행하고, 모니터링과 롤백을 자동화한다. 결과물은 검증된 인사이트 또는 모델, 문서화되고 재현 가능한 파이프라인, 모니터링 대시보드, 다음 작업을 위한 교훈 백로그다.

데이터 품질이 스키마·누락·편향 문제로 실패하면 Data Preparation으로 되돌리고 Blocker 라벨과 에스컬레이션을 적용한다. 성능·윤리·규제 평가를 통과하지 못하면 가설, 피처, 알고리즘을 다시 설계하고 승인을 보류한다. 프로덕션에서 지연, 에러율, KPI 하락이 발생하면 자동 롤백 후 RCA를 수행하고 가드레일을 상향한다.

⤢✕

추천·제조·신용 리스크에서의 적용 방식

개인화 추천 모델을 고도화할 때는 2주 스프린트를 6회 운영하고, 각 스프린트 목표를 가설 단위로 둔다. 예를 들어 신선도 피처 추가 시 CTR 3%p 상승이라는 가설을 검증한다. 칸반 WIP는 3으로 두고 사이클 타임 중앙값을 8일에서 5일로 단축하며, 데이터 딕셔너리·실험 리포트·평가 기준을 CRISP-DM 산출물로 표준화한다.

제조 불량 탐지에서는 시계열과 이상치 분석을 위해 CRISP-DM 기반 데이터 이해·준비 체크리스트를 사용한다. 이 방식으로 센서 캘리브레이션 오탐을 20% 줄일 수 있다. Canary 배포는 10% 트래픽으로 시작하고, Drift가 감지되면 자동으로 임계치를 조정하거나 롤백한다.

신용 리스크 스코어 개선에서는 모델 리스크 등급 상·중·하에 따라 승인 게이트를 다르게 적용한다. 설명가능성(EFX) 리포트는 DoD에 포함한다. Shadow에서 A/B로 전환한 뒤 규제 KPI가 미충족이면 즉시 롤백하고, 재평가 백로그를 자동 생성한다.

탐색의 자유와 통제 수준을 조정한다

Ready와 Done의 기준을 분명히 하고 노트북, 데이터카드, 실험 로그, 평가 리포트처럼 필요한 산출물의 최소세트를 표준화한다. 실험 단위의 비용과 가치는 WSJF로 보이게 하며, 장기 리서치는 Epic으로 분리해 흐름의 병목을 막는다. 스키마, 품질, 드리프트, 성능에 대한 데이터·모델 관측성은 CI/CD 파이프라인에 통합한다.

이 운영 방식에는 조정할 지점도 있다. 탐색적 연구의 자유도와 DoD의 엄격성 사이에서는 초기 스프린트에 탐색 버퍼를 허용하고, 수렴 단계에서 기준을 엄격하게 적용한다. WIP 제한을 강화하면 전문 인력 병목이 커질 수 있으므로 스와핑을 최소화하고 페어링·모빌리티로 완화한다. 문서와 거버넌스를 표준화할수록 속도가 떨어질 수 있으므로 위험도에 따라 문서화 수준을 달리한다.

측정 가능한 운영 개선 범위

이 체계는 리드 타임 2540% 단축, 사이클 타임 2035% 단축, 재작업률 1530% 감소를 기대 효과로 둔다. 실험 처리량은 1.31.8배 증가하고, 배포 빈도는 주 1회에서 주 2~3회로 향상될 수 있다.

모델 운영에서는 장애·롤백 빈도를 3050% 줄이고, 오프라인–온라인 간 불일치 이슈를 40% 이상 줄이는 것을 목표로 삼는다. 규제·감사 대응 시간은 30% 이상 단축하고, 지식 재사용률을 높여 온보딩 기간을 2030% 단축할 수 있다.

가설 중심 스프린트, 표준 산출물과 승인 게이트, WIP 제한 및 관측성 자동화가 이 운영 체계의 축이다. 조직의 성숙도에 맞춰 단계적으로 도입하고, 흐름과 품질 지표를 바탕으로 조정한다.