변경 영향 기반 테스트로 회귀 테스트 범위 최적화하기

변경 범위에 맞춰 회귀 테스트를 고르는 방식

대규모 모노레포와 마이크로서비스 환경에서는 변경과 무관한 테스트까지 전부 실행할 때 CI/CD 비용과 대기 시간이 빠르게 늘어난다. 변경 영향 기반 테스트는 소스, 구성, 스키마 같은 아티팩트 변화가 어느 컴포넌트와 테스트에 닿는지를 모델링하고, 영향 범위와 리스크를 수치화해 실행 대상을 선별하는 회귀 테스트 최적화 기법이다.

코드와 데이터 의존성 그래프, 테스트 커버리지, 변경 메타데이터(diff·변경 파일·변경 라인), 결함 히스토리 기반 리스크 모델을 결합해 테스트 후보 집합과 실행 순서를 정한다. 목표는 결함 탐지율을 유지하거나 개선하면서 테스트 시간, 자원, 플레이키(Flaky) 노이즈를 줄이는 데 있다.

입력부터 피드백까지 이어지는 실행 흐름

변경 diff와 수정된 파일·함수 목록을 수집하고, 정적 의존성 그래프(AST, call graph, module deps) 및 동적 커버리지(map of tests→lines/classes)를 함께 확보한다. 변경된 구성과 스키마의 메타데이터도 영향 분석 대상이다.

이 입력으로 영향 전파를 계산한 뒤 변경 범위와 테스트를 매핑한다. 결함 히스토리, 복잡도, 커버리지 갭을 바탕으로 리스크 점수를 산출하고 우선순위 큐를 만든다. 이후 테스트를 병렬로 실행하며 실패와 새 커버리지 정보를 다시 모델에 반영한다.

커버리지가 부족하거나 의존성 그래프가 불완전한 경우에는 스모크 테스트나 전체 회귀를 수행하는 보수적 폴백이 필요하다. 플레이키 테스트는 격리와 재시도로 별도 처리한다.

⤢✕

영향 모델과 리스크 판단 기준

영향 모델은 정적 분석(AST, import/Gradle/Maven deps)과 실행 시 수집한 동적 커버리지를 결합해 아티팩트 그래프를 구성한다. 함수, 클래스, 패키지, 서비스 사이의 전파 경로를 따라 영향 집합을 구한다. 데이터와 스키마 변경, 구성 플래그(Feature Flag), 런타임 조건에서 발생하는 간접 영향까지 다룰 수 있어야 한다.

리스크는 변경 라인 수, 복잡도 변화(Cyclomatic), 결함 히스토리, 컴포넌트 중요도(SLO/거래/보안), 커버리지 공백을 가중합한 다차원 점수로 표현한다. 이 점수와 시간·머신 예산 제약을 함께 적용하면 선택할 테스트와 실행을 멈출 기준을 정할 수 있다.

영향 그래프와 커버리지 맵은 테스트와 변경 사항을 연결한다. 탐지 확률과 비용 대비 효율을 기준으로 우선순위를 정하고, 중복으로 커버하는 테스트는 탈중복 처리한다. 느리거나 플레이키한 테스트는 격리·재시도·우선순위 하향 정책에 반영한다.

실패 결과와 신규 커버리지는 그래프와 점수 모델을 계속 갱신하는 입력이 된다. 릴리즈별 탐지율과 시간 절감율을 KPI로 관리하며, 모델 신뢰도가 떨어질 때는 보수적 폴백, 규칙 검토, 관찰가능성 지표 개선으로 대응한다.

변경 유형별 적용 장면

모노레포의 웹·백엔드 환경에서는 프런트엔드 번들, 공유 UI 라이브러리, 백엔드 API 모듈 사이의 변경 전파를 그래프로 만들 수 있다. PR 단계에서는 영향 범위에 해당하는 단위·통합 테스트를 우선 실행하고, 머지 전 야간 배치에서 전체 회귀를 보완한다. E2E 전체 실행 대신 영향 범위의 통합 테스트를 먼저 돌리는 방식이다.

데이터 파이프라인에서는 스키마 변경과 DAG 의존성으로 영향 작업과 검증 쿼리를 선별한다. 데이터 품질 규칙 위반이 발생하면 스모크 쿼리 전체 실행으로 전환해 비용 절감과 SLA 충족을 함께 노린다.

모바일 앱의 다중 타깃에서는 모듈화된 라이브러리 변경에 연결된 화면과 기능 테스트만 선택할 수 있다. 디바이스 팜은 상위 리스크 케이스를 먼저 배정하고, 플레이키 UI 테스트는 격리 및 재시도 정책으로 다룬다.

마이크로서비스 API 계약에서는 OpenAPI/GraphQL 스키마 diff를 호환성 위험 판단에 사용한다. 계약 테스트와 소비자 기반 테스트(Consumer-driven)를 우선 실행하고, 브레이킹 체인지가 탐지되면 통합 환경의 스모크 테스트로 전환한다.

시간·비용·품질 사이의 운영 균형

레포 규모와 커버리지 품질에 따라 테스트 벽시계 시간은 4080% 단축하고, CI 러너 비용은 3060% 절감할 수 있다. 초기 실패 탐지율은 유지하거나 +5~15% 향상될 수 있으며, 중복 테스트 제거는 노이즈 감소로 이어진다.

PR 피드백 시간 단축, 플레이키 테스트 격리에 따른 재시도와 헛수고 감소, 변경 책임의 구체화에 따른 커뮤니케이션 비용 축소도 기대할 수 있다. 모델 신뢰도를 모니터링하고 폴백 정책을 유지하면 품질 리스크의 상한선을 통제할 수 있다.

접근 방식	성능(시간)	확장성	일관성(재현성)	안정성(탐지율)	운영 편의
전체 회귀	낮음: 변경과 무관한 전면 실행	중간: 리소스 선형 증가	높음: 변동 적음	높음: 이론상 최대	낮음: 비용·대기 시간 큼
변경 영향 기반	높음: 선택·우선순위 실행	높음: 그래프/캐시로 대규모 확장	중간~높음: 모델 품질 의존	중간~높음: 모델 튜닝 시 유지	높음: 피드백 루프 자동화
테스트 최소화(정적)	중간: 서브셋 고정	높음: 계산 단순	중간: 변경 패턴 민감	중간: 커버리지 공백 위험	중간: 규칙 관리 필요

변경 영향 기반 테스트의 성패는 의존성 그래프, 커버리지, 리스크 모델의 품질에 달려 있다. 데이터 수집부터 부분 적용, KPI 검증, 범위 확대 순으로 적용 범위를 넓히면 변경 중심 리스크 관리와 테스트 자원 최적화를 함께 운영할 수 있다.