재테스트와 회귀 테스트를 구분하는 기준

변경 이후의 확인 작업이라도 재테스트와 회귀 테스트는 같은 일을 하지 않는다. 하나는 수정한 결함이 실제로 해결됐는지 확인하고, 다른 하나는 그 변경이 기존 기능을 손상하지 않았는지 확인한다. 이 구분은 일정, 비용, 리스크를 다루는 방식까지 바꾼다.

수정된 결함을 다시 확인하는 재테스트

재테스트(Retest)는 이미 보고된 결함을 수정한 뒤, 동일 환경·동일 데이터·동일 절차로 해당 테스트 케이스를 다시 실행하는 활동이다. 수정 효과를 검증하는 것이 목적이며, 결함을 재현한 케이스와 직접 영향을 받는 영역에 범위를 좁힌다.

단일 결함의 수정 완료가 일반적인 트리거다. 동일한 전제조건을 재현해야 하므로 데이터 격리와 환경 불변성이 필요하다. 대상 경로가 비교적 명확한 만큼 자동화하기 쉽고, 스텁 없는 직접 경로가 많아 실패 원인을 해석하기도 단순하다.

운영에서는 결함별 재검증 통과율, 재오픈률, 평균 재검증 리드타임을 확인 대상으로 삼을 수 있다.

변경의 부작용을 찾는 회귀 테스트

회귀 테스트(Regression Testing)는 코드·설정·환경이 바뀐 뒤 기존 기능이 의도치 않게 깨지지 않았는지 확인하는 활동이다. 제품 전반의 안정성을 확보하기 위해 변경 이력, 의존성 그래프, 사용량 데이터를 바탕으로 영향도를 분석하고 위험 기반으로 테스트 스위트를 선별한다.

머지, 릴리스, 환경 변경처럼 폭넓은 변경 이벤트가 실행 계기가 된다. 대표 시나리오, 크리티컬 경로, 통합 경계를 중심으로 커버리지를 구성하고, 테스트 데이터 팩토리·스냅샷·시드 전략을 함께 운용한다.

회귀 테스트는 장기적으로 자동화가 필수지만, 커버리지 유지, 플레이크 제거, 실행 시간 관리가 계속 과제로 남는다. 변경 당 회귀 누락 결함률(Defect Leakage), 회귀 스위트 실행 시간, 안정성(플레이크율), 리스크 커버리지가 주요 측정 항목이다.

범위와 운영 부담을 비교하면

지표	재테스트	회귀 테스트
성능(실행 시간/자원)	짧은 시간, 저자원 소비 경향	스위트 규모에 따라 중~장시간, 자원 집약적
확장성(스위트 규모 관리)	결함 단위로 선형 확장, 관리 용이	변경 빈도·모듈 수 증가 시 선별·샤딩 필요
일관성(재현성/플레이크)	높은 재현성, 환경 고정 시 안정	환경/데이터 종속 높으면 플레이크 발생 가능
안정성(리스크 커버)	국소적 품질 확인에 적합	전반적 안정성·변경 부작용 탐지에 강점
운영 편의(유지보수/자동화 비용)	스크립트 단순, 유지비용 낮음	커버리지 관리·우선순위·데이터 준비 비용 발생

릴리스 판단까지 이어지는 검증 흐름

영향도 분석을 출발점으로 두면 재테스트와 회귀 테스트를 병행하면서도 각각의 실패를 다르게 처리할 수 있다. 재테스트 실패는 결함 재오픈과 수정 반복으로, 회귀 실패는 제품 결함과 테스트 결함·플레이크의 분류로 이어진다.

⤢✕

핫픽스와 서비스 변경에서의 적용

핫픽스 릴리스에서는 재테스트를 먼저 실행하고, 수정 범위 직후의 경계 회귀 스모크를 10~15분 내 완료하도록 설계할 수 있다. 데이터 스냅샷과 환경 고정으로 재현성을 확보하며, 실패하면 즉시 롤백 규칙을 적용한다.

마이크로서비스 변경에는 서비스 경계별 계약 테스트(Consumer-Driven)와 공통 라이브러리 영향 경로의 회귀 묶음을 구성한다. 트래픽 기반 우선순위로 20% 경로가 80% 리스크를 커버하도록 스위트를 정기적으로 재구성한다.

모바일 앱 QA 파이프라인에서는 재테스트를 로컬·시뮬레이터에서 즉시 실행하고, 회귀는 디바이스 팜에서 병렬로 실행해 1시간 내 종료를 목표로 둔다. 네트워크 변동성은 프록시·모킹으로 완화하고, 플레이크 기준선은 <1%로 유지한다.

재테스트 자동화는 결함당 재검증 시간을 30~~70% 단축할 수 있다. 리스크 기반 회귀는 스테이지로 넘어가는 누락 결함률을 20~~40% 줄인 사례가 보고됐고, 스위트 샤딩·캐시·선별 실행은 CI 자원 사용을 25~~50% 절감할 수 있다. 데이터 스냅샷과 환경 고정은 플레이크율을 <1~~2%로 유지하는 데도 쓰인다.

재테스트는 결함 수정 확인을 위한 협소 범위의 검증 수단이고, 회귀 테스트는 변경 부작용을 차단하기 위한 광범위한 안정성 검증 수단이다. 영향도 분석을 기준으로 두 흐름을 나누고, 자동화·데이터 일관성·샤딩 전략을 결합하면 일정, 비용, 품질의 균형을 관리할 수 있다.