리스크 기반 테스트(RBT)로 테스트 우선순위 설계하기

테스트 범위를 리스크 노출도에 맞추는 방식

리스크 기반 테스트(Risk-Based Testing, RBT)는 제한된 시간과 예산 안에서 결함, 서비스 중단, 준법 위반처럼 사업 영향이 큰 위험에 테스트 역량을 우선 배치하는 접근이다. 발생확률과 영향도를 정량화하고, 리스크 노출도에 따라 테스트 범위·깊이·자동화 비율을 조정한다.

대표적인 산식은 다음과 같다.

RE(Risk Exposure) = P(발생확률) × I(영향도)
RPN(Risk Priority Number) = P × I × D(탐지가능성 역수)

P, I, D에는 1~~5 또는 1~~10 척도 기반의 가중치를 적용할 수 있다. 비즈니스 크리티컬 기능을 더 무겁게 반영해야 한다면 가중치를 추가한다. ISO 31000의 리스크 관리, ISO 14971의 의료기기, DO-178C의 항공 SW처럼 규제·안전 요구가 강한 환경에서는 요구사항과 테스트의 추적성을 강화하는 데도 연결된다.

리스크 점수를 테스트 계획으로 연결하는 법

리스크를 식별할 때는 제품 백로그, 아키텍처와 데이터 흐름, 운영 인시던트, 고객 사용 분석, 규제 요구사항을 함께 본다. 기능 실패뿐 아니라 성능·용량, 보안·프라이버시, 운영 가용성, 규제·감사 관점에서 자산-위협-취약점을 목록화한다.

식별한 항목은 P, I, D의 3축으로 평가해 RE 또는 RPN을 계산한다. 이후 티어1(치명, 즉시), 티어2(중), 티어3(낮음)로 나누고, 각 티어에 다른 테스트 깊이와 빈도를 적용한다.

리스크 유형은 테스트 방식과 직접 매핑할 수 있다.

리스크	연결할 테스트
성능 리스크	부하·내구 테스트
보안 리스크	DAST/SAST/침투 테스트
가용성 리스크	카오스·장애복구 테스트
데이터 리스크	정합성·마스킹 테스트

티어별로 단위·통합·E2E 테스트 레벨, 요구 커버리지, 자동화 비율, 품질 게이트를 정의한다. 티어1 요구사항이 충족되지 않으면 배포를 막고, 예외가 필요하면 승인 절차를 거치도록 운영한다.

리스크 평가는 릴리스 후에도 끝나지 않는다

RBT는 한 번 만든 우선순위표로 유지되지 않는다. 스프린트와 릴리스마다 리스크를 검토하고, 인시던트 회고 결과를 반영하며, 잔여 리스크를 추적해야 한다.

리스크 매트릭스, 리스크 번다운 차트, 리스크 가중 결함 탐지율, 리스크 가중 커버리지는 이 과정의 상태를 보여준다. 테스트 자원 대비 리스크 소진 효율은 Defects per Risk Point로 평가할 수 있다.

데이터가 부족하면 전문가 판단으로 보정치를 적용하고 각 스프린트에서 다시 평가한다. 동률 리스크가 생기면 비즈니스 임팩트와 외부 규제를 우선한다. 게이트 미충족 상태에서 예외 승인을 받았다면 릴리스 리스크 로그를 남기고 만회 플랜을 의무화한다.

도메인별로 달라지는 집중 영역

금융 결제 시스템에서는 고가용성과 정합성이 중심이다. 정산·이체·한도는 티어1으로, 알림·리포트는 티어2로 둘 수 있다. 경계값과 정합성 테스트, 성능 부하 프로파일링, 장애 전파 차단을 위한 카오스 실험, SOX/PCI DSS 감사 추적성을 함께 설계한다.

의료기기 소프트웨어에서는 ISO 14971에 따라 위해요인을 식별하고 RPN을 산정한다. 요구-리스크-테스트 3중 추적, 안전성 시나리오 테스트, 포멀 리뷰와 증적 관리가 규제 대응의 기반이 된다.

대규모 모바일 서비스는 실사용 텔레메트리의 크래시율과 사용 경로로 P를 추정하고, 매출 임팩트로 I를 산정할 수 있다. 상위 경로에 E2E 자동화를 집중하고 카나리·페이즈드 롤아웃과 실시간 리스크 재평가를 결합한다.

레거시 현대화나 클라우드 마이그레이션에서는 인터페이스 호환성, 데이터 손실, 성능 회귀가 주요 위험이다. Consumer-Driven 계약 테스트, 데이터 마이그레이션 샘플링·리컨실리에이션, 성능 베이스라인 회귀가 대응 수단이 된다.

기대할 수 있는 변화와 산정 예시

상위 20% 리스크 영역에서 60~~80%의 치명 결함을 발견할 수 있다. 중복되거나 저가치인 케이스를 줄이면 테스트 노력은 15~~30% 절감될 수 있으며, P0/P1 인시던트는 30~50% 감소하고 평균 복구시간(MTTR) 단축을 기대할 수 있다. 리스크-테스트-증적을 연결하면 감사 대응과 품질 게이트의 근거도 명확해진다.

다음은 단계 검증 방식의 정량 예시다.

현재 1,000케이스를 케이스당 15분씩 실행하면 총 15,000분(250시간)이다.
RBT로 상위 리스크 60% 케이스만 실행하고, 결함 포착률 90% 유지를 가정한다.
실행 시간은 600 × 15분 = 9,000분(150시간)이며, 100시간 절감(40% 감소)이다.
절감 시간의 50%를 자동화·성능 테스트에 재투자하면 치명 결함 탐지율은 20~35%p 향상을 기대할 수 있다.

입력부터 게이트까지의 운영 흐름

초기에는 백로그, 아키텍처, 운영 로그, 분석 자료, 규제 요구를 모아 리스크 카탈로그와 계량 기준을 만든다. 이어 P/I/D를 스코어링하고 RE 또는 RPN을 계산해 티어링한다. 과거 인시던트를 재현하고 데이터를 기반으로 값을 보정해 타당성을 확인한다.

그 결과를 바탕으로 티어별 테스트 깊이, 빈도, 자동화 비율, 성능 프로파일을 정하고 품질 게이트와 예외 승인 기준을 수립한다. 실행 단계에서는 리스크 가중 커버리지와 번다운을 추적하며, 인시던트와 결함의 재분류 결과로 P/I를 업데이트한다.

⤢✕

균등 커버리지 방식과의 차이

지표	전통형 테스트	리스크 기반 테스트
성능(효율)	균등 커버리지 지향, 고비용	리스크 가중 커버리지로 고효율
확장성	케이스 수 비례 비용 증가	서비스·팀 확장 시 우선순위로 비용 제어
일관성	개인 판단 편차 큼	표준화된 스코어·게이트로 일관성 확보
안정성	치명 결함 누락 가능	티어1 집중으로 릴리스 위험 저감
운영 편의	보고·추적 단편적	리스크 매트릭스·번다운으로 의사결정 용이

초기 정량화에는 오버헤드가 들고, 교육과 조직 간 정렬도 필요하다. 저위험 영역의 잠재 결함을 간과할 수 있으므로 순환 샘플링과 탐색 테스트로 보완한다. 주관성 편향을 줄이려면 다기능팀의 합의와 데이터 기반 검증이 필요하다.

표준화된 리스크 택소노미와 스코어 정의서를 변경관리 대상에 포함하고, 텔레메트리·인시던트 데이터로 P/I를 보정한다. 기준은 분기별로 재튜닝할 수 있다. 티어별 자동화 파이프라인을 분리해 티어1에는 병렬·빠른 피드백을 적용하고, 품질 게이트를 CICD와 연동하면 운영 체계를 유지하기 쉽다.