ISO 25010으로 설계하는 비기능 요구사항 테스트
ISO 25010 품질모델을 기준으로 비기능 요구사항을 QAS, SLO, 관측성과 연결해 성능·보안·신뢰성을 검증하는 방법
2026-08-14 · 최초 발행 2025-12-23
기능 검증만으로는 품질을 보장할 수 없다
디지털 제품의 실패 원인 다수는 성능, 보안, 신뢰성처럼 비기능 영역에서 발생한다. ISO/IEC 25010 품질모델은 이 요구사항을 정렬하고 정량화하며 검증하기 위한 공통의 틀을 제공한다. 핵심은 품질 특성을 요구사항, 테스트 설계, 수용 기준, 운영 지표까지 끊기지 않게 연결하는 데 있다.
비기능 요구사항 테스트는 기능이 올바르게 동작하는지보다 제품이 어떤 품질 수준으로 동작하는지를 확인하는 활동이다. 성능효율, 신뢰성, 보안, 사용성, 호환성, 유지보수성, 이식성, 기능적 합목적성이 검증 대상이 되며, 사용자와 비즈니스에 미치는 영향 및 리스크를 줄이는 것이 목적이다.
ISO/IEC 25010은 제품 품질을 8대 특성과 하위 특성으로 나누어 공통 용어와 평가 축을 제공한다. 이를 적용하면 품질 특성, 테스트 활동, 지표와 임계값 사이의 추적성을 확보할 수 있다.
품질 속성 시나리오(Quality Attribute Scenario, QAS)는 비기능 요구사항을 시험 가능한 조건으로 바꾼다. 자극, 환경, 아티팩트, 응답, 측정의 구조를 사용한다. 예를 들어 피크 트래픽 환경에서 API P95 응답시간 300ms 이하와 오류율 1% 이하를 유지한다는 식으로 요구사항을 표현할 수 있다.
품질 특성을 요구사항과 수용 기준으로 연결하기
먼저 비즈니스 목표, 규제, SLA, 아키텍처 제약을 바탕으로 관련 ISO 25010 특성을 매핑한다. 이후 사건 영향도와 발생 가능성에 따른 가중치를 적용해 위험 기반으로 우선순위를 정한다.
측정 기준은 퍼센타일(p95/p99), 오류율, 가용성(월간 99.9% 등), MTTR/MTBF처럼 운영에서 확인 가능한 지표로 잡는다. 평균값보다 분포 기반 지표를 채택하고, 오류 예산(Error Budget)을 운영 의사결정과 연결한다.
테스트 기법도 품질 특성에 맞춰 선택해야 한다. 성능은 부하·스트레스·용량 테스트, 보안은 DAST/SAST/IAST, 신뢰성은 카오스·페일오버, 사용성은 UT/UX 계측으로 확인할 수 있다. 프로덕션과 유사한 환경을 마련하고, 데이터 익명화·합성 데이터와 APM·로그·트레이싱을 함께 구성해 관측성을 높인다.
요구사항-품질 특성-QAS-테스트 케이스-지표-결과를 연결한 매트릭스는 변경 영향도 분석과 커버리지 갭 시각화에 사용된다. 남은 리스크도 이 체계 안에서 관리할 수 있다.
릴리스 전후에는 동일 지표로 품질 상태를 비교한다. 카나리와 블루그린 배포, RUM/Synth 모니터링을 연계하고, 회귀 기준선(Baseline)을 관리하면서 성능·보안 드리프트를 탐지해 튜닝 백로그로 넘긴다.
도메인별로 달라지는 검증 대상
대규모 커머스에서는 피크 시즌 트래픽 모델로 성능과 용량을 시험하고, 캐시 히트율과 큐 대기시간을 감시한다. 결제 경로에는 가용성 99.95% SLO를 세우고 카나리 전개 및 자동 롤백과 연결할 수 있다.
금융 도메인은 트랜잭션 무결성, 이중화 전환 시간, HSM·KMS 지연 영향을 검증 대상으로 둔다. PSD2/개인정보보호 준수 점검과 DAST/IAST 통합 파이프라인도 함께 운영한다.
공공·의료 영역에서는 필수 서비스의 RTO/RPO를 확인하고, 혼잡 제어 및 큐 페일오버 시나리오를 시험한다. 과업 성공률·시간·SUS 같은 접근성과 사용성 지표도 수집해 개선에 반영한다.
마이크로서비스 전환 환경에서는 네트워크 지연, 서킷브레이커, 백오프 동작을 검증하고 상호 운용성·호환성을 확인한다. 카오스 실험은 종속 서비스 장애에 대한 내성을 점검하는 수단이 된다.
테스트 결과를 개선 흐름으로 되돌리는 과정
입력은 비즈니스 목표, SLA/법규, 아키텍처 제약, ISO 25010 특성과 하위 특성 목록, 운영 메트릭으로 구성된다. 이 정보를 바탕으로 QAS를 도출하고 정량 지표와 수용 기준을 정의한 뒤 위험 기반 우선순위를 정한다.
그 다음 기법, 로드, 데이터를 포함한 테스트를 설계하고 환경과 관측성을 구성한다. 실행·계측·분석 결과는 기준선과 비교해 회귀 여부를 판단한다. 결과물은 커버리지·적합성 보고서, 개선 백로그, SLO 준수 현황 대시보드가 된다. 기준을 충족하지 못하면 근본원인(RCA)과 성능·안정성 튜닝 계획을 남긴다.
임계값에 미달했을 때는 CPU, 메모리, IO, 락 등 병목 자원을 분석하고 캐시·풀·큐 파라미터를 조정한다. 민감정보가 발견되면 마스킹 또는 토큰화를 적용한 뒤 재시험한다. 환경 비동일성이 탐지되면 가상 서비스와 네트워크 시뮬레이션을 보정한다.
품질 특성별 기법과 운영상 균형
성능에서는 퍼센타일 기반 SLO와 실제 트래픽 모델의 도메인 믹스·Think time을 적용한다. 프로덕션과 가까운 환경은 비용이 들지만 재현성과 정확도를 높인다.
보안은 SAST+DAST+SCA를 통합하고 심각도별 수정 기한을 둔 취약점 SLA로 관리한다. 다만 스캔의 깊이와 빈도를 높일수록 CI 파이프라인 속도와의 균형이 필요하다.
신뢰성은 장애 주입, 페일오버 DR 연습, 에러 예산 기반 릴리스 게이팅으로 다룬다. 카오스 실험 범위를 넓히면 검증 범위는 커지지만 서비스 영향 위험도 함께 고려해야 한다.
유지보수성은 사이클로매틱, Fan-in/out 같은 복잡도·결합도 지표의 기준선을 관리하는 방식으로 점검한다. 정적 분석 경고 기준을 강화하면 단기 생산성이 낮아질 수 있다.
운영성 및 관측성에서는 RED/USE 메트릭, 분산 트레이싱, 로그 스키마 표준화를 사용한다. 계측 오버헤드와 문제 탐지 속도 사이의 트레이드오프를 관리해야 한다.
품질 특성에 따른 테스트 맵
| ISO 25010 특성 | 대표 테스트 기법 | 핵심 지표 | 도구 예 |
|---|---|---|---|
| 성능효율 | 부하/스트레스/용량/스파이크 | p95/p99 응답시간, 처리량, 자원 사용률 | JMeter, Gatling, k6 |
| 신뢰성 | 장애 주입, 페일오버, 장기안정성(Soak) | 가용성, 오류율, MTBF/MTTR | Chaos Mesh, Litmus, Gremlin |
| 보안 | SAST/DAST/IAST, 침투 테스트 | 취약점 수·심각도, 보안 결함 SLA | OWASP ZAP, Burp, Snyk |
| 사용성 | 사용성 테스트, 휴리스틱 평가 | 과업 성공률/시간, SUS/NPS | Maze, Lookback, Hotjar |
| 유지보수성 | 정적 분석, 코드 스멜 탐지 | 복잡도, 커버리지, 결합도 | SonarQube, ESLint, Pylint |
| 이식성·호환성 | 크로스 브라우저/플랫폼, 컨테이너 이미지 검증 | 호환 기기 비율, 설치 성공률 | TestCafe, Playwright, Docker Scout |
품질 기준에서 릴리스 판단까지의 연결
운영 준비 상태를 확인할 항목
- 품질 특성을 선정하고 QAS를 문서화했는지 확인한다.
- 지표·임계값(SLO)에 합의했고 이를 확인할 모니터링 경로가 있는지 점검한다.
- 테스트 데이터와 환경 동등성 수준을 정의하고 관측성을 구성했는지 확인한다.
- 위험 기반 우선순위와 커버리지 매트릭스가 최신 상태인지 검토한다.
- 릴리스 게이팅 규칙과 에러 예산 정책을 운영하는지 확인한다.
ISO 25010 품질모델은 비기능 요구사항을 공통 언어와 지표로 연결하는 프레임이다. QAS 정형화, 퍼센타일 기반 SLO, 관측성 강화, 위험 기반 커버리지를 함께 적용하면 테스트와 운영을 하나의 품질 관리 흐름으로 묶을 수 있다. 단계적 도입, 기준선 관리, 에러 예산 정책은 안정적인 품질과 속도를 함께 확보하는 기반이 된다.