Verification 테스트로 명세 준수와 릴리스 증거를 관리하는 방법

명세를 기준으로 릴리스 가능 여부를 판단한다

Verification 테스트는 “올바르게 만들고 있는가?”라는 질문에 답하는 명세 충족 검증 활동이다. 사용자가 실제로 가치를 얻는지 확인하는 Validation과 달리, 요구사항·사양·표준을 제대로 따랐는지에 초점을 둔다.

검증 대상은 코드에만 한정되지 않는다. 요구사항 베이스라인, 설계 산출물, 코드와 빌드 아티팩트, 인터페이스 계약, RTM과 테스트 리포트 같은 증거물까지 하나의 일관된 체계로 다룬다. 엔터프라이즈 시스템, 규제 산업, 임베디드 환경, 대규모 SaaS에서 일관된 동작과 릴리스 신뢰성을 확보하는 기반이 된다.

요구사항에서 증거까지 이어지는 검증 체계

요구사항 추적성은 Verification 운영의 중심축이다. 요구사항 항목별로 테스트 케이스를 매핑하고 커버리지를 관리하면, 변경이 발생했을 때 영향을 분석하는 기반이 생긴다. 이를 위해서는 식별자(ID)를 일관되게 유지하고 초안→검토→승인 상태 전이를 관리해야 한다.

정적 검증은 산출물 리뷰, 체크리스트, 정적 분석(SAST, Lint)을 통해 초기 결함을 걸러낸다. 필요에 따라 형식 기법이나 모델 검증을 적용할 수 있으며, 실패 기준과 예외 허용치(waiver)를 어떤 절차로 다룰지도 명문화해야 한다.

동적 검증에서는 유닛·통합·인터페이스·계약(Contract) 테스트로 명세 준수 여부를 확인한다. 스키마와 프로토콜 호환성도 이 범위에 포함되며, 합격 기준은 요구사항에 기반한 수용 기준으로 둔다.

릴리스 단계에서는 합격 기준, 커버리지, 결함 기준, 보안 이슈 임계치를 품질 게이트로 구성한다. 이 과정에서 생성되는 증거는 기계적으로 검증 가능해야 하며, 감사에 대비해 추적 가능한 아카이빙과 변경 이력 관리가 필요하다. CI/CD에서는 브랜치 전략, 임팩트 기반 테스트 셀렉션, 병렬 실행을 결합해 리드타임을 조정하고, 실패 시 롤백·결함 등록·재검증까지 이어지는 흐름을 자동화할 수 있다.

요구사항 변경과 결함 처리를 잇는 흐름

⤢✕

운영 환경에서 확인할 명세 준수 항목

관점	Verification 점검 포인트	대표 기법	운영 편의
성능	SLA/사양의 응답시간·처리량 상한/하한 준수 여부	성능 수용 테스트, 프로파일 기반 리그레션	기준선 자동 비교, 드리프트 알림
확장성	부하 증가 시 자원·큐·스루풋 선형성 확인	용량 모델 검증, 카나리/샤딩 계약 테스트	환경 매개변수화, IaC 재현성
일관성	데이터/트랜잭션/포맷 일관성 검증	스키마/계약 테스트, 정합성 쿼리	샘플링 검증, 오브저버빌리티 연계
안정성	실패 시 재시도/타임아웃/회로차단 동작 적합성	페일오버/카오스 시나리오 준수 테스트	헬스체크 자동 검증, 런북 연동
운영 편의	로그/메트릭/알람 명세 준수 및 가시성	텔레메트리 계약 테스트	표준화 포맷, 대시보드 스냅샷 보관

표준과 인터페이스가 엄격한 시스템에서의 적용

규제 산업 소프트웨어에서는 IEC 62304, ISO 26262 같은 표준에 맞춰 요구사항 추적성과 증거물을 관리한다. RTM과 테스트 리포트를 자동으로 생성하면 감사 대응에 필요한 자료를 연결해 둘 수 있다.

금융·공공 API에서는 OpenAPI와 JSON Schema 준수 여부, Backward/Forward 버전 호환성을 검증한다. 프로듀서와 컨슈머 간 계약 테스트 파이프라인은 인터페이스 변경이 명세를 벗어나는지 확인하는 수단이 된다.

데이터 파이프라인과 ML 시스템은 스키마 진화, 분포·누락률 같은 통계적 가드레일의 명세 준수를 확인한다. 피처 스토어와 모델 서빙에도 계약 테스트를 적용할 수 있다. 임베디드와 펌웨어에서는 인터럽트 타이밍, 메모리 사용 한계, 통신 프로토콜 준수를 검증하며 HIL/SIL 환경에서 반자동 테스트를 수행한다.

요구사항 ID를 계약 테스트에 연결하는 예시

전제조건은 Python 3.11, pytest 7+, jsonschema 4+다. 아래 예시는 요구사항 ID별 JSON Schema 준수와 계약 테스트를 자동화한다.

# requirements:
#   pip install pytest jsonschema

# spec/order.schema.json
order_schema = {
    "$schema": "https://json-schema.org/draft/2020-12/schema",
    "title": "Order",
    "type": "object",
    "required": ["id", "items", "total"],
    "properties": {
        "id": {"type": "string", "pattern": "ORD-[0-9]{8}"},
        "items": {
            "type": "array",
            "minItems": 1,
            "items": {"type": "object", "required": ["sku", "qty"],
                      "properties": {"sku": {"type": "string"}, "qty": {"type": "integer", "minimum": 1}}}
        },
        "total": {"type": "number", "minimum": 0}
    },
    "additionalProperties": False
}

# tests/test_order_contract.py
import json
from jsonschema import validate, ValidationError
import pytest

RTM = {
    "REQ-ORD-001": "Order ID 형식 준수",
    "REQ-ORD-002": "1개 이상 아이템 포함",
    "REQ-ORD-003": "합계 금액 음수 불가",
    "REQ-ORD-004": "추가 필드 금지"
}

valid_sample = {"id": "ORD-20250101", "items": [{"sku": "ABC", "qty": 2}], "total": 19.9}

invalid_samples = [
    pytest.param({"id": "ORD-XYZ", "items": [{"sku": "ABC", "qty": 2}], "total": 19.9}, id="REQ-ORD-001"),
    pytest.param({"id": "ORD-20250101", "items": [], "total": 19.9}, id="REQ-ORD-002"),
    pytest.param({"id": "ORD-20250101", "items": [{"sku": "ABC", "qty": 2}], "total": -1}, id="REQ-ORD-003"),
    pytest.param({"id": "ORD-20250101", "items": [{"sku": "ABC", "qty": 2}], "total": 19.9, "coupon": "X"},
                 id="REQ-ORD-004"),
]

def test_order_contract_valid():
    # REQ-ORD-001..004: 명세 준수 검증
    validate(instance=valid_sample, schema=order_schema)

@pytest.mark.parametrize("sample", invalid_samples)
def test_order_contract_invalid(sample):
    with pytest.raises(ValidationError):
        validate(instance=sample, schema=order_schema)

테스트 케이스 ID를 요구사항 ID에 매핑하면 RTM 자동 생성에 활용할 수 있다. PR 파이프라인에서는 계약 위반을 빌드 차단 조건으로 둘 수 있다.

품질 게이트가 만드는 변화

명세 위반 결함을 사전에 차단하면 통합·운영 단계로 유출되는 결함은 30~50% 감소 가정이며, 동일 결함 재발률은 20%p 이상 감소를 기대할 수 있다.

계약과 스키마 리그레션을 자동화하면 리뷰와 수작업 테스트 시간을 25~40% 절감하고, 영향 범위를 제한해 재검증 횟수를 줄일 수 있다. 요구사항–테스트–증거를 자동으로 추적하면 감사 준비 기간도 50% 이상 단축할 수 있으며, 반복 릴리스에서 증거를 재사용할 수 있다.

환경과 데이터의 표준화, 품질 게이트 운영은 릴리스 변동성을 줄이고 서비스 수준 위반(SLA breach) 빈도를 낮추는 데도 연결된다.