테스트 절차와 스크립트로 재현 가능한 검증 체계 만들기

문서의 판단 기준을 자동 실행으로 연결하기

소프트웨어 품질은 테스트를 같은 조건에서 다시 수행해도 같은 판단에 도달할 수 있을 때 안정적으로 관리된다. 테스트 절차와 테스트 스크립트는 수동·자동 테스트를 체계화해 요구사항을 검증하고, 결함을 이른 시점에 발견하기 위한 실행 체계다.

테스트 절차(Test Procedure)는 사람이 수행할 단계와 기대 결과를 기록한 실행 지침이다. 전제조건, 단계별 입력과 출력, 판정 기준을 포함하며 운영·보안 규정 준수와 감사 추적성 확보에 활용된다.

테스트 스크립트(Test Script)는 이 절차를 자동화 코드로 옮긴 실행 단위다. 환경 준비, 데이터 시딩, 테스트 실행, 어서션, 로깅과 리포트를 코드화하며 CI/CD 파이프라인과 결합해 일관된 실행을 지원한다.

절차가 규범과 의도를 정의한다면, 스크립트는 이를 반복 가능하고 측정 가능한 실행물로 만든다.

실행물에 포함해야 할 통제 지점

절차 문서에는 목적과 범위, 환경·데이터 전제조건, 단계별 수행 내용, 기대 결과, 판정 기준, 예외 처리 항목이 들어간다. 단계와 결과를 명확하게 대응시키고 스크린샷이나 로그 근거를 첨부하면 검증 흔적을 남길 수 있다.

스크립트는 Arrange-Act-Assert 패턴을 중심으로 픽스처와 테어다운, 아이들포턴트(idempotent) 클린업을 구성한다. 실패 시에는 스냅샷과 추가 로그를 수집하고 재시도 정책을 포함할 수 있다.

테스트 데이터와 실행 환경도 별도로 통제해야 한다. 데이터 시딩과 리셋, 외부 의존성의 Mock·Stub 격리, 트랜잭션 경계와 롤백이 여기에 해당한다. 병렬 실행에서는 데이터 충돌을 피할 수 있도록 네임스페이스를 분리한다.

요구사항·테스트 케이스·결과는 일대일 또는 일대다 링크로 연결한다. Git 브랜치, 태그, 테스트 ID의 표준화는 변경 이력을 추적하는 기반이 된다.

환경 준비부터 정리까지의 실행 흐름

⤢✕

문서 기반 검증과 자동화 검증의 차이

구분	성능	확장성	일관성	안정성	운영 편의
테스트 절차(문서)	사람 속도 의존, 느림	인력 투입형 확장, 비선형 비용	수행자에 따라 편차 발생	프로세스 통제로 중간 수준	감사·교육에 용이
테스트 스크립트(자동화)	시스템 속도, 빠름	인프라 수평 확장 용이	동일 입력에 동일 결과 보장	플래키 관리 시 높음	CI/CD 통합으로 자동 운영

검증 대상에 따라 달라지는 활용 방식

웹 서비스에서는 배포 뒤 주요 사용자 시나리오에 대한 스모크·회귀 검증을 자동 수행할 수 있다. 장애 재현 절차를 스크립트로 남기면 MTTR 단축에도 연결된다.

데이터 파이프라인에서는 ETL 단계별 데이터 품질 규칙과 집계 결과의 어서션을 자동화한다. 샘플·합성 데이터를 시딩해 비식별성과 재현성을 함께 확보한다.

모바일 앱 UI 테스트는 단말 팜(Device Farm)에서 스크립트를 병렬 실행해 커버리지를 넓힌다. 네트워크 변동이나 권한 팝업처럼 비결정적인 요소는 리트라이 또는 우회 처리 대상으로 둔다.

임베디드·HIL 테스트에서는 시리얼·버스 프로토콜 시퀀스를 절차로 정리하고 타이밍 제약을 스크립트에 반영한다. 안전 임계 조건에서는 자동 중지와 로그 덤프로 원인 분석을 지원한다.

요구사항에서 파이프라인까지 이어지는 설계

요구사항을 정제해 테스트 케이스를 도출하고, 위험 기반으로 우선순위를 정한다. 이때 문장·분기·기능 커버리지 기준과 수용 기준을 함께 정의한다.

절차는 전제조건, 단계, 기대 결과, 판정 기준을 포함한 템플릿으로 문서화한다. 명명 규칙·ID·태그를 표준화하고 요구사항-테스트-결과의 추적 매핑을 관리한다.

자동화 단계에서는 픽스처, 클린업, 로그, 리포트를 포함해 스크립트를 구현하고 테스트 데이터 관리 전략을 세운다. 이후 CI/CD에 통합하면서 병렬화·캐시·격리 설정과 플래키 테스트 검역(quarantine) 파이프라인을 운영한다.

Python과 pytest로 구성한 최소 실행 예

전제조건

환경: Python 3.11+, pytest 8.x
종속성 설치: pip install -U pytest

예시 파일: tests/test_user_repo.py

# tests/test_user_repo.py
# 실행: pytest -q

import sqlite3
import pytest

def create_conn():
    conn = sqlite3.connect(":memory:")
    conn.execute("PRAGMA foreign_keys=ON")
    conn.execute("CREATE TABLE users(id INTEGER PRIMARY KEY, name TEXT NOT NULL)")
    return conn

def create_user(conn, name):
    cur = conn.execute("INSERT INTO users(name) VALUES (?)", (name,))
    return cur.lastrowid

def get_user(conn, uid):
    cur = conn.execute("SELECT id, name FROM users WHERE id=?", (uid,))
    row = cur.fetchone()
    return {"id": row[0], "name": row[1]} if row else None

@pytest.fixture()
def conn():
    c = create_conn()
    try:
        yield c
    finally:
        c.close()

def test_create_and_get_user(conn):
    # Arrange
    # Act
    uid = create_user(conn, "alice")
    user = get_user(conn, uid)
    # Assert
    assert user == {"id": uid, "name": "alice"}

간단 실행 스크립트(run-tests.sh)

#!/usr/bin/env bash
set -euo pipefail

python -m venv .venv
source .venv/bin/activate
pip install -U pip pytest
pytest -q --maxfail=1 --disable-warnings --junitxml=report.xml
deactivate

빠른 피드백과 현실 충실도 사이의 운영 선택

테스트 피라미드(Unit > Service > E2E)를 지키면 빠른 피드백을 얻기 좋다. 시드 고정, 트랜잭션 롤백, 외부 의존성 모킹으로 데이터 격리와 결정론을 확보하고, 실패 시에는 전체 요청·응답, 스냅샷, 환경 메타데이터를 남긴다. 재시도 정책은 제한적으로 운영한다.

다만 모킹을 늘릴수록 실행은 빨라지지만 통합 결함 탐지력은 낮아질 수 있다. 전체 데이터를 리셋하면 안전하지만 병렬 실행 시간은 증가한다. 중복 제거(DRY)를 과도하게 적용하면 공통화된 테스트의 디버깅 난이도가 높아질 수 있다.

배포 전 회귀 테스트 시간은 60~~90% 단축 가능하다. 결함 탐지 리드타임 단축과 MTTR 30~~50% 개선을 기대할 수 있으며, 플래키 테스트 비율을 2% 이하로 유지하면 파이프라인 안정성이 유의미하게 향상된다.

재현성과 감사 추적성은 규정 준수를 강화하고, 축적된 테스트는 지식 내재화와 온보딩 효율 증대에 기여한다. 팀 간 표준화는 협업 효율도 높인다.