테스트 격리와 재현성으로 자동화 테스트 신뢰도 높이기

실행 순서와 외부 상태에 흔들리는 테스트

자동화 테스트는 테스트 사이의 상태 공유나 외부 시스템의 변화가 남아 있으면 실행 순서와 시점에 따라 결과가 달라진다. 마이크로서비스와 클라우드 환경에서는 이런 변수가 더 늘어난다. 신뢰할 수 있는 테스트 체계는 외부 상태와 비결정성 요소를 통제하는 격리, 그리고 같은 입력과 환경에서 같은 결과를 내는 재현성을 함께 다룬다.

테스트 격리(Isolation)는 자원, 데이터, 시간, 네트워크, 프로세스 수준에서 테스트 간 상호 영향을 없애는 기법의 묶음이다. 이를 통해 테스트 순서 의존성을 제거하고 병렬 실행을 안전하게 하며 외부 시스템 의존을 줄인다.

재현성(Reproducibility)은 동일한 입력과 환경에서 결과가 반복되도록 보장하는 성질이다. 시간, 랜덤, 동시성 스케줄링, I/O 지연, 외부 서비스 상태, 데이터 드리프트처럼 결과를 바꾸는 비결정성 소스를 제어하는 메커니즘이 여기에 포함된다.

이 두 성질을 확보하려면 일회성 자원과 불변성을 우선하고, 각 테스트가 독립적으로 실행될 수 있어야 한다. 상태 초기화와 롤백을 보장하며, seed·clock·fixture로 입력을 고정하고 외부 의존성은 가상화한다. 필요한 경우 에페메럴 인프라를 사용한다.

격리 경계를 설계하는 방식

프로세스, 컨테이너, 가상 네트워크 단위로 실행 환경을 나누면 테스트 스위트나 작업자마다 고유한 런타임을 제공할 수 있다. 빌드 아티팩트와 의존 패키지 캐시는 실행 중 생성되는 상태와 분리해야 헤르메틱(Hermetic) 환경을 유지할 수 있다.

데이터는 테스트 시작 시 트랜잭션을 열고 종료 시 롤백하거나 스냅샷을 복원하는 방식으로 분리한다. 스키마 네임스페이스, 테이블명 또는 프리픽스 분리 전략과 에페메럴 DB(Testcontainers)를 함께 운용할 수 있다.

시간과 랜덤값도 공유 상태만큼 위험하다. RNG seed를 고정하고 Clock freeze와 고정 타임존을 적용하며, 스케줄러를 제어해 시간과 랜덤을 결정적으로 만든다. 병렬 실행에서는 테스트별 임시 디렉터리를 두고 포트, 토픽, 큐 이름을 네임스페이스화해 자원 충돌을 막는다.

외부 HTTP/gRPC 호출은 스텁과 모킹으로 대체할 수 있고, WireMock·MockServer 같은 서비스 가상화 도구나 Pact 기반 컨슈머 주도 계약을 적용할 수 있다. 이 경계에서 실패와 경계 조건을 결정적으로 재현하면 외부 SLA 변동과 네트워크 지연의 영향을 차단할 수 있다.

테스트 수명주기는 준비(프로비저닝), 결정화(seed/clock), 실행, 검증, 정리(롤백)로 관리한다. 실패 분석에 필요한 시드, 환경 변수, 로그, 네트워크 트레이스를 아티팩트로 남기면 같은 조건을 다시 만들기 쉬워진다.

⤢✕

격리 전략별 선택 기준

전략	격리 강도	성능	일관성	안정성	운영 편의
프로세스 격리(멀티 워커)	중	상	중	중	상
컨테이너 격리(Docker)	상	중	상	상	중
DB 트랜잭션 롤백(테스트당)	중	상	상	상	상
에페메럴 DB(Testcontainers)	상	중하	상	상	중
네트워크 스텁/서비스 가상화	상	상	상	상	중

프로세스 격리는 운영 편의와 성능 측면에서 유리하지만, 컨테이너나 에페메럴 DB보다 격리 범위가 좁을 수 있다. 반대로 컨테이너와 서비스 가상화는 일관성과 안정성을 높이지만 운영 복잡도는 커진다. 데이터베이스 테스트에서는 테스트당 트랜잭션 롤백이 성능과 편의 측면에서 적합할 수 있고, 마이그레이션을 포함한 환경 검증에는 에페메럴 DB가 맞는다.

서비스 유형에 따른 적용

API와 RDBMS를 함께 검증할 때

Java 17, Spring Boot 3.3, JUnit 5.10, Testcontainers 1.20, PostgreSQL 16 조합에서는 컨테이너 기반 에페메럴 DB, @Transactional 롤백, Clock Bean 고정을 함께 둘 수 있다. 이 방식은 마이그레이션 검증과 데이터 일관성을 동시에 확보하고 CI 환경의 불일치를 줄인다.

// build.gradle: testImplementation 'org.testcontainers:postgresql:1.20.1'
@SpringBootTest
@Testcontainers
@Transactional
class UserServiceTest {

  @Container
  static PostgreSQLContainer<?> pg = new PostgreSQLContainer<>("postgres:16-alpine");

  @DynamicPropertySource
  static void datasourceProps(DynamicPropertyRegistry r) {
    r.add("spring.datasource.url", pg::getJdbcUrl);
    r.add("spring.datasource.username", pg::getUsername);
    r.add("spring.datasource.password", pg::getPassword);
  }

  @TestConfiguration
  static class FixedClockConfig {
    @Bean Clock fixedClock() { return Clock.fixed(Instant.parse("2024-01-01T00:00:00Z"), ZoneOffset.UTC); }
  }

  @Autowired UserService userService;

  @Test
  void createUser_isolated_and_deterministic() {
    var id1 = userService.create("alice@example.com");
    assertThat(userService.find(id1).createdAt()).isEqualTo(Instant.parse("2024-01-01T00:00:00Z"));
  }
}
// 설명: 트랜잭션 롤백으로 데이터 격리, Testcontainers로 환경 격리, Clock 고정으로 시간 결정화

외부 HTTP에 의존하는 파이썬 서비스

Python 3.11, pytest 8.x, freezegun 1.4, Faker 25.x, respx 0.20 환경에서는 autouse fixture로 RNG seed, Clock freeze, 임시 디렉터리, 환경 변수를 고정하고 HTTP를 스텁 처리할 수 있다.

# conftest.py
import os, random
import pytest
from freezegun import freeze_time
from faker import Faker

@pytest.fixture(autouse=True)
def deterministic(tmp_path, monkeypatch):
    random.seed(12345)
    Faker.seed(12345)
    monkeypatch.chdir(tmp_path)           # 파일 시스템 격리
    monkeypatch.setenv("TZ", "UTC")       # 타임존 고정
    with freeze_time("2024-01-01 00:00:00"):
        yield

# test_service.py
import respx
import httpx

@respx.mock
def test_fetch_user_profile():
    respx.get("https://api.example.com/users/42").mock(
        return_value=httpx.Response(200, json={"id": 42, "name": "Alice"})
    )
    resp = httpx.get("https://api.example.com/users/42")
    assert resp.json()["name"] == "Alice"
# 설명: seed/clock 고정, tmp_path로 I/O 격리, respx로 네트워크 격리

프런트엔드 E2E와 배치 작업

Playwright 1.47 기반 프런트엔드 E2E에서는 Chrome 채널과 스토리지 상태를 고정하고, route mocking으로 외부 API를 막는다. storageState는 테스트마다 분리하며 시계는 api.request/context로 고정한다.

데이터 파이프라인과 배치에서는 입력 스냅샷을 고정하고 소스 데이터 버전을 핀한다. 임시 버킷 또는 프리픽스를 분리하고 idempotent sink를 검증한다. 스케줄러에는 고정 execution date를 적용하며, 서드파티 연결은 레코딩·리플레이 또는 가상화로 다룬다.

CI에서 지켜야 할 실행 규율

입력 단계에서는 RNG seed, Clock, Timezone, Locale을 고정하고 테스트 데이터셋의 버전을 고정해 스냅샷을 보관한다. 환경은 CI 작업자별 컨테이너 네임스페이스로 분리하고, 포트·큐·토픽 이름에 실행 ID를 포함한다. DB는 테스트별 스키마 또는 에페메럴 인스턴스로 분리한다.

실행 시에는 shuffle과 seed 노출로 테스트 순서 독립성을 강제한다. 병렬 실행에서는 자원 라벨링과 임계 자원 락을 사용한다. 종료 단계에서는 트랜잭션 롤백, 임시 파일 삭제, 네트워크 스텁 해제를 수행한다. 실패하면 시드, 시간, 환경 변수, 네트워크 트레이스, DB 스냅샷을 아티팩트로 업로드한다.

격리가 만드는 운영상 절충

컨테이너 격리는 재현성과 이식성이 높지만 부팅 오버헤드와 CI 비용을 키운다. 서비스별 사전 빌드 이미지와 레이어 캐시 최적화가 절충안이 될 수 있다.

서비스 가상화는 외부 노출과 민감정보 접근을 차단하지만 실제 시스템과의 드리프트 위험이 남는다. 주기적인 계약 동기화와 프로바이더 베이스라인 테스트로 이를 보완한다.

병렬 실행은 리드타임을 줄이지만 자원 경합과 플레이키 증가 위험도 높인다. 자원 카탈로그화, 락과 쿼터, 테스트 태그 기반 스케줄링이 이 문제를 줄이는 수단이다.

품질과 리드타임에 미치는 변화

격리와 재현성을 갖춘 체계에서는 플래키 테스트 비율이 50~~80% 감소하고 테스트 재시도율은 30~~60% 감소하는 것으로 추정된다. CI green rate는 15~30%p 향상될 수 있다.

병렬 실행을 안전하게 만들면 스케일 아웃 효율이 높아지고 평균 빌드 시간은 20~~40% 단축된다. 시드와 스냅샷으로 실패 조건을 즉시 재현할 수 있어 실패 원인 분석 시간도 40~~70% 단축된다. 환경 드리프트, 시차, 서드파티 장애의 영향을 줄이고 데이터 오염과 공유 상태에서 생기는 간헐 오류를 제거하는 효과도 기대할 수 있다.

트랜잭션 롤백, 시드·클록 고정, 네트워크 스텁부터 적용한 뒤 컨테이너 격리, 계약 테스트, 아티팩트 표준화로 범위를 넓히는 방식이 적합하다.