테스트 로그와 아티팩트를 표준화하는 품질 증빙 체계

테스트가 실패했을 때 필요한 로그, 스크린샷, 커버리지, 바이너리가 서로 다른 위치에 흩어져 있으면 결과 자체보다 증적을 찾는 일이 더 오래 걸린다. 테스트 리포트 표준화는 로그와 아티팩트의 스키마, 수집, 저장, 인덱싱, 리포팅을 하나의 체계로 묶어 품질 증빙의 일관성·재현성·감사 가능성을 확보하는 방식이다.

테스트 결과를 증적으로 다루는 기준

이 체계는 테스트 실행 결과와 로그, 아티팩트(스크린샷, 동영상, 커버리지, 바이너리, 프로파일 데이터 등)를 공통 스키마와 메타데이터로 수집·저장·인덱싱·배포한다. 파이프라인 전체에는 일관된 식별자, 버전, 보존 정책이 적용된다.

로그는 시간순 텍스트 또는 구조화 데이터로 실행 경로와 오류 원인을 남긴다. 아티팩트는 테스트 실행 과정에서 만들어진 파일, 바이너리, 리포트 산출물이며 결과 해석과 재현에 쓰인다.

핵심은 다음 속성을 연결하는 데 있다.

재현성: runId, commit, 환경
무결성: 해시, 서명
추적성: 링크드 인덱스, 교차 참조

스키마부터 보존 정책까지 이어지는 구조

공통 필드는 runId, suite, status, startedAt/endedAt, commit, branch, env, logUri, artifacts[]로 구성하고, tags와 metrics 같은 확장 필드를 둔다. 상태 값(passed/failed/flake), 심각도, 테스트 계층(unit/integration/e2e)은 열거형으로 관리할 수 있다. 아티팩트에는 sha256, 크기, MIME, 스토리지 URI를 기록해 무결성과 가용성을 뒷받침한다.

수집 단계에서는 CI 에이전트가 로그와 파일을 스트리밍 또는 배치로 전송한다. JUnit, Allure, NUnit, Jest, PyTest 등의 포맷은 파서에서 정규화하고, 타임존과 로케일도 표준화한다. 스키마 검증은 잘못된 데이터를 이른 시점에 막는 역할을 하며, 실패한 전송은 재시도·격리 버킷·알림 흐름으로 보낸다.

대용량 파일은 S3/MinIO/Artifactory 같은 오브젝트 스토리지에 두고, 메타데이터와 로그는 OpenSearch/Elasticsearch에 인덱싱한다. 수명주기는 핫→웜→콜드→아카이브로 관리하며 프로젝트와 릴리스 단위 파티셔닝, 버전 태깅을 적용한다. 아티팩트 업로드가 성공한 뒤 인덱스를 커밋하고, 실패 시 롤백 또는 고아 처리를 수행하는 원자적 커밋도 필요하다.

리포팅은 성공률, MTTR, 실패 상위 케이스, 플레이크 비율을 템플릿으로 집계해 릴리스 노트와 연결한다. 대시보드·슬랙·이메일에는 채널별 요약을 제공하고, 딥링크로 로그와 아티팩트를 오갈 수 있게 한다. Jira, GitHub 같은 이슈 트래킹 도구에는 API나 웹훅으로 양방향 링크를 만들 수 있다.

접근 제어(RBAC), 전송·저장 암호화, 서드파티 아티팩트 서명 검증도 체계 안에 포함된다. PII와 시크릿은 자동 마스킹하고, 보존·파기 정책의 법규 준수 기록, 변경 이력(Audit Trail), 감사 보고서 자동 생성을 함께 관리한다.

증적이 이동하는 경로

⤢✕

품질 게이팅과 원인 분석에서의 활용

PR 빌드에서는 표준 리포트를 생성해 커버리지·플레이크 임계치를 기준으로 머지를 차단할 수 있다. 실패 케이스의 로그 라인과 아티팩트 딥링크도 코멘트에 자동으로 넣을 수 있다.

RCA에서는 같은 runId를 기준으로 로그, 코어덤프, 스크린샷, 네트워크 캡처를 교차 조회한다. 최근 N 릴리스에서 같은 스택트레이스 시그니처를 군집화하면 재발 이슈 탐지에도 활용할 수 있다.

규제와 감사 대응에서는 테스트 증적 및 서명된 빌드 아티팩트 링크를 SOP에 첨부하고, 보존 만료를 자동 통지한다. 변경 이력과 접근 로그는 SOX/ISO 27001 감사 질의에 즉시 응답할 수 있는 근거가 된다.

스키마 기반 메타데이터 인덱싱을 적용하면 실패 triage 평균 시간을 30~~50% 단축할 수 있다. 시그니처와 변동성 지표 집계는 flaky 테스트 검출률을 20~~40% 향상시키며, 수명주기·중복 제거·압축은 저장 비용을 25~35% 절감한다. 릴리스 결정의 투명성과 품질 회귀 감지 시점도 함께 개선되고, 팀 간에는 공통 언어가 생겨 협업 마찰이 줄어든다.

비표준 환경과 표준 체계의 운영 차이

지표	비표준 환경	표준화 체계
성능	임시 스크립트 병목, 수동 수집 지연	스트리밍 수집·병렬 인덱싱으로 지연 최소화
확장성	포맷/도구마다 케이스별 처리 필요	스키마/파서 재사용, 스토리지·인덱스 수평 확장
일관성	결과 필드 불일치, 중복/누락 빈발	필수 필드·열거형 강제, 검증 실패시 격리
안정성	업로드/인덱스 부분 실패로 고아 파일 증가	원자적 커밋, 재시도·백오프, 사후 정합성 점검
운영 편의	검색/링크 부재, 수작업 보고	대시보드·딥링크·자동 리포팅

스키마 검증과 업로드 파이프라인 예시

전제조건은 다음과 같다.

Python 3.11 이상
pip install jsonschema==4.23.0 boto3==1.34.0
AWS 자격증명 구성(또는 MinIO: endpoint_url 지정)

예시 스키마(JSON Schema, draft-07):

{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "title": "testReport",
  "type": "object",
  "required": ["runId", "suite", "status", "startedAt", "endedAt", "commit", "logUri", "artifacts"],
  "properties": {
    "runId": {"type": "string"},
    "suite": {"type": "string"},
    "status": {"type": "string", "enum": ["passed", "failed", "flake"]},
    "level": {"type": "string", "enum": ["unit", "integration", "e2e"]},
    "startedAt": {"type": "string", "format": "date-time"},
    "endedAt": {"type": "string", "format": "date-time"},
    "commit": {"type": "string"},
    "branch": {"type": "string"},
    "environment": {"type": "string"},
    "tags": {"type": "array", "items": {"type": "string"}},
    "metrics": {"type": "object", "additionalProperties": {"type": "number"}},
    "logUri": {"type": "string"},
    "artifacts": {
      "type": "array",
      "items": {
        "type": "object",
        "required": ["name", "uri", "type", "sha256", "size"],
        "properties": {
          "name": {"type": "string"},
          "uri": {"type": "string"},
          "type": {"type": "string", "enum": ["screenshot", "video", "coverage", "binary", "report", "profile"]},
          "sha256": {"type": "string", "pattern": "^[a-fA-F0-9]{64}$"},
          "size": {"type": "integer", "minimum": 0},
          "mime": {"type": "string"}
        }
      }
    }
  },
  "additionalProperties": true
}

샘플 리포트(JSON):

{
  "runId": "2025-01-15T12:01:22Z_gh-1245",
  "suite": "checkout-e2e",
  "status": "failed",
  "level": "e2e",
  "startedAt": "2025-01-15T12:01:22Z",
  "endedAt": "2025-01-15T12:05:40Z",
  "commit": "9f1c2d3a",
  "branch": "release/1.8.0",
  "environment": "staging-eu-west-1",
  "tags": ["payment", "regression"],
  "metrics": {"duration_sec": 258.0, "retry": 1},
  "logUri": "s3://qa-logs/2025/01/15/gh-1245/checkout-e2e.log",
  "artifacts": [
    {
      "name": "failed-step.png",
      "uri": "s3://qa-artifacts/2025/01/15/gh-1245/failed-step.png",
      "type": "screenshot",
      "sha256": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
      "size": 204800,
      "mime": "image/png"
    }
  ]
}

검증/업로드 파이썬 스니펫:

# python 3.11
import json, hashlib, os
import boto3
from jsonschema import validate, Draft7Validator

S3_BUCKET_LOGS = "qa-logs"
S3_BUCKET_ARTS = "qa-artifacts"

def sha256_file(path: str) -> str:
    h = hashlib.sha256()
    with open(path, "rb") as f:
        for chunk in iter(lambda: f.read(1 << 20), b""):
            h.update(chunk)
    return h.hexdigest()

def put_s3(local_path: str, bucket: str, key: str, endpoint_url=None):
    s3 = boto3.client("s3", endpoint_url=endpoint_url)
    s3.upload_file(local_path, bucket, key)
    return f"s3://{bucket}/{key}"

def validate_report(schema_path: str, report_path: str):
    schema = json.load(open(schema_path))
    report = json.load(open(report_path))
    errors = sorted(Draft7Validator(schema).iter_errors(report), key=lambda e: e.path)
    if errors:
        raise ValueError("\n".join([f"{'/'.join(map(str,e.path))}: {e.message}" for e in errors]))
    return report

def atomic_publish(report: dict):
    # 1) 아티팩트 업로드
    for art in report.get("artifacts", []):
        local = art.get("localPath")
        if local and os.path.exists(local):
            digest = sha256_file(local)
            assert digest == art["sha256"], "sha256 mismatch"
            key = f"{report['runId']}/{art['name']}"
            art["uri"] = put_s3(local, S3_BUCKET_ARTS, key)
            art.pop("localPath", None)
    # 2) 로그 업로드(선택)
    # 3) 인덱스 커밋(여기서는 간단히 표준 출력; 실제로는 검색 엔진/DB에 기록)
    print(json.dumps(report, ensure_ascii=False))

if __name__ == "__main__":
    report = validate_report("schema.json", "report.json")
    atomic_publish(report)

운영 시에는 s3://bucket/yyyy/mm/dd/runId/... 구조로 파티셔닝하고, subsystem, env, feature, owner를 필수 태그로 둘 수 있다. 실패 데이터는 qa-quarantine/ 아래 격리하고 TTL 7일을 설정한다.

저장소·인덱스·로그 처리의 선택지

S3/MinIO는 비용 효율과 수명주기 정책 적용이 쉽고 대용량에 유리하다. Artifactory/Nexus는 권한과 프로모션 플로우에 강점이 있지만 비용과 운영 복잡도가 증가한다.

OpenSearch/Elasticsearch는 자유로운 쿼리와 시각화를 제공하는 대신 운영·튜닝 부담이 있다. RDBMS는 스키마 강제와 트랜잭션에 강점이 있으나 대용량 로그 검색 성능에는 제한이 있다.

로그를 Fluent Bit/Vector로 스트리밍하면 지연을 최소화하고 실시간 게이팅이 가능하지만 운영 난이도가 올라간다. 배치는 단순하고 견고한 대신 피드백이 늦어진다.

보안 측면에서는 전송/TLS, 저장/서버사이드 암호화, KMS 연동을 적용한다. 시크릿과 PII에는 마스킹 필터 체인을 두되, 과도한 마스킹으로 디버깅 정보가 사라지지 않도록 관리해야 한다.

공통 스키마를 확정한 뒤 수집·정규화 자동화, 저장소와 인덱스의 이원화, 리포팅·게이팅 적용, 보안·보존 정책 고도화로 범위를 넓혀갈 수 있다.