TMMi로 테스트 프로세스 성숙도 높이기

테스트 프로세스를 성숙도 관점에서 다루는 TMMi

TMMi(Test Maturity Model Integration)는 소프트웨어 테스트 프로세스의 성숙도를 평가하고 개선하기 위한 프레임워크다. 2008년 TMMi 재단이 CMMI에서 상대적으로 보완이 필요했던 테스트 영역을 목적으로 개발·발표했다.

이 모델은 개발 조직이 테스트 프로세스의 품질을 체계적으로 높일 수 있도록 가이드라인을 제공한다. 테스트 활동의 효율성과 효과성을 높이고, 현재 프로세스 수준을 파악해 다음 개선 방향을 잡는 데 사용한다.

초기 상태에서 지속 개선까지 이어지는 경로

TMMi는 테스트 조직의 변화를 성숙도 모델로 나타낸다.

⤢✕

초기 단계: 개인 역량에 의존하는 테스트

초기 단계에서는 테스트 프로세스가 혼란스럽고 명확히 정의되지 않는다. 테스트가 디버깅과 동일시되며, 개발이 끝난 뒤 즉흥적으로 수행되기 쉽다. 목표도 소프트웨어가 작동함을 보이는 수준에 머물고, 테스트 문서는 거의 없거나 전혀 없을 수 있다. 성과는 개인의 역량에 크게 좌우된다.

관리 단계: 테스트 활동을 분리하고 통제하기 시작하는 시점

관리 단계에서는 테스트가 개발 과정과 구분된 활동으로 정의된다. 기본적인 테스트 정책과 전략, 테스트 계획 수립 방식이 마련되고, 테스트 모니터링 및 통제 프로세스도 도입된다. 테스트 설계와 실행을 위한 기술, 테스트 환경이 주요 관리 대상이 된다.

이 단계의 주요 프로세스 영역은 테스트 정책 및 전략, 테스트 계획, 테스트 모니터링 및 통제, 테스트 설계 및 실행, 테스트 환경이다.

정의 단계: 조직 표준으로 자리 잡는 테스트

정의 단계에서는 테스트가 개발 수명 주기에 완전히 통합된다. 테스트 프로세스는 조직 표준으로 문서화되고, 테스트 전문 조직과 교육 프로그램이 마련된다. 비기능적 테스트와 피어 리뷰도 프로세스 안에 포함된다.

주요 프로세스 영역은 테스트 조직, 테스트 교육 프로그램, 테스트 수명 주기 및 통합, 비기능적 테스트, 피어 리뷰다.

측정 단계: 품질 판단을 데이터로 뒷받침하는 단계

측정 단계에서는 테스트 프로세스를 측정하고 정량적으로 평가한다. 제품 품질은 통계적으로 관리하며, 테스트 성과 측정 프로그램과 고급 리뷰 프로그램을 운영한다.

테스트 측정, 제품 품질 평가, 고급 피어 리뷰가 이 단계의 핵심 프로세스 영역이다.

최적화 단계: 결함 예방과 품질 통제로 초점을 옮기다

최적화 단계의 목표는 테스트 프로세스의 지속적 개선이다. 결함 예방과 품질 통제에 집중하며, 테스트 프로세스를 최적화하기 위한 도구와 기술을 도입한다.

주요 프로세스 영역은 결함 예방, 테스트 프로세스 최적화, 품질 통제다.

평가 범위부터 보고서까지의 흐름

TMMi 평가는 공식 인증 또는 비공식 자체 평가로 진행할 수 있다. 공식 평가는 TMMi 재단 인증 평가자가 수행하며, 목적과 엄격성에 따라 Class A, Class B, Class C로 구분된다.

Class A는 인증을 위한 엄격한 공식 평가다.
Class B는 개선 영역을 식별하기 위한 덜 엄격한 공식 평가다.
Class C는 조직 내부 개선을 위한 비공식 자체 평가다.

평가는 대상 프로젝트와 조직 단위를 정한 뒤 문서 검토, 인터뷰, 관찰로 증거를 수집하는 방식으로 시작한다. 수집 자료의 완전성과 정확성을 검증하고, 프로세스 영역별 구현 수준을 평가·채점한 뒤 현재 수준과 개선 영역을 담은 보고서를 작성한다.

⤢✕

CMMI, ISTQB, ISO/IEC 29119가 맡는 역할

TMMi는 CMMI의 테스트 프로세스 영역을 보완하기 위해 개발됐다. CMMI가 소프트웨어 개발 프로세스 전반을 다룬다면, TMMi는 테스트에 집중한다. 두 모델은 함께 적용할 때 상호 보완적으로 활용할 수 있다.

ISTQB는 테스트 전문가 개인의 역량과 자격을 다루며, TMMi는 조직 차원의 테스트 프로세스 성숙도에 초점을 둔다. ISTQB 체계의 인증을 받은 전문가는 TMMi 구현에 필요한 지식과 기술을 보유할 수 있다.

ISO/IEC 29119는 소프트웨어 테스트 표준으로서 TMMi 구현 시 참조할 수 있는 구체적인 테스트 프로세스를 제공한다. TMMi가 성숙도 향상을 위한 로드맵이라면, ISO/IEC 29119는 그 로드맵을 실행하기 위한 상세 지침에 해당한다.

조직 변화에서 확인된 효과

글로벌 금융 서비스 기업은 프로젝트별로 다른 비체계적 테스트 방식을 사용하던 상황에서, 2년간 TMMi 레벨 2 달성을 위한 개선 활동을 수행했다. 그 결과 결함 발견율은 30% 증가했고, 고객 배포 후 발견되는 결함은 40% 감소했으며, 테스트 비용은 20% 절감됐다.

통신 소프트웨어 개발사는 테스트 지연으로 제품 출시가 계속 늦어지는 문제를 겪었다. 테스트 조직과 프로세스를 TMMi 레벨 3 목표에 맞춰 재구성한 뒤 테스트 주기는 25% 단축됐고, 제품 출시의 예측 가능성이 향상됐다. 테스트 자동화율은 35%에서 70%로 증가했다.

항공 시스템 개발업체는 고위험 소프트웨어의 테스트 품질 우려에 대응해 TMMi 레벨 4를 목표로 측정 기반 테스트 프로세스를 도입했다. 안전 관련 결함의 90% 이상을 개발 초기 단계에서 식별했으며, 규제 준수 입증 비용은 35% 절감됐다. 테스트 증거 품질이 향상되면서 인증 프로세스도 간소화됐다.

개선 활동을 조직에 정착시키는 방식

도입은 현재 테스트 프로세스의 성숙도를 자체 평가하는 데서 시작한다. 이후 비즈니스 목표와 연결된 현실적인 목표 수준을 정하고, 현재 상태와 목표 사이의 격차를 분석한다. 그 결과를 바탕으로 단계적 개선 로드맵을 만들고, 핵심 변경 사항을 파일럿 프로젝트에 적용한 뒤 성공 사례를 조직 전체로 확장하고 제도화한다.

운영 과정에서는 경영진의 지속적인 지원과 헌신, 변화 관리 전략, 팀원의 참여와 역량 개발이 필요하다. 역할과 책임을 명확히 정하고, 점진적 개선과 측정 가능한 목표, 성과 모니터링을 함께 운영해야 한다. 테스트 자동화 도구도 목적에 맞게 활용할 필요가 있다.

조직의 저항과 변화에 대한 두려움, 자원 및 예산 제약, 단기 성과에 대한 과도한 기대는 도입을 어렵게 만든다. 문서화 부담에 대한 우려와 기존 프로세스 통합의 어려움도 함께 고려해야 한다.

변화하는 테스트 환경과 TMMi

DevOps와 Agile 환경에 맞는 TMMi 적용 방법론은 계속 발전하고 있다. AI/ML 기반 테스트 자동화와 TMMi의 통합, 사이버 보안 중요성 증가에 따른 보안 테스트 프로세스 강화도 주요 흐름이다.

클라우드 환경에서는 테스트 인프라의 관리와 최적화가 필요하며, 빅데이터 분석을 활용한 데이터 기반 테스트 의사결정도 테스트 효율성과 효과성을 높이는 방향으로 다뤄진다. TMMi는 이런 변화 속에서 더 예측 가능하고 효과적인 테스트 프로세스를 구축하는 기준으로 활용될 수 있다.