가설 검정에서 귀무가설과 유의수준을 설계하는 법

표본 증거를 의사결정으로 바꾸는 기준

가설 검정은 불확실한 상황에서 표본으로 얻은 증거를 사용해 모수에 관한 주장을 기각하거나 유지하는 절차다. 데이터 생성 과정에 독립성, 분포, 등분산성 같은 통계적 가정을 두고, 그에 맞는 검정 통계량의 분포를 이용한다.

귀무가설(H0)은 변화·효과·차이가 없다는 기준선이며 반증의 대상이다. 대립가설(H1)은 변화나 효과, 차이가 존재한다는 주장으로 단측(>, <) 또는 양측(≠) 형태를 갖는다.

유의수준(α)은 참인 H0를 기각하는 1종 오류(Type I error)를 허용하는 확률이다. 일반적으로 0.05 또는 0.01을 사용한다. 검정력(1−β)은 거짓인 H0를 기각할 확률이며, 표본수·효과크기·변동성·검정 유형의 영향을 받는다. p값은 H0가 참일 때 관측치보다 극단적인 값이 나올 확률로, α와 비교하는 의사결정 기준이 된다.

방향을 미리 정할 수 있는가

단측 검정은 효과의 방향을 사전에 특정하고 한쪽 꼬리만 사용한다. 동일 표본에서 더 높은 검정력을 확보할 수 있다. 양측 검정은 방향을 정하지 않고 양쪽 꼬리를 사용하므로, 예상과 반대인 효과도 포착할 수 있다.

방향성은 결과를 본 뒤에 바꿀 수 있는 선택지가 아니다. 비즈니스 또는 과학적 질문을 정량 가설로 바꾸고 H0와 H1을 명시한 뒤, 방향성 가정이 정당한지 검토하고 사전 등록해야 한다.

α는 1종 오류가 초래할 비용과 조직이 감수할 수 있는 리스크를 반영해 정한다. 여러 가설을 함께 검정한다면 Bonferroni, Holm 등의 보정을 적용해 전체 오류율(FWER)을 통제한다.

검정 방법도 데이터 특성에서 출발한다. 모수·비모수 방법, 정규·이항·포아송 분포 중 무엇이 맞는지 판단하고, 정규성·등분산성·독립성 같은 전제를 검토해야 한다. 전제가 어긋나면 대안 절차를 택한다.

의사결정 규칙은 p ≤ α이면 H0를 기각하고, p > α이면 기각할 수 없다는 것이다. 이 판단만으로 끝내지 않고 효과크기(코헨 d, 오즈비 등)와 신뢰구간을 함께 제시해야 실질적 중요도를 전달할 수 있다.

검정 선택부터 결과 보고까지의 흐름

⤢✕

정규성이 충족되지 않으면 윌콕슨/맨-휘트니 검정을, 등분산성이 맞지 않으면 웰치 t-검정을 적용할 수 있다. 이상치와 누락치는 로버스트 추정, 감도 분석, 재현 가능한 로그 기록으로 다룬다.

단측과 양측 검정이 다른 지점

구분	검정력(성능)	오류 통제(일관성)	방향성 가정 리스크(안정성)	해석 용이성	운영 편의
단측 검정	동일 표본에서 상대적 우위	FWER 관리 시 보정 필요	방향 가정 오판 시 오류 증가	명확한 임계 기준	샘플 효율성 우수
양측 검정	상대적 열위	보수적, 재현성 우수	방향 불확실성에 안전	효과 방향 사후 해석 필요	정책/규정 적합성 높음

방향이 분명하고 사전 등록된 A/B 실험이라면 단측 검정을 우선 고려할 수 있다. 반대로 품질·안전 규제의 적용을 받거나 연구 재현성을 중시하는 환경에서는 양측 검정을 기본값으로 권장한다.

데이터 성격에 따른 적용 장면

A/B 테스트에서 B의 CTR이 A보다 높은지를 확인하려면 단측 검정을 설정할 수 있다. α=0.05에서 이항 비율 z-검정을 사용하고, 사전 전력분석으로 표본수를 산정하며, 지표가 여러 개라면 Holm 보정을 적용한다.

공정 개선 뒤 불량률이 줄었는지 검증하는 제조 품질 분석도 단측 검정의 대상이 될 수 있다. 희귀 이벤트라면 포아송 또는 이항 기반 정확 검정을 사용하고, 공정 변동을 고려해 시계열 SPC를 병행한다.

평균 혈압 변화를 평가하는 임상·의료 분석에서는 방향이 불확실하거나 규제 요구가 있을 때 양측 t-검정을 택한다. 정규성 전제가 깨지면 윌콕슨 부호순위 검정으로 대체하며, 효과크기와 95% CI를 필수로 보고한다.

표본 효율과 거짓 양성의 비용

단측 vs 양측, α=0.05, 목표 검정력 0.8을 가정하면 z 임계값 합은 1.645+0.84=2.485와 1.96+0.84=2.80으로 비교된다. 필요 표본 비율은 ≈ (2.80/2.485)² ≈ 1.27이며, 양측은 단측 대비 약 27% 더 많은 표본을 요구한다.

α=0.05에서 10개 독립 검정을 보정 없이 수행하면 FWER는 ≈ 1−(1−0.05)¹⁰ ≈ 40%가 된다. 다중 비교 보정이 필요한 이유를 수치로 확인할 수 있다.

사전 등록과 α·방향성의 명시는 의사결정 과정을 투명하게 만들고 재현 가능한 프로토콜을 세우는 기반이 된다. 1종·2종 오류의 비용을 α와 표본수 설계에 반영하면 비즈니스 손실을 줄이는 리스크 기반 운영도 가능하다.