귀무가설을 기각할까 말까 — 제1종 오류와 제2종 오류의 트레이드오프
거짓 양성과 거짓 음성이라는 통계적 오류의 정의와 상충 관계, 표본 크기·다중검정 대응법, 신약 승인과 A/B 테스트 실패 사례로 본 오류 관리 실무를 정리한다.
2026-08-14 · 최초 발행 2025-05-23
효과 없는 신약을 효과가 있다고 잘못 승인하거나, 효과 있는 신약을 효과가 없다고 잘못 거부하거나 — 가설검정은 언제나 이 두 가지 실수 중 하나를 저지를 위험을 안고 있다.
가설을 세우고 판단에 이르는 과정
통계적 가설검정은 모집단에 대한 가설을 수립하고, 표본 데이터로 그 가설의 타당성을 검증하는 절차다. 귀무가설(H₀)은 일반적으로 "차이가 없다" 또는 "효과가 없다"는 주장이고, 대립가설(H₁)은 연구자가 입증하고자 하는 "차이가 있다" 또는 "효과가 있다"는 주장이다. 가설을 수립하고 유의수준(α)을 설정한 뒤 검정통계량을 계산해 p값을 산출하고, p값이 α보다 작으면 귀무가설을 기각하며 그렇지 않으면 채택하는 흐름으로 진행된다.
참인데 기각하거나, 거짓인데 채택하거나
귀무가설이 참임에도 불구하고 이를 기각하는 것이 제1종 오류(Type I Error)다. 확률은 α(유의수준)로 표현되며 "거짓 양성(False Positive)" 결과에 해당한다. 정상인을 질병이 있다고 진단하거나, 무죄인 사람을 유죄로 판결하거나, 효과 없는 신약이 효과가 있다고 잘못 결론 내리는 경우가 여기 속한다. 제1종 오류는 유의수준 α로 통제되며 일반적으로 α=0.05 또는 α=0.01을 쓴다. 이는 귀무가설이 참일 때 검정 결과가 우연히 5% 또는 1%의 확률로 유의미하게 나타날 수 있음을 뜻한다.
귀무가설이 거짓임에도 불구하고 이를 기각하지 못하는 것이 제2종 오류(Type II Error)다. 확률은 β로 표현하며, 제2종 오류를 범하지 않을 확률인 1-β를 검정력(Power)이라 부른다. "거짓 음성(False Negative)" 결과에 해당하며, 질병이 있는 환자를 정상이라고 진단하거나, 유죄인 사람을 무죄로 판결하거나, 효과 있는 신약을 효과 없다고 잘못 결론 내리는 경우가 여기 속한다.
두 오류를 혼동행렬(Confusion Matrix)로 정리하면 다음과 같다.
| 예측 Positive | 예측 Negative | |
|---|---|---|
| 실제 Positive | True Positive (TP) | False Negative (FN)→ 제2종 오류 (Type II Error) |
| 실제 Negative | False Positive (FP)→ 제1종 오류 (Type I Error) | True Negative (TN) |
True Positive(TP)는 실제 Positive이고 예측도 Positive인 정상 판별이다. False Positive(FP)는 실제 Negative인데 예측이 Positive인 경우로 제1종 오류에 해당하며, 잘못 양성으로 판단한 것이다. False Negative(FN)는 실제 Positive인데 예측이 Negative인 경우로 제2종 오류에 해당하며, 잘못 음성으로 판단한 것이다. True Negative(TN)는 실제 Negative이고 예측도 Negative인 정상 판별이다.
하나를 줄이면 다른 하나가 늘어난다
제1종 오류와 제2종 오류 사이에는 상충 관계(trade-off)가 존재한다. 유의수준(α)을 낮추면 제1종 오류의 가능성은 줄지만 제2종 오류의 가능성은 늘어나고, 유의수준을 높이면 반대 방향으로 움직인다. 이 상충 관계는 표본 크기를 늘림으로써 일부 완화할 수 있다. 표본 크기가 늘어나면 통계적 검정력(1-β)이 향상되어, 제1종 오류를 늘리지 않으면서 제2종 오류를 줄일 수 있다.
표본 크기와 다중검정을 관리하는 법
적절한 표본 크기는 원하는 유의수준(α), 목표 검정력(1-β), 효과 크기(Effect Size), 변수의 분산을 고려해 결정한다.
여러 가설을 동시에 검정하면 제1종 오류가 누적되는 다중 검정 문제가 생긴다. 적어도 하나의 검정에서 제1종 오류가 발생할 확률을 가족별 오류율(Family-wise Error Rate, FWER)이라 하며, 독립적인 검정의 수를 k라 할 때 FWER = 1-(1-α)^k로 계산한다. 대응 방법으로는 α를 검정 횟수(n)로 나눈 값(α/n)을 새로운 유의수준으로 쓰는 Bonferroni 교정, p값을 오름차순으로 정렬해 각 p값에 다른 임계값을 적용하는 Holm-Bonferroni 방법, Benjamini-Hochberg 절차 등으로 거짓 발견 비율을 통제하는 False Discovery Rate(FDR) 통제가 있다.
오류에는 비용이 붙는다
비즈니스 맥락에서 제1종 오류는 실제로는 효과 없는 마케팅 캠페인을 효과적이라고 잘못 판단해 불필요한 투자를 유발하고, 제2종 오류는 실제로는 효과적인 제품 개선을 효과 없다고 판단해 기회 손실을 초래한다.
실무에서는 각 오류 유형에 따른 비용을 고려해야 한다. 제1종 오류 비용(C₁)은 거짓 양성으로 인한 비용, 제2종 오류 비용(C₂)은 거짓 음성으로 인한 비용이며, 총 기대 비용은 C₁·α + C₂·β로 나타낼 수 있다. 비용이 비대칭적인 경우, 단순히 α=0.05와 같은 관행적 유의수준 대신 비용을 최소화하는 유의수준을 선택하는 것이 합리적이다.
전통적인 가설검정의 한계를 극복하기 위해 베이지안 접근법을 고려할 수도 있다. 사전 확률(Prior Probability)로 기존 지식을 반영하고, 가설의 확률을 직접 추정해 의사결정에 활용하며, 점추정 대신 확률 분포로 불확실성을 정량화한다.
신약 승인과 실패한 A/B 테스트가 보여주는 것
신약 승인 과정에서 제1종 오류는 효과 없는 약물을 승인해 환자 위험과 자원 낭비를 낳고, 제2종 오류는 효과 있는 약물을 거부해 잠재적 치료 기회를 잃게 만든다. FDA는 일반적으로 α=0.05를 쓰지만 맥락에 따라 기준을 달리한다. 생명을 위협하는 질병의 치료제는 제2종 오류를 최소화하기 위해 더 높은 α를 허용할 수 있고, 예방적 약물이나 경미한 증상의 치료제는 제1종 오류를 최소화하기 위해 더 낮은 α를 요구한다.
온라인 서비스 기업의 A/B 테스트 사례도 교훈을 남긴다. 웹사이트 디자인 변경의 효과를 테스트하며 α=0.05를 설정했지만, 클릭률·전환율·체류 시간 등 여러 지표를 동시에 검정하면서 다중 검정으로 인해 실제 FWER이 예상보다 크게 늘어났다. 거짓 양성 결과를 바탕으로 전사적 디자인 변경을 결정했으나, 실제 구현 후 기대한 성과를 달성하지 못했다. 다중 검정 문제를 인식하고 Bonferroni 교정 등을 적용했다면 잘못된 의사결정을 방지할 수 있었을 것이다.
오류를 줄이기 위해 할 수 있는 것들
검정을 설계하는 단계에서는 연구 질문을 정확히 반영하는 가설을 세우고, 데이터 특성과 가설에 맞는 검정 방법을 고르고, 목표 검정력과 효과 크기를 고려해 충분한 표본 크기를 계산하고, 연구 맥락과 오류 비용을 고려해 유의수준을 사전에 정해야 한다.
분석과 해석 단계에서는 여러 검정을 수행할 때 적절한 교정 방법을 적용하고, p값뿐 아니라 효과 크기와 신뢰구간도 함께 제시하고, 제2종 오류 가능성에 대한 검정력 분석을 포함하고, 통계적 유의성과 실질적 중요성을 구분해 해석해야 한다.
결과를 보고하는 단계에서는 사용된 통계적 방법과 가정을 투명하게 공개하고, 통계적으로 유의하지 않은 부정적 결과도 보고해 출판 편향을 막고, 데이터 분포와 효과 크기를 직관적으로 보여주는 시각화를 제공하고, 분석 코드와 데이터를 공유해 재현성을 보장해야 한다.
통계적 가설검정에서 발생하는 오류는 피할 수 없지만, 적절한 이해와 방법론으로 관리할 수 있다. 제1종 오류와 제2종 오류의 상충관계를 인식하고, 실무 맥락에서 각 오류의 비용을 고려한 의사결정이 중요하다. 데이터 기반 의사결정이 중요해질수록, 통계적 오류에 대한 이해는 이론적 지식을 넘어 실질적인 비즈니스 가치와 직결된다.