제1종·제2종 오류와 검정력: 샘플 크기 설계의 기준

α와 β 사이에서 설계가 시작된다

가설검정의 판단 정확도는 제1종 오류(Type I error, α), 제2종 오류(Type II error, β), 검정력(power=1-β)의 관계에 달려 있다. 샘플 크기(sample size)는 이 관계를 실제 설계로 옮기는 변수다.

제1종 오류는 귀무가설(H0)이 참인데 이를 기각할 확률이며, 유의수준(significance level)으로 사전에 정한다. 제2종 오류는 대립가설(H1)이 참인데도 H0를 기각하지 못하는 확률이다. 검정력은 H1이 참일 때 H0를 올바르게 기각할 확률을 뜻한다.

효과크기(effect size, d)는 집단 간 차이 또는 변화량을 표준편차로 정규화한 값이다. d가 클수록 동일한 α에서 필요한 샘플 크기는 작아진다. 반대로 α를 낮추면 검정은 보수적으로 바뀌고, 같은 n 조건에서는 β가 증가한다. 검정력을 확보하려면 n 또는 d를 키우거나 α를 완화해야 한다.

가설검정의 오류는 어떤 선택에서 생기는가

H0가 참인지 거짓인지, 그리고 이를 기각했는지 여부가 결합되면서 오류 유형이 정해진다. H0가 참인 상태에서 기각하면 Type I 오류가 발생하고, H1이 참인데 기각하지 못하면 Type II 오류가 된다.

α는 연구 설계자가 미리 지정한다. β는 효과크기, 분산, n, 검정 방향(단측/양측)의 영향을 받는다. n, d, α가 커질수록 검정력은 높아지는 경향을 보인다.

n에 따른 검정력 변화는 power 곡선으로 표현할 수 있다. n이 증가하면 power도 증가하지만, 큰 n 구간에서는 증가 폭이 줄어드는 수확체감이 나타난다.

집단 평균 비교에서 필요한 표본 수

등분산·동수 조건의 양측 검정에서, 연속형 두 집단 t-검정의 군당 샘플 크기는 다음과 같이 근사할 수 있다.

n(군당) ≈ 2×(z*{1-α/2}+z*{1-β})² / d².

α=0.05, power=0.8(β=0.2), d=0.5라면 z=1.96,0.84이고, n≈2×(2.8)²/0.25=62.72 ≈ 63명/군이다. 단측 검정에서는 z_{1-α}를 사용하므로 같은 조건에서 필요한 n이 감소한다.

다만 단측 검정은 경계값을 완화해 power를 높이거나 필요 n을 줄일 수 있는 대신, 연구 질문과 윤리·해석 타당성을 검증해야 한다.

다중비교도 설계값을 바꾼다. Bonferroni 등의 보정을 적용하면 유효 α가 줄어들고 필요한 n은 증가한다. m=10, α_total=0.05인 경우 α_each=0.005가 되어 z临계가 상승한다.

파워 분석을 설계에 연결하는 흐름

파워 분석의 입력은 연구 가설, 임상적 또는 비즈니스적으로 의미 있는 최소 효과크기(MID), 파일럿 또는 과거 데이터에서 얻은 분산 추정, 목표 α와 power, 검정 유형이다. 검정 유형에는 단측·양측, t/z/비율/생존 검정이 포함된다.

분포 가정과 검정 통계량을 선택한 뒤 임계값(z/t)을 구하고, power 방정식에서 n 또는 β를 푼다. 이어 예산과 모집 가능성 같은 현실 제약을 검토한다. 결과물은 권장 샘플 크기, power 곡선, 효과크기·분산 변화에 따른 민감도 분석, 단측·다중비교 보정·순차 디자인 같은 설계 대안이다.

⤢✕

전환율·혈압·불량률을 다룰 때의 설계 차이

A/B 테스트의 전환율 변화

전환율 5.0% 대비 0.5%p 상승을 탐지하는 것이 목표라면 d ≈ 0.005/√(p(1-p))로 근사할 수 있다. 과거 데이터에서 분산을 추정하고, 양측 α=0.05와 power=0.8을 설정한 후 이항 검정 기반 n을 산출해 트래픽 배분 계획을 정한다.

전환·장바구니·체류시간처럼 여러 지표를 동시에 검정할 때는 보정을 적용하거나 1차 지표를 사전에 지정해야 한다.

평균 혈압 감소를 보는 임상시험

5 mmHg 차이를 탐지하고 σ=10 mmHg인 경우 d=0.5다. 양측 α=0.05와 power=0.8 조건에서는 약 63명/군이 필요하다. 중간분석 계획이 있다면 α-지출 함수(O’Brien-Fleming 등)를 반영해 n을 다시 산정한다.

탈락률을 10%로 가정하면 n/(1-0.1)로 보정한다. 안전성 종결 기준과 일관된 데이터 모니터링 시스템도 설계에 포함된다.

제조 공정의 불량률 감소

불량률을 1.0%에서 0.7%로 낮추는지 검증할 때는 희귀 이벤트 특성상 충분한 표본이 필요하다. 포아송 또는 이항 근사를 선택하고, α=0.01(품질 표준), power=0.9를 적용해 대용량 배치 또는 관찰 기간 확장을 검토한다.

계절성이나 라인 간 이질성처럼 공정 변동성이 있다면 층화 또는 혼합모형을 고려한다.

변수 변경이 바꾸는 오류와 표본 수

조정 변수 변화	Type I 오류(α)	Type II 오류(β)	검정력(1-β)	필요 샘플 크기(n)
α 증가	↑	↓	↑	↓
효과크기 d 증가	—	↓	↑	↓
분산 σ² 증가	—	↑	↓	↑
다중비교 수 m 증가	유효 α ↓	↑	↓	↑
양측→단측 전환	유효 임계 ↓	↓	↑	↓
α 감소(보수화)	↓	↑	↓	↑

주: “—”는 직접 영향 없음(단, n·검정 조건 고정 가정).

이 관계를 명확히 두면 과도한 위양성(α)과 위음성(β)의 균형을 관리할 수 있다. 필요한 최소 n을 산출해 데이터 수집 비용을 줄이고, 충분한 power를 통해 효과 과대추정(타입 M)과 방향 오류(타입 S)의 위험도 낮출 수 있다. 설계 가정과 계산 절차를 투명하게 문서화하는 일은 규제·감사 대응에도 연결된다.

Python으로 확인하는 근사값과 power 곡선

근사 계산에서 두 집단, 등분산, 양측 α=0.05, power=0.8 조건을 두면 d=0.5일 때 n ≈ 2×(1.96+0.84)²/0.25 ≈ 63명/군이다. 다중비교 Bonferroni m=10을 적용하면 α_each=0.005, z临계≈2.807, n ≈ 107명/군이 된다.

실행 환경은 Python 3.10+, statsmodels 0.14+다. 독립 표본, 정규성 근사가 가능하다는 조건, 등분산 가정이 전제되며 Welch 검정을 사용하면 근사치가 달라진다.

# Python 3.10, statsmodels 0.14
from statsmodels.stats.power import TTestIndPower
import numpy as np

analysis = TTestIndPower()

# 예1) d=0.5, α=0.05, power=0.8, 양측
n_per_group = analysis.solve_power(effect_size=0.5, alpha=0.05, power=0.8, alternative='two-sided')
print(f"권장 샘플 크기(군당): {np.ceil(n_per_group):.0f}명")  # 올림 처리

# 예2) power 곡선(α=0.05, d=0.5)
ns = np.arange(20, 161, 10)  # 20~160명/군
powers = analysis.power(effect_size=0.5, nobs1=ns, alpha=0.05, alternative='two-sided')
for n, p in zip(ns, powers):
    print(f"n={n:3d}/군 → power={p:.3f}")

# 예3) 단측 검정 비교
n_one_sided = analysis.solve_power(effect_size=0.5, alpha=0.05, power=0.8, alternative='larger')
print(f"단측 검정 권장 샘플 크기(군당): {np.ceil(n_one_sided):.0f}명")

예1의 결과는 약 63명/군 수준이다. 예3의 단측 검정은 약 50명/군 수준으로 감소한다. power 곡선은 n 증가에 따라 점증하지만 증가 폭은 점차 축소된다.

설계 문서에 남겨야 할 판단

α·β·power는 독립된 수치가 아니라 상호 연동되는 설계값이다. 최소 검출 가능 효과크기(MID), 분산의 보수적 추정, 다중비교와 단·양측 설계의 사전 정의, 탈락률과 운영 제약을 함께 반영해야 한다.

표준화된 파워 분석 템플릿과 코드 레시피를 운영하고, 파일럿-본시험 이중 단계 설계와 power 곡선 기반 의사결정 체계를 두면 가정과 선택의 근거를 일관되게 관리할 수 있다.