점추정에서 모멘트 방법과 최대우도추정을 선택하는 기준

점추정은 모수를 하나의 값으로 정하는 문제지만, 어떤 추정량을 택하느냐에 따라 편향, 분산, 계산 방식, 운영 부담이 달라진다. 모멘트 방법(MOM)과 최대우도추정(MLE)은 이 차이를 가장 잘 보여주는 두 접근이다.

추정량을 평가하는 기준

점추정(Point Estimation)은 모수를 단일 값으로 추정하는 절차와 그 결과를 뜻한다. 이때 추정량(estimator)은 표본의 함수인 통계량이고, 추정치(estimate)는 특정 표본에서 계산된 실현값이다.

불편성은 추정량의 기대값이 참모수와 일치하는 성질이다. 추정 성능은 분산과 함께 MSE=Bias^2+Var로 평가한다. 일치성은 표본 크기가 커질수록 추정량이 참모수에 수렴하는 성질이며, 표본 크기 설계와도 연결된다.

모델을 정한 뒤에는 분포 선택, 독립·동일분포(i.i.d.) 가정, 파라미터의 식별가능성을 먼저 확인한다. MLE를 적용할 때는 연속성, 미분가능성, 정보행렬 양의정치성과 같은 정칙조건도 점검 대상이다.

MOM은 표본모멘트와 이론모멘트가 같아지도록 방정식을 세워 모수를 구한다. 폐형 해를 얻는 경우가 많아 계산은 수월하지만, 불편성이 항상 보장되지는 않으며 분포에 따라 결과가 달라진다.

MLE는 관측 데이터가 실제로 관측될 가능도를 가장 크게 만드는 모수를 선택한다. 로그우도를 구성한 뒤 미분 조건을 풀거나 수치최적화로 해를 찾는다. 정칙조건 아래에서는 점근적 정규성과 효율성(CRLB 달성) 성질을 가지며, 정보행렬로 표준오차를 추정할 수 있다.

추정 결과가 보고되기까지

⤢✕

추정치만 산출하는 것으로 절차가 끝나지는 않는다. 바이어스, 분산, MSE, 신뢰구간 커버리지를 비교하고, 잔차와 진단 결과로 모델 적합도를 확인한다. 이상치와 모형 위반에 대한 민감도도 함께 살펴야 한다.

재현 가능한 운영을 위해서는 난수 시드와 버전을 관리하고, 수치최적화의 수렴 기준과 제약을 명시한다. 실패에 대비해 MOM에서 MLE로 또는 그 반대로 전환하는 경로, 초기값을 바꾸는 절차도 정해둘 수 있다.

MOM과 MLE가 달라지는 지점

항목	모멘트 방법(MOM)	최대우도추정(MLE)
성능(정확도)	분포에 따라 편향 가능, 분산은 대체로 큼	정칙조건 하 점근적 효율 달성, 대체로 낮은 분산
일관성	보통 일치성 존재하나 조건 의존	넓은 조건에서 일치성·정규성 확보
안정성/견고성	이상치·모형위반에 상대적 민감도 낮을 수 있음(저차 모멘트 기반)	모형정합성 높을수록 강력, 이상치·미정칙성에 민감
확장성	폐형 해 다수, 고차원 모형에서 제약	복잡 모형·혼합분포·GLM 등 확장 용이
운영 편의	구현 용이, 디버깅 단순	수치최적화·초기값·수렴관리 필요
계산 복잡도	낮음, 선형 방정식 빈번	중간~높음, 기울기·헤시안 계산 필요

MOM은 빠르게 기준선을 만들거나 초기값을 잡을 때 유용하다. 반면 복잡한 모형, 혼합분포, GLM처럼 우도 기반 확장이 필요한 경우에는 MLE가 적합하다. 다만 MLE는 초기값과 수렴 상태, 모형 가정에 더 민감하므로 결과 진단을 분리할 수 없다.

전환율·대기시간·품질 측정에 적용하는 방식

전환율을 Bernoulli/Binomial 모형으로 추정할 때 입력은 전환 성공 횟수 s와 총 노출 n이다. MOM과 MLE 모두 p̂ = s/n을 사용하며, 표준오차는 sqrt(p̂(1−p̂)/n)이다. 결과물은 p̂, 95% CI, 집단 간 차이 검정 결과가 된다.

고장률이나 대기시간을 Exponential 모형으로 다룰 때는 대기시간 표본 {x_i}를 입력으로 사용한다. MLE는 λ̂ = 1/평균이며 MOM도 동일하다. 신뢰구간은 피셔정보로 계산하고, λ̂, CI, 서비스수준 지표인 95% 지연시간을 출력한다.

정규 모형 기반 품질관리에서는 측정값 {x_i}로 평균과 분산을 계산한다. 평균은 MLE와 MOM 모두 표본평균이지만, 분산은 MLE가 1/n, 불편분산이 1/(n−1)을 사용한다. 이를 바탕으로 μ̂, σ̂^2, 관리도 한계선(UCL/LCL)을 산정한다.

누락값과 이상치, 단위 불일치는 추정 전에 검증한다. 수치최적화가 실패하면 초기값 변경, 로그 변환을 통한 재매개변수화, 경계 제약을 적용할 수 있다. 식별성이 깨진 경우에는 모수를 축약하거나 사전정보(정규화·제약)를 주입한다.

정확도와 재현성 측면의 효과

정상모형에서는 MLE의 분산이 CRLB에 근접하므로, 같은 정확도에 필요한 표본 수를 줄일 수 있다. 정규 분포 평균 추정에서 분산이 알려진 경우 Var(μ̂_MLE)=σ^2/n이며 한계달성에 해당한다. 분산 추정에서는 불편분산이 E[s^2]=σ^2를 만족하는 반면, MLE 분산추정에는 하편향이 존재한다.

절차를 표준화하면 재현성과 감사 가능성이 높아진다. 복합모형으로 확장하기 쉬운 구조를 마련하고, 실험과 모니터링 운영을 자동화하는 기반도 만들 수 있다.

정규 모형에서 평균과 분산을 계산하기

Python 3.11, numpy 2.x, scipy 1.11+ 환경에서 실행 가능하다고 가정한다. 난수 시드를 고정하고 소규모 예제로 확인한다.

# Python 3.11
import numpy as np
np.random.seed(42)

# 데이터 생성: N(mu=5, sigma=2)
n = 200
x = np.random.normal(5.0, 2.0, size=n)

# MOM(=표본모멘트 매칭)
mu_mom = x.mean()
# 2차 중심모멘트 일치 → 불편분산
var_mom_unbiased = x.var(ddof=1)

# MLE
mu_mle = x.mean()                 # 정규모형에서 동일
var_mle = x.var(ddof=0)           # 1/n, 하편향

print(f"mu_mom={mu_mom:.4f}, mu_mle={mu_mle:.4f}")
print(f"var_mom_unbiased={var_mom_unbiased:.4f}, var_mle={var_mle:.4f}")

평균 추정값은 MOM과 MLE가 일치한다. 분산에서는 MOM의 불편추정량과 MLE 사이에 편향 차이가 생긴다.

감마 분포 우도를 수치적으로 최적화하기

형상 k와 스케일 θ를 갖는 감마 분포에서는 양수 제약을 유지하도록 로그-매개변수화를 적용할 수 있다.

# Python 3.11
import numpy as np
from scipy.optimize import minimize
from scipy.special import gammaln

np.random.seed(7)
# 데이터 생성: Gamma(k=2.0, theta=3.0)
k_true, th_true = 2.0, 3.0
x = np.random.gamma(shape=k_true, scale=th_true, size=500)
x = x[(x > 0)]  # 방어적 필터

# 로그우도(음수, 최소화) - k>0, theta>0 보장 위해 로그-매개변수화
def nll(params):
    a, b = params  # k=exp(a), theta=exp(b)
    k, th = np.exp(a), np.exp(b)
    if not np.isfinite(k) or not np.isfinite(th):
        return np.inf
    n = x.size
    # log f(x|k,th) = (k-1)log x - x/th - k log th - log Γ(k)
    ll = (k - 1) * np.log(x) - x / th - k * np.log(th) - gammaln(k)
    return -np.sum(ll)

res = minimize(nll, x0=np.array([0.0, 0.0]), method="L-BFGS-B")
a_hat, b_hat = res.x
k_hat, th_hat = np.exp(a_hat), np.exp(b_hat)

print(f"converged={res.success}, k_hat={k_hat:.4f}, theta_hat={th_hat:.4f}")

로그-매개변수화는 매개변수 경계 위반을 막아 양수 제약을 보장한다. 수렴하지 않으면 초기값을 바꾸고, 샘플 로그모멘트 기반 초기화를 적용하거나 TNC, Nelder-Mead 같은 다른 알고리즘을 시도한다.

MOM은 단순성, 속도, 해석 용이성이 장점이지만 편향과 비최적 분산 가능성을 가진다. MLE는 점근 효율성과 일반성, 불확실성 추정의 편의성이 강점인 대신 수치최적화 관리와 이상치·모형의존성 문제가 따른다. 데이터 검증과 식별성 점검 뒤 MOM으로 초기값 또는 베이스라인을 만들고, MLE로 최종 추정과 불확실성을 보고한 다음 민감도와 진단을 통과했을 때 배포하는 흐름이 운영에 적합하다.