확률 모형으로 불확실성을 모델링하는 법

확률은 관측 이전의 불확실성을 다루는 언어다

확률은 사건이 일어날 가능성을 주어진 가정 아래 수로 표현하는 규칙의 집합이다. 통계는 관측된 표본을 바탕으로 분포와 모수를 추정하고, 보이지 않는 모집단에 대해 추론하는 절차다. 현실의 데이터를 해석할 때는 확률이 정방향의 모형을 제공하고, 통계는 그 모형을 표본으로부터 되짚어 가는 역할을 맡는다.

주사위를 던지는 상황을 생각해 볼 수 있다. 주사위를 던지는 행위는 experiment이고, 그 결과인 눈 1~6은 outcome이다. 가능한 모든 결과의 집합은 표본공간(sample space) Ω이며, 짝수 {2,4,6} 또는 3이나 4인 {3,4}처럼 관심 있는 결과의 부분집합이 event가 된다.

확률 P는 이런 사건 집합에 값을 할당하는 측도 함수다. 각 사건에 배정되는 확률값은 유일하지만, 함수 자체가 일대일 대응일 필요는 없다.

사건을 데이터로 연결하는 확률변수와 분포

확률변수 X는 사건을 수로 나타내기 위해 정의하는 함수다. 어떤 현상을 확률로 표현할지에 따라 함수의 정의가 달라지므로 변수라는 이름을 쓴다.

이산형 확률변수는 확률질량함수(pmf)로 값 x ↦ P(X=x)를 매핑한다. 연속형 확률변수는 확률밀도함수(pdf)로 밀도를 정의하며, 구간 확률은 P(a≤X≤b)=∫a^b f(x)dx로 구한다. 분포를 알면 P(X ∈ A) 또는 P(X=a) 형태로 임의 사건의 확률을 계산할 수 있다. 예를 들어 P(X=짝수) = 3/6이다.

데이터의 형태는 확률변수 설계와 직접 연결된다.

• 수치형(numerical, Quantitative)은 건수처럼 셀 수 있는 이산형(discrete)과 길이·시간처럼 연속적인 연속형(continuous)으로 나뉜다.
• 범주형(categorical, Qualitative)은 색상 같은 명목형(nominal), 만족도 같은 순서형(ordinal)으로 구분한다. 다항·순서 로지스틱이나 카테고리 분포로 모델링할 수 있다.

모형은 가정과 데이터 점검에서 출발한다

확률모형은 문제와 사건을 정한 뒤 확률공간과 확률변수를 설계하고, 후보 분포를 선택해 모수를 추정하는 흐름으로 진행된다. 이후 적합도 검정과 교차검증을 거쳐 배포하고 모니터링한다.

이 과정에서 독립성, 동일분포, 정규성 같은 입력 가정을 명시하고 데이터 품질을 점검해야 한다. 가정이 맞지 않으면 변환, 강건 추정, 비모수 방법을 고려한다.

모수는 분포의 특성을 결정하는 계수다. 이항분포의 p, 정규분포의 μ·σ가 대표적이며, 모수를 알면 사건 확률을 계산할 수 있다. 최대우도(MLE)는 일관성과 효율성이 장점이지만 이상치에 민감하다. 모멘트법(MoM)은 계산이 쉬운 대신 효율성에 한계가 있고, 베이지안 방법은 사전정보를 결합할 수 있지만 계산비용이 부담이 된다.

현실 데이터는 모집단 분포에서 나온 표본이다. 통계적 추정은 제한된 표본으로 전체를 추정하는 절차이며, 중심극한정리(CLT)에 따른 근사, 표본 오차와 신뢰구간, 편향·분산 트레이드오프를 함께 다룬다.

이산형과 연속형은 계산 방식도 운영 감각도 다르다

이산형 모형은 빈도, 건수, 성공·실패 사건에 맞는다. PMF를 기반으로 합산과 부분합을 계산하는 방식이 중심이다. 연속형 모형은 측정값, 시간, 거리처럼 실수 영역의 데이터에 적합하며 PDF 기반의 적분과 최적화를 활용한다.

구분	성능(연산)	확장성(차원)	일관성(추정)	안정성(표본)	운영 편의
이산모형	PMF 합산·조합 계산 간단, 상태공간 증가 시 조합 폭증 위험	상태 수 증가 시 희소성 관리 필요, 샘플 효율화 요구	MLE 폐형 해 존재 사례 다수, 일치성 보장 조건 비교적 명확	희귀사건 시 분산 증가, 제로-인플레이션 이슈	건수·비율 해석 직관, 커뮤니케이션 용이
연속모형	적분·최적화 비용 존재, 벡터화·근사로 효율화 가능	고차원 공분산 추정 부담, 정규화·차원축소 병행 필요	정규성·정칙성 하 MLE 효율적, 제약 최적화 수반	표본 크기 부족 시 과적합·불안정 위험	단위·스케일 의존, 해석 숙련 필요

불확실성을 의사결정 조건으로 다루기

신뢰구간, 예측구간, p값, 베이지안 사후확률은 불확실성을 수치로 드러내는 수단이다. 의사결정에서는 손실함수와 기대효용을 바탕으로 임계값을 정하고, 운영 리스크와 비용 사이의 균형을 맞춘다.

제조 품질 관리에서는 베르누이·이항 모형으로 불량률 p를 추정하고 공정능력 지표를 산출한다. 샘플 크기를 설계하고 CUSUM/Shewhart 관리도를 적용할 수 있다. 디지털 제품 A/B 테스트에서는 베타-베르누이 또는 이항 검정으로 전환율 차이를 평가하며, 순차적 실험으로 표본 절감과 출시 지연 최소화를 시도한다.

수요나 도착 건수는 포아송·음이항으로 콜센터와 트래픽의 도착률을 모델링한다. 시간가변율에는 NHPP를, 과산포에는 음이항 대체를 사용할 수 있다. 금융 리스크 관리에서는 수익률에 정규·t·혼합정규를 적합하고 꼬리확률로 VaR/ES를 산출하며, 극값이론(POT)으로 테일 리스크를 보완한다. 이상탐지와 모니터링은 가우시안 또는 혼합 모형으로 임곗값을 정하고 개입변화점 탐지로 운영 이벤트를 조기 경보한다.

품질관리에서는 불량률 추정의 표준오차 30% 축소 시 스크랩·재작업 비용 812% 절감 가능 가정이 있다. 순차적 A/B 테스트는 평균 표본 2040% 절감과 출시 리드타임 단축으로 이어질 수 있다. 수요예측에서는 과소·과다 재고 비용 10% 내외 감소와 SLA 위반률 30% 감소를 가정한다.

가정과 불확실성을 문서화하면 재현 가능성이 높아진다. 의사결정의 일관성과 설명가능성이 강화되고, 모델 성능이 저하됐을 때 원인을 추적하기도 쉬워져 거버넌스 체계를 갖추는 데 도움이 된다.

모형을 배포 이후까지 연결하는 흐름

⤢✕

이산·연속 모형에서 사건 확률 계산하기

전제조건: Python 3.11+, numpy 1.26+, scipy 1.11+

# 목적: 이산/연속 확률모형의 모수 추정과 사건 확률 계산 예시
import numpy as np
from scipy import stats

np.random.seed(42)

# 1) 이산: 클릭 전환 베르누이 모형, 이항 사건 확률
clicks = np.random.binomial(1, 0.12, size=1000)   # 관측 표본
p_hat = clicks.mean()                              # MLE
prob_at_least_60_in_100 = 1 - stats.binom.cdf(59, 100, p_hat)

print(f"추정 전환율 p̂ = {p_hat:.4f}")
print(f"100명 중 60명 이상 전환 확률 = {prob_at_least_60_in_100:.4e}")

# 2) 연속: 키 데이터 정규분포 적합, 구간 확률
heights = np.random.normal(loc=170, scale=6, size=500)
mu_hat, sigma_hat = stats.norm.fit(heights)        # (μ̂, σ̂)
prob_160_180 = stats.norm.cdf(180, mu_hat, sigma_hat) - stats.norm.cdf(160, mu_hat, sigma_hat)

print(f"정규 모수 추정 (μ̂, σ̂) = ({mu_hat:.2f}, {sigma_hat:.2f})")
print(f"160~180cm 구간 확률 = {prob_160_180:.3f}")

이산 예시에서 베르누이 p의 MLE는 표본평균이며, 이항 CDF의 보수로 대량 전환 사건의 확률을 계산한다. 연속 예시는 정규 모수(μ, σ)를 적합한 뒤 CDF 차로 구간확률을 구한다.