확률 공간에서 베이즈 추론과 몬테카를로 시뮬레이션까지
Kolmogorov 공리, 조건부 확률, 베이즈 정리, 몬테카를로 시뮬레이션을 연결해 데이터 기반 의사결정과 불확실성 추론을 다룬다.
2026-08-14 · 최초 발행 2025-10-14
확률을 계산 가능한 모델로 만드는 기반
확률 이론은 Kolmogorov 공리로 정합적인 확률 공간을 정의하고, 조건부 확률과 베이즈 정리로 새 정보가 들어왔을 때의 갱신 규칙을 다룬다. 해석적으로 풀기 어려운 문제는 몬테카를로 시뮬레이션으로 수치 근사할 수 있다. 이 흐름은 데이터 기반 의사결정, 위험 관리, 실험 설계, 모델 추론의 공통 기반이 된다.
확률 공간은 표본공간 Ω, 시그마 대수 F, 확률측도 P의 세 요소로 이뤄진다. Kolmogorov 공리는 비음수성 P(A) ≥ 0, 전체측도 P(Ω) = 1, 그리고 서로 배반인 A_i에 대한 가산가법성 P(∪A_i) = ∑P(A_i)를 요구한다.
P(B) > 0일 때 조건부 확률은 P(A|B) = P(A∩B)/P(B)로 정의한다. 사건 분할 B_i가 주어지면 전확률법칙은 P(A) = ∑ P(A|B_i)P(B_i)로 쓸 수 있다.
베이즈 정리는 다음과 같이 사전분포, 우도, 사후분포를 연결한다.
P(θ|x) ∝ P(x|θ)P(θ)
정규화 상수는 evidence이며, 공액사전분포가 존재하는 경우에는 해석적인 업데이트가 가능하다. 몬테카를로 시뮬레이션은 난수 표본으로 기대값, 확률, 적분을 근사하는 방법이다. 중심극한 및 대수의 법칙에 기반하며, 표본 수 N이 늘면 표준오차는 O(1/√N)로 감소한다.
모델의 가정은 사건 정의에서 드러난다
측도론 기반의 형식화는 사건의 보완·합집합·교집합과 확률 연산 규칙이 충돌하지 않도록 한다. 실제 문제에서는 표본공간, 이벤트 정의, 측도 가정을 명시해야 하며, 데이터 생성 과정과 측정 단위가 그 가정과 맞는지도 검증해야 한다.
조건부 확률은 정보가 추가될 때 확률을 갱신하는 방식이다. 조건부 독립 구조를 활용하면 계산 복잡도를 줄일 수 있다. 예를 들어 체인룰은 다음과 같다.
P(A,B,C) = P(A)P(B|A)P(C|A,B)
확률 그래프 모델에서는 이 조건부 독립성이 인과 관계와 추론 경로를 설계하는 기준이 된다.
사전 지식과 관측 데이터를 결합한 뒤에는 사후분포에서 평균이나 최빈값 같은 점추정과 credible interval을 구할 수 있다. 폐형 해석이 불가능하면 MCMC나 변분추론을 적용하며, 하이퍼파라미터 감도와 사전-우도 충돌을 점검해야 한다.
표본 추론에서 분산과 수렴을 관리하는 방법
몬테카를로 절차에는 난수 생성기(RNG), 모델 또는 분포 정의, 표본 수 N, 시드가 입력으로 들어간다. 표본을 생성하고 통계량을 계산한 뒤 수렴과 분산을 진단해 추정치, 표준오차, 신뢰구간을 얻는다.
중요도 샘플링, 층화 샘플링, 대조변수(Control variates), 반대변수(Antithetic)는 분산을 줄이는 데 사용한다. 재현성을 위해서는 시드를 고정하고 RNG 품질을 검증해야 한다.
수치 계산에서는 로그-도메인을 사용해 언더플로와 오버플로를 피할 수 있다. 정규화 상수 계산에는 log-sum-exp 사용을 권장한다. 진단 항목으로는 몬테카를로 표준오차(MCSE), 수렴 지표인 R-hat, 사후예측검증(PPC), 시드 변경에 대한 민감도 점검이 있다.
불확실성을 의사결정에 연결하는 장면
온라인 A/B 테스트에서는 사전분포를 설정하고 데이터를 수집한 뒤 베이즈 업데이트를 수행한다. 이후 P(전환율B>전환율A)를 계산해 의사결정 임계치에 적용하며, 효과크기 분포와 의사결정 리스크를 출력으로 삼는다.
금융 리스크 관리에서는 수익률 시뮬레이션 경로를 만들고 포트폴리오 PnL을 계산한다. 하위 p 분위수를 추정한 뒤 백테스트를 수행해 VaR, 기대손실(ES), 신뢰구간을 얻는다.
제조와 신뢰성 분석에서는 고장률 사전을 가정하고 시험 데이터를 관측해 사후 고장률을 추정한다. 이를 보증기간과 재고 정책에 반영하며, MTBF 분포와 품질코스트 절감 추정을 활용한다.
센서퓨전과 머신러닝에서는 조건부 독립 가정 아래 결합우도를 구성하고 베이즈 업데이트와 후보정을 수행한다. 추정치의 불확실성과 이상치 감지 역치를 출력으로 다룬다.
표본 수 N을 늘리면 표준오차는 1/√N으로 감소한다. 분산 감소 기법을 적용하면 동일한 N에서 20~70%의 분산 절감을 기대할 수 있다. 사후분포 기반 임계치 의사결정은 과오확률(α)을 통제하고, 민감도 분석은 최악과 최선 시나리오에 대비하게 한다. 고차원·비선형 모델에도 같은 절차를 적용할 수 있으며, 시드와 환경을 고정하면 재현성과 감사 추적이 쉬워진다.
해석적 계산과 표본 기반 추론의 선택
| 방법 | 성능(연산속도) | 확장성(차원/비선형) | 일관성(추정 특성) | 안정성(분산/수렴) | 운영 편의 |
|---|---|---|---|---|---|
| 해석적 해법 | 매우 빠름(폐형) | 제한적(모형 제약 큼) | 정확(모형 가정 하) | 높음(수치 이슈만 관리) | 구현 간단, 유지보수 용이 |
| 단순 몬테카를로 | 중간(표본 의존) | 높음(모형 유연) | 일치성 보장(N→∞) | 분산 큼, SE 관리 필요 | 구현 쉬움, 병렬 확장 용이 |
| 베이즈(MCMC) | 중~느림(체인 수렴 필요) | 매우 높음(사전 포함) | 일치성/근사성(chain 수렴 전제) | 수렴/혼합 실패 위험 | 진단·튜닝 필요, 강력한 표현력 |
입력 검증부터 추론 결과까지의 흐름
베타-이항 업데이트를 코드로 확인하기
전제조건: Python 3.10+, numpy 1.24+, scipy 1.10+. 재현성: 시드 고정.
# env: Python 3.10+, numpy>=1.24, scipy>=1.10
import numpy as np
from scipy.stats import beta
rng = np.random.default_rng(42)
# 문제: 전환율 θ에 대해 prior ~ Beta(a,b)
a, b = 2.0, 2.0 # 약한 정보 사전
n, x = 100, 58 # 실험: n번 시도, x번 성공 관측
# 베이즈 업데이트(공액): posterior ~ Beta(a+x, b+n-x)
post_a, post_b = a + x, b + (n - x)
# 분석적 사후 확률: P(θ > 0.6 | 데이터)
p_gt = 1.0 - beta.cdf(0.6, post_a, post_b)
# 몬테카를로 근사
N = 200_000
theta_samples = rng.beta(post_a, post_b, size=N)
p_gt_mc = np.mean(theta_samples > 0.6)
se_mc = np.sqrt(p_gt_mc * (1 - p_gt_mc) / N) # 표준오차
print(f"Analytic P(θ>0.6): {p_gt:.4f}")
print(f"MC P(θ>0.6): {p_gt_mc:.4f} ± {1.96*se_mc:.4f} (95% MC SE)")
print(f"Posterior mean: {(post_a/(post_a+post_b)):.4f}")출력에서 Analytic과 MC 추정치의 차이는 MC 표준오차 범위 안에서 수렴한다. N을 4배로 늘리면 SE는 절반으로 감소한다. 사후 평균과 분위수를 바탕으로 P(θB>θA) > 0.95 같은 의사결정 임계치를 적용할 수 있다.
Kolmogorov 공리로 확률 공간을 수립하고, 조건부 확률과 전확률법칙으로 정보 결합을 구조화하며, 베이즈 정리로 데이터를 반영한다. 해석이 어려운 문제는 몬테카를로로 근사하되, 공리 준수 여부, 사전-우도 정합성, 난수 품질과 시드, R-hat·MCSE 기반 수렴 진단, 분산 감소 기법을 함께 관리해야 한다. 입력→처리→진단→출력→의사결정의 흐름을 반복 가능하게 만들면 정확도·확장성·재현성을 함께 확보할 수 있다.