MDP 전이확률: 상태가 어떻게 변하는지 확률로 모델링하기

강화학습과 의사결정 모델링에서 **전이확률(Transition Probability)**은 가장 기본적이면서도 핵심적인 개념이다. 특히 [state=s, action=a 일 때, state=s'가 될 확률]은 지능형 에이전트의 행동이 환경에 어떤 영향을 미치는지 수학적으로 정의하는 중요한 구성 요소다.

전이확률 P(s'|s,a)가 의미하는 것

전이확률은 마르코프 결정 과정(Markov Decision Process, MDP)에서 핵심적인 요소로 보통 P(s'|s,a) 또는 **T(s,a,s')**로 표기한다.

정의: 현재 상태 s에서 행동 a를 취했을 때, 다음 상태가 s'가 될 확률
특성: 0과 1 사이의 값을 가지며, 특정 상태와 행동에 대한 모든 가능한 다음 상태의 전이확률 합은 1
수학적 표현: P(s'|s,a) ∈ [0,1], ∑s' P(s'|s,a) = 1

이 전이확률은 시스템의 '역학(dynamics)'을 정의하며, 환경이 에이전트의 행동에 어떻게 반응하는지 알려준다.

그리드 월드로 보는 전이확률 행렬

전이확률은 보통 3차원 행렬로 표현된다.

⤢✕

예를 들어, 4x4 그리드 월드에서는 다음과 같다.

⤢✕

로봇이 상태 (1,1)에서 "오른쪽으로 이동" 행동을 취할 때를 생각해보자.

성공적으로 (1,2)로 이동할 확률: 0.8
미끄러져 (0,1)로 이동할 확률: 0.1
미끄러져 (2,1)로 이동할 확률: 0.1

따라서 다음과 같이 표현된다.

P((1,2) | (1,1), 오른쪽) = 0.8
P((0,1) | (1,1), 오른쪽) = 0.1
P((2,1) | (1,1), 오른쪽) = 0.1

환경을 예측 가능하게 만드는 이유

전이확률이 중요한 이유는 다음과 같다.

환경 모델링 — 실제 환경의 역학을 수학적으로 모델링하고, 불확실성이 있는 환경에서 행동의 결과를 예측하며, 에이전트가 취할 수 있는 최적의 전략을 수립하는 근거가 된다.

가치 함수 계산 — 전이확률은 상태 가치 함수(V(s))와 상태-행동 가치 함수(Q(s,a)) 계산에 필수적이다.

V(s) = max_a ∑s' P(s'|s,a) [R(s,a,s') + γ·V(s')]

Q(s,a) = ∑s' P(s'|s,a) [R(s,a,s') + γ·max_a' Q(s',a')]

여기서 R(s,a,s')은 보상 함수, γ는 할인 계수다.

정책 최적화 — 최적 정책 π*(s)를 찾는 과정에서 전이확률은 핵심 요소다.

π*(s) = argmax_a ∑s' P(s'|s,a) [R(s,a,s') + γ·V*(s')]

전이확률과 보상은 서로 다른 축이다

전이확률과 보상(Reward)은 MDP의 두 가지 핵심 구성 요소다.

전이확률 P(s'|s,a): 행동의 결과로 환경이 어떻게 변화하는지
보상 함수 R(s,a,s'): 특정 전이 발생 시 에이전트가 받는 즉각적인 보상

⤢✕

중요한 점은 보상이 전이확률과 별개로 정의된다는 것이다. 같은 전이(s→a→s')가 발생하더라도 다른 문제 설정에서는 다른 보상을 받을 수 있다.

전이확률을 실제로 어떻게 추정하는가

실제 응용에서는 전이확률을 정확히 알지 못하는 경우가 많다. 이를 추정하는 방법은 크게 두 갈래다.

모델 기반 접근법

통계적 추정: 상태 s에서 행동 a를 취했을 때 상태 s'로 전이된 횟수를 기록하여 추정
```
P(s'|s,a) ≈ Count(s,a,s') / Count(s,a)
```
베이지안 접근법: 사전 확률 분포를 가정하고 경험을 통해 업데이트

모델 없는(Model-free) 접근법

환경 모델(전이확률과 보상)을 명시적으로 학습하지 않고 직접 가치 함수나 정책을 학습한다.

Q-학습
SARSA
정책 경사법(Policy Gradient)

자율주행·재고관리·의료에서 전이확률을 어떻게 쓰는가

자율주행 자동차에서는 상태 s(현재 차량 위치, 속도, 주변 차량 위치), 행동 a(가속, 감속, 회전), 상태 s'(행동 후 변화된 차량 상태)를 정의하고, P(s'|s,a)로 특정 행동이 차량의 다음 상태에 미치는 영향을 확률적으로 모델링한다. 예를 들어 차량이 교차로에서 좌회전을 시도할 때 성공적으로 좌회전을 완료할 확률은 0.85, 미끄러짐으로 인한 부분 회전은 0.10, 다른 차량 간섭으로 인한 정지는 0.05다.

재고 관리 시스템에서는 상태 s(현재 재고 수준), 행동 a(주문량 결정), 상태 s'(다음 기간의 재고 수준)를 정의하고, P(s'|s,a)로 수요의 불확실성을 확률 모델로 표현한다. 예를 들어 현재 재고 50개에서 30개를 주문했을 때 다음 날 재고가 60-70개일 확률은 0.3(낮은 수요), 40-60개일 확률은 0.5(평균 수요), 20-40개일 확률은 0.2(높은 수요)다.

의료 의사결정 지원에서는 상태 s(환자의 현재 상태), 행동 a(처방된 약물 또는 치료), 상태 s'(치료 후 환자 상태)를 정의하고, P(s'|s,a)로 치료 효과를 확률적으로 모델링한다.

차원의 저주와 비정상성, 전이확률 모델링의 한계

전이확률 모델링에는 몇 가지 주요 한계가 있다.

차원의 저주 — 상태 공간이 커지면 전이확률 테이블의 크기가 기하급수적으로 증가한다. n개 상태, m개 행동이면 O(n²m) 크기의 전이확률 행렬이 필요하다.

비정상성(Non-stationarity) — 시간이 지남에 따라 전이확률이 변할 수 있다. 교통 패턴의 계절적 변화, 고객 선호도 변화가 그 예다.

부분 관측성(Partial Observability) — 완전한 상태를 관측할 수 없는 경우 POMDP(Partially Observable MDP) 프레임워크가 필요하고, 신념 상태(belief state)로 작업해야 한다.

대규모 상태공간과 불확실성을 다루는 최근 접근

대규모 상태 공간 처리 — 함수 근사(Function Approximation)를 통한 전이확률 모델링, 딥러닝을 활용한 전이 다이나믹스 학습, 계층적 강화학습으로 복잡한 전이확률을 분해하는 방법이 쓰인다.

불확실성 모델링 — 앙상블 방법으로 전이 모델의 불확실성을 추정하고, 베이지안 신경망을 활용한 확률적 전이 모델을 학습하며, 모델 기반 강화학습에서 불확실성을 고려하는 방법이 연구되고 있다.

전이확률 P(s'|s,a)는 지능형 에이전트 설계와 강화학습의 근간을 이루는 개념이다. 현대적 응용에서는 이를 명시적 테이블로 표현하기보다는 함수 근사나 암시적 모델을 통해 활용하는 경우가 많지만, 기본 개념은 여전히 중요하며 보상 함수와의 균형 있는 고려가 함께 필요하다.