강화학습의 핵심 요소: 정책, 가치 함수, 모델(PVM)

강화학습(Reinforcement Learning)은 에이전트가 환경과 상호작용하며 보상(reward)을 최대화하는 방향으로 학습하는 기법이다. 이 학습을 지탱하는 요소는 정책(Policy), 가치 함수(Value Function), 모델(Model)로 나뉘며 흔히 PVM이라 부른다. 이 요소들이 각각 무엇을 담당하고 어떻게 맞물리는지 이해하는 것이 강화학습 시스템 설계의 출발점이다.

정책(Policy): 상태를 행동으로 바꾸는 규칙

정책은 에이전트의 행동 패턴을 결정하는 규칙 또는 전략으로, 주어진 상태(state)에서 어떤 행동(action)을 취할지 결정하는 매핑 함수다. 수학적으로는 π(a|s), 즉 상태 s에서 행동 a를 선택할 확률로 표현한다.

정책은 두 유형으로 나뉜다. 결정적 정책(Deterministic Policy)은 각 상태에 대해 하나의 행동만 매핑하는 π(s) = a 형태이고, 확률적 정책(Stochastic Policy)은 각 상태에서 가능한 행동들에 확률 분포를 제공하는 π(a|s) = P(A=a|S=s) 형태다.

강화학습의 목표는 기대 누적 보상을 최대화하는 최적 정책(optimal policy) π*를 찾는 것이며, 정책 경사(Policy Gradient) 알고리즘은 이 정책을 직접 최적화하는 방식이다. 자율주행차가 현재 도로 상황(상태)에 따라 가속·감속·방향 전환(행동)을 결정하는 것, 로봇이 물체의 위치와 형태(상태)에 따라 그리퍼 위치와 힘(행동)을 결정하는 것이 정책의 예시다.

가치함수(Value Function): 상태와 행동의 가치를 평가하는 척도

가치함수는 특정 상태나 상태-행동 쌍의 가치(value)를 평가하는 함수로, 미래에 얻을 것으로 예상되는 보상의 합을 예측한다. 현재와 미래의 보상 간 균형을 위해 할인 계수(discount factor) γ를 사용한다.

상태 가치 함수(State Value Function) Vπ(s)는 정책 π를 따를 때 상태 s에서 시작해 얻을 수 있는 기대 누적 보상이고, 행동 가치 함수(Action Value Function) Qπ(s,a)는 정책 π를 따를 때 상태 s에서 행동 a를 취한 후 얻을 수 있는 기대 누적 보상이다. 두 함수 모두 Vπ(s) = Eπ[Rt+1 + γRt+2 + γ2Rt+3 + ... | St = s] 형태의 기댓값으로 정의된다.

가치함수는 다이나믹 프로그래밍, 몬테카를로 방법, 시간차 학습(TD Learning) 등으로 학습하며 벨만 방정식(Bellman Equation)을 기반으로 한다. Q-learning, SARSA 같은 알고리즘이 가치 함수 학습에 중점을 둔다. 체스 게임에서 각 보드 상태의 승리 가능성을 평가하거나, 트레이딩 알고리즘에서 특정 포트폴리오 구성의 기대 수익률을 계산하는 것이 활용 예시다.

⤢✕

모델(Model): 환경이 어떻게 반응할지 예측하는 내부 표현

모델은 환경의 동작을 예측하는 에이전트의 내부 표현으로, 다음 상태와 보상이 어떻게 될지 예측하는 함수다. 에이전트가 환경을 어떻게 이해하고 있는지를 보여주는 요소이기도 하다.

모델은 상태 전이 함수(State Transition Function) P(s'|s,a) — 현재 상태 s에서 행동 a를 취했을 때 다음 상태 s'로 전이될 확률 — 와 보상 함수(Reward Function) R(s,a,s') — 상태 s에서 행동 a를 취하고 상태 s'로 전이했을 때 받는 보상 — 으로 구성된다.

모델 기반 학습(Model-based Learning)은 환경 모델을 명시적으로 학습·활용해, 실제 경험이 적어도 계획(planning)을 통해 효율적으로 학습한다(Dyna-Q, AlphaZero 등). 모델 없는 학습(Model-free Learning)은 환경 모델 없이 직접 정책이나 가치 함수를 학습하며, 계산 효율성이 높고 구현이 간단하다(Q-learning, SARSA, DQN 등). 자율주행차에서 특정 조향 입력 후 차량 위치 변화를 예측하거나, 로봇 제어에서 특정 모터 명령 후 관절 위치 변화를 예측하는 것이 모델의 활용 예시다.

⤢✕

PVM 요소가 서로 맞물리는 방식

학습 알고리즘은 PVM 중 무엇을 중심에 두느냐로 갈린다. 정책 기반 알고리즘(REINFORCE, PPO)은 정책을 직접 최적화하고, 가치 기반 알고리즘(Q-learning, DQN)은 가치 함수를 학습해 이를 통해 정책을 유도한다. 액터-크리틱 알고리즘(A2C, DDPG, SAC)은 정책(액터)과 가치 함수(크리틱)를 함께 학습하고, 모델 기반 알고리즘(Dyna, MBRL)은 환경 모델을 학습한 뒤 계획을 수립한다.

실제 시스템에서는 이 요소들이 통합돼 쓰인다. AlphaGo/AlphaZero는 정책 네트워크, 가치 네트워크, 몬테카를로 트리 탐색(모델)을 결합했고, Dreamer는 월드 모델(World Model)을 학습하고 이를 바탕으로 정책과 가치 함수를 최적화한다. MuZero는 환경 역학에 대한 명시적 표현 없이도 모델·정책·가치를 모두 학습하면서 계획을 수행한다.

⤢✕

실제 적용 사례

게임 AI에서는 DeepMind의 DQN이 Atari 게임에서 가치 함수 중심 접근법을, OpenAI의 PPO가 Dota 2에서 정책 중심 접근법을 보였고, AlphaZero는 체스·바둑에서 PVM을 모두 활용하는 종합적 접근법을 취했다.

로보틱스에서는 Soft Actor-Critic(SAC)이 로봇 조작 작업에서 정책과 가치 함수를 결합하고, Model Predictive Control(MPC)은 모델 기반 접근으로 정확한 로봇 제어를 구현한다.

자율주행에서는 Waymo가 모델 기반 계획과 강화학습 기반 의사결정을 결합하고, Tesla는 가치 함수와 정책 네트워크를 활용한 자율주행 시스템을 쓴다.

추천 시스템에서는 YouTube가 사용자 참여를 보상으로 한 정책 기반 추천을, Netflix가 사용자 모델과 가치 함수를 활용한 콘텐츠 추천을 운영한다.

PVM 설계 시 고려할 것들

표현력(Representation) 측면에서 복잡한 환경에서는 깊은 신경망으로 정책·가치 함수·모델을 표현하고, 간단한 환경에서는 테이블 형태의 표현도 효과적이다.

탐색-활용 균형(Exploration-Exploitation Trade-off)은 정책에서는 ε-greedy나 엔트로피 정규화로, 가치 함수에서는 불확실성 추정으로, 모델에서는 앙상블 모델의 불확실성 추정으로 탐색을 유도한다.

샘플 효율성(Sample Efficiency)은 모델 기반 접근법의 경험 재사용, 오프-폴리시 학습의 이전 경험 활용, 경험 리플레이의 과거 경험 재활용으로 높일 수 있다.

안정성과 일반화는 정책 정규화(과적합 방지), 분산 감소 기법(학습 안정성 향상), 멀티태스크 학습(다양한 환경에서의 일반화 능력 향상)으로 확보한다.

PVM 프레임워크가 향하는 곳

정책·가치함수·모델은 독립적으로 쓰이기도 하지만, 최신 강화학습 알고리즘에서는 이들을 통합해 각 요소의 장점을 함께 활용하는 방향으로 발전하고 있다. 더 효율적인 모델 학습, 불확실성을 고려한 가치 함수 추정, 계층적 정책 설계가 이어지는 연구 방향이며, 인과관계 추론·메타 강화학습·멀티에이전트 시스템과의 통합을 통해 PVM 프레임워크의 적용 범위가 더 넓어질 것으로 전망된다.