강화학습의 기본 구조와 풀어야 할 근본 문제들

강화학습은 정답을 알려주는 지도 없이, 시행착오와 보상 신호만으로 최적의 행동을 배우는 학습 방식이다. 에이전트가 환경과 상호작용하며 얻는 피드백이 유일한 신호라는 점에서, 정답 레이블을 보고 배우는 지도학습과는 다른 문제를 푼다. 명시적인 지도 없이도 복잡한 문제를 해결할 수 있다는 것이 이 방법론의 핵심이다.

에이전트, 환경, 그리고 그 사이를 오가는 신호

강화학습은 여섯 가지 요소로 구성된다. 학습하고 결정을 내리는 주체인 에이전트(Agent), 에이전트가 상호작용하는 외부 세계인 환경(Environment), 환경의 현재 상황을 표현하는 상태(State), 에이전트가 취할 수 있는 선택지인 행동(Action), 행동의 결과로 얻는 피드백 신호인 보상(Reward), 각 상태에서 어떤 행동을 취할지 결정하는 전략인 정책(Policy)이다.

에이전트는 환경과의 지속적인 상호작용을 통해 현재 상태에서 어떤 행동이 장기적으로 가장 높은 보상을 가져올지 학습한다.

⤢✕

MDP로 문제를 공식화하기

강화학습은 마르코프 결정 프로세스(MDP)를 기반으로 한다. MDP는 상태 집합 S, 행동 집합 A, 상태 전이 확률 P(s'|s,a), 보상 함수 R(s,a,s'), 할인 계수 γ(0≤γ≤1)로 정의된다.

이를 바탕으로 가치 함수와 정책을 정의한다. 상태 가치 함수(State Value Function) V(s)는 상태 s에서 시작하여 현재 정책을 따를 때 예상되는 누적 보상의 기댓값이고, 행동 가치 함수(Action Value Function) Q(s,a)는 상태 s에서 행동 a를 취하고 이후 현재 정책을 따를 때 예상되는 누적 보상의 기댓값이다. 최적 가치 함수(Optimal Value Function) V*(s) 또는 Q*(s,a)는 모든 가능한 정책 중 최대 누적 보상을 제공하는 가치 함수이며, 최적 정책(Optimal Policy) π*(s)는 각 상태에서 최대 누적 보상을 얻기 위한 최적의 행동을 선택하는 정책이다.

가치 기반, 정책 기반, 모델 기반 알고리즘

**가치 기반 방법(Value-Based Methods)**은 행동 가치 함수를 학습해 정책을 유도한다. Q-러닝(Q-Learning)은 행동 가치 함수를 직접 학습하는 오프폴리시(off-policy) 알고리즘으로, 벨만 최적 방정식을 이용해 Q(s,a) ← Q(s,a) + α[r + γ·maxa'Q(s',a') - Q(s,a)]로 업데이트한다. 탐색(exploration)과 활용(exploitation) 사이의 균형을 위해 ε-greedy 정책을 활용하며, 수렴은 보장되지만 테이블 형태로 저장할 수 있는 작은 상태 공간에 적합하다. 심층 Q 네트워크(DQN, Deep Q-Network)는 뉴럴 네트워크로 Q 함수를 근사하고, 경험 리플레이(Experience Replay)와 타겟 네트워크(Target Network)로 학습을 안정화해 Atari 게임 등 고차원 상태 공간에서 큰 성과를 보였다.

⤢✕

**정책 기반 방법(Policy-Based Methods)**은 정책을 직접 최적화한다. REINFORCE는 정책 그래디언트(Policy Gradient) 방법의 기본 알고리즘으로, 정책을 직접 매개변수화하고 기대 수익을 최대화하는 방향으로 매개변수를 조정한다. 각 에피소드 후 θ ← θ + α·∇θlog πθ(at|st)·Gt로 정책 매개변수를 업데이트하지만, 분산이 크다는 단점이 있다. 액터-크리틱(Actor-Critic)은 정책(Actor)과 가치 함수(Critic) 두 구성요소를 함께 사용해 정책 업데이트에서 발생하는 분산을 줄인다.

**모델 기반 방법(Model-Based Methods)**은 환경 모델을 학습해 계획을 세운다. Dyna-Q는 환경 모델을 학습해 실제 경험과 시뮬레이션된 경험을 모두 사용하며, 실제 환경과의 상호작용에서 얻은 데이터로 환경 모델을 업데이트하고 이 모델로 가상 경험을 생성해 Q-함수 업데이트에 활용한다. 샘플 효율성은 높아지지만 모델 오류에 취약하다는 단점이 있다. AlphaGo/AlphaZero는 몬테카를로 트리 탐색(MCTS)과 딥러닝을 결합한 모델 기반 접근법으로, 강화학습과 자가대국을 통해 지도학습 없이도 최고 수준의 성능을 달성했으며 정책 네트워크와 가치 네트워크를 함께 사용한다.

탐색과 활용, 신용 할당, 비정상성 — 근본 문제

탐색-활용 딜레마(Exploration-Exploitation Dilemma)는 이미 알고 있는 최선의 행동(활용)과 새로운 정보 수집(탐색) 사이의 균형 문제다. ε 확률로 무작위 행동을, (1-ε) 확률로 최선의 행동을 선택하는 ε-greedy, 각 행동의 예상 보상에 비례하는 확률로 행동을 선택하는 소프트맥스(Softmax), 불확실성이 높은 행동에 가중치를 부여하는 UCB(Upper Confidence Bound), 불확실성을 베이지안 방식으로 모델링하는 Thompson Sampling이 이 딜레마를 다루는 방법이다.

신용 할당 문제(Credit Assignment Problem)는 장기적 성과에 어떤 행동이 얼마나 기여했는지 판단하기 어렵다는 문제다. 추후 보상 예측과 현재 예측의 차이로 학습하는 시간차 학습(Temporal Difference), 과거 행동의 영향력을 점차 감소시키는 메모리 구조인 자격 흔적(Eligibility Traces), 전문가 행동에서 보상 함수를 추론하는 역강화학습(Inverse RL)으로 이 문제를 다룬다.

비정상성 문제(Non-stationarity)는 다중 에이전트 환경에서 다른 에이전트의 학습으로 환경 자체가 변화하는 문제다. 빠른 적응을 위한 학습법을 학습하는 메타 학습(Meta-learning), 환경 모델을 지속적으로 업데이트하는 모델 기반 RL, 환경 변화에 따라 학습률을 조정하는 적응형 학습률로 대응한다.

게임부터 금융까지, 강화학습이 실제로 쓰이는 곳

게임과 전략 분야에서는 DeepMind의 AlphaGo/AlphaZero가 바둑, 체스, 쇼기 등에서 인간 챔피언을 능가했고, OpenAI Five는 다중 에이전트 협력이 필요한 Dota 2에서 프로팀을 격파했으며, DeepMind의 AlphaStar는 불완전 정보와 실시간 의사결정이 필요한 StarCraft II를 정복했다.

로보틱스 분야에서는 보행 로봇, 드론, 로봇 팔의 정교한 제어를 강화학습으로 학습한다. Boston Dynamics는 역동적인 움직임을 가진 로봇 개발에 강화학습을 활용하고, UC Berkeley의 로봇 조작 연구는 물체 집기, 문 열기, 끈 매듭 짓기 같은 복잡한 조작 작업을 학습했다.

자율주행 분야에서는 웨이모(Waymo)가 복잡한 도로 상황에서의 의사결정에, 테슬라 오토파일럿이 각종 주행 시나리오에 대응하는 정책 학습에 강화학습을 활용한다. CARLA, NVIDIA Drive 같은 시뮬레이션 환경에서 안전하게 학습을 진행한다.

금융과 비즈니스 분야에서는 시장 상황에 적응하는 트레이딩 전략을 개발하고, JP Morgan의 LOXM은 주식 거래 실행 최적화에 강화학습을 적용한다. 클라우드 컴퓨팅 자원이나 광고 배치 같은 자원 할당 최적화에도 쓰인다.

다중 에이전트, 메타 학습, 인과 추론, 설명 가능성으로 향하는 연구

여러 에이전트가 협력하거나 경쟁하며 학습하는 다중 에이전트 강화학습(Multi-Agent RL)은 자율주행차 간 협력, 스마트 그리드 최적화 같은 실제 응용 가능성을 넓히고 있지만, 비정상성과 확장성 같은 도전과제를 함께 안고 있다.

"학습하는 방법을 학습"하는 메타 강화학습(Meta-RL)은 새로운 환경에 빠르게 적응할 수 있는 에이전트를 목표로 하며, 인과 강화학습(Causal RL)은 인과관계를 파악해 더 효율적인 탐색과 일반화를 수행하고 관찰되지 않은 변수의 영향까지 고려한 의사결정을 지향한다.

설명 가능한 강화학습(Explainable RL)은 블랙박스 모델을 넘어 의사결정 과정을 이해하고 설명할 수 있는 모델을 개발해 규제 요구사항 충족과 사용자 신뢰 구축을 목표로 한다. 탐색-활용 딜레마, 신용 할당 문제, 비정상성 같은 근본적인 도전과제는 남아 있지만, 이런 연구 방향들을 통해 그 한계를 극복해가는 중이다.

하이퍼파라미터, 샘플 효율성, 학습 안정성 — 구현에서 마주치는 것들

학습률, 할인 계수, 탐색 파라미터 같은 하이퍼파라미터의 적절한 설정은 성능에 크게 영향을 미치며, 베이지안 최적화나 그리드 서치 같은 체계적 접근이 필요하다. 계산 자원과 시간의 균형도 함께 고려해야 한다.

샘플 효율성은 모델 기반 방법으로 실제 경험을 보완하는 가상 경험을 생성하거나, 전이 학습(Transfer Learning)으로 유사 작업의 지식을 활용하거나, 모방 학습(Imitation Learning)으로 전문가 데이터를 활용해 향상시킬 수 있다.

안정적인 학습을 위해서는 목표 네트워크와 경험 리플레이 같은 안정화 기법을 적용하고, 클리핑과 정규화로 그래디언트 폭발을 방지하며, 앙상블 방법으로 학습 분산을 줄인다.