대화로 훈련하는 에이전트와 스스로 하네스를 짜는 에이전트

2026년 3월 둘째 주(3월 9~15일), AI 에이전트와 강화학습 분야에서 두 편의 논문이 공개됐다. OpenClaw-RL은 일상적인 대화를 강화학습 신호로 변환해 개인화된 에이전트를 지속적으로 훈련하는 비동기 프레임워크를 제안하고, AutoHarness는 LLM 에이전트가 코드 하네스를 스스로 합성해 환경 제약을 자동으로 극복하는 방법론을 실증했다. 두 연구 모두 "사용하면 할수록 똑똑해지는" 자율 자기개선(autonomous self-improvement) 에이전트라는 방향으로 수렴한다.

학습 루프가 추론을 가로막지 않으려면

전통적인 강화학습은 명시적으로 설계된 보상 함수와 대규모 레이블 데이터를 요구한다. 에이전트가 실제 환경에서 동작하는 동안 실시간으로 학습하고 스스로 개선되는 것은 이론적으로는 가능하지만, 실용적 구현에는 학습 루프가 추론을 방해하거나 피드백 신호 수집이 수작업에 의존하거나 환경별로 하네스를 개별 구현해야 하는 장벽들이 있었다. 2026년 초 발표된 두 연구는 각각 다른 각도에서 이 문제를 풀었다 — OpenClaw-RL은 훈련 인프라 차원에서 추론과 학습을 완전히 분리하고, AutoHarness는 에이전트가 환경에서 직접 피드백을 수집해 코드 하네스를 자동 합성하는 방식으로 접근한다.

OpenClaw-RL: 대화 자체가 학습 데이터가 된다

OpenClaw-RL(arXiv: 2603.10165)은 Gen-Verse 팀이 2026년 2월 말 공개한 비동기 강화학습 프레임워크로, "Train any agent simply by talking"이라는 모토로 소개됐다. 코퍼스에 이미 등록된 OpenClaw(Peter Steinberger의 오픈소스 에이전트 플랫폼)나 NemoClaw 같은 상용 런타임과는 별개의 학술 연구이며, 이름이 겹치는 것은 우연이다.

핵심 통찰은 next-state 신호의 보편성에 있다. 사용자와 에이전트 간의 멀티턴 대화, 터미널 실행, GUI 상호작용, 소프트웨어 엔지니어링 태스크, 도구 호출 트레이스 등 에이전트가 수행하는 모든 상호작용은 동일한 정책(policy)을 훈련하기 위한 신호로 쓰일 수 있어, 별도의 수동 레이블링 없이 사용 자체가 학습 데이터가 된다.

⤢✕

시스템은 정책 서빙(Policy Serving), 롤아웃 수집(Rollout Collection), PRM 판단(PRM Judging), 정책 훈련(Policy Training) 네 개의 독립 루프로 구성돼 서로 블로킹 의존성 없이 동시에 실행된다. 모델이 실시간으로 요청을 처리하는 동안 PRM이 현재 진행 중인 상호작용을 평가하고, 트레이너가 정책을 업데이트하는 작업이 함께 이뤄진다. 프레임워크는 자기 호스팅(self-hosted) 모델을 OpenAI 호환 API로 래핑해 동작하며, 사용자 데이터가 외부 서버로 유출되지 않는 환경에서도 프라이버시를 유지한 채 동작한다.

OpenClaw-RL은 세 가지 학습 패러다임을 지원한다. Binary RL은 사용자의 재질의(re-query)·수정 요청·명시적 피드백을 이진 보상 신호로 해석해, 다시 묻거나 수정을 요청하면 부정적 신호로, 대화가 자연스럽게 진행되면 긍정적 신호로 처리한다. OPD(On-Policy Distillation)는 더 강력한 교사 모델의 응답을 현재 정책이 온라인으로 증류(distill)해, 에이전트가 불확실한 상황에서 더 큰 모델의 판단을 참조한다. Combine은 두 신호를 결합한 혼합 접근법으로, 실험에서 가장 높은 성능을 보이며 다양한 태스크 유형에 강건하게 동작했다.

개인 에이전트(Personal Agent) 시나리오에서는 사용자가 에이전트를 쓸수록 개인화된 스타일·선호·도메인 지식이 정책에 누적되고, 수동 레이블링이 전혀 필요 없다. 범용 에이전트(General Agent) 시나리오에서는 동일한 인프라가 터미널·GUI·SWE(소프트웨어 엔지니어링)·도구 호출 환경에서 대규모 RL을 지원하며, 장기 태스크의 중간 단계 품질을 평가하는 PRM이 핵심 역할을 한다.

AutoHarness: 반칙을 막는 코드를 스스로 짠다

AutoHarness(arXiv: 2603.03329)는 구글 딥마인드의 Kevin Patrick Murphy 팀이 발표한 논문으로, ICLR 2026 Recursive Self Improvement 워크숍 포스터로 채택됐다. 핵심 주장은 LLM 에이전트가 스스로 코드 하네스를 합성하면 소형 모델도 대형 모델을 능가할 수 있다는 것이다.

에이전트로 활용되는 LLM은 종종 외부 환경에서 엄격히 금지된 행동을 시도한다. Kaggle GameArena 체스 대회에서 Gemini-2.5-Flash의 패배 중 78%가 불법 이동(illegal moves) 때문이었다 — 규칙에 맞지 않는 수를 두는 실수가 게임 전체를 망친 것이다. 기존 해결책은 사람이 직접 "하네스(harness)"를 작성하는 것이었다. 하네스는 LLM의 출력을 받아 환경 규칙에 맞게 필터링하고 유효하지 않은 행동을 차단·수정하는 래퍼 코드인데, 이 작업이 환경마다 수작업으로 이뤄져야 한다는 게 문제였다.

⤢✕

AutoHarness는 반복적 코드 정제(iterative code refinement)와 환경 피드백을 조합해, LLM이 스스로 하네스를 생성·테스트·개선하게 한다. 이 워크플로우는 몇 라운드의 반복만으로 수렴하며, 환경에 특화된 완성된 하네스를 Python 코드로 생성해 에이전트의 실제 정책과 외부 환경 사이의 중간 레이어 역할을 하게 한다.

성능 결과는 인상적이다. 145개의 TextArena 게임(1인용·2인용 모두)에서 불법 행동을 완전히 차단했고, 1인용 게임 16개에 대한 평균 보상 비교에서 AutoHarness + Gemini-2.5-Flash가 0.870으로 최고를 기록했다 — GPT-5.2-High 0.844, Gemini-2.5-Pro 0.707, GPT-5.2 0.635를 앞선 수치다. Gemini-2.5-Flash는 Gemini-2.5-Pro보다 훨씬 작고 저렴한 모델임에도 AutoHarness를 적용하자 모든 경쟁 모델을 능가했는데, 이는 모델 자체의 크기나 파라미터 수보다 에이전트 아키텍처와 환경 적응 전략이 실제 성능에 더 큰 영향을 미칠 수 있음을 시사한다.

가중치가 바뀌느냐, 코드가 바뀌느냐

OpenClaw-RL과 AutoHarness는 방법론적으로 다르지만 핵심 철학을 공유한다 — 에이전트가 환경과의 상호작용을 통해 스스로 개선된다는 자율 자기개선(autonomous self-improvement) 원칙이다. OpenClaw-RL에서는 이 개선이 모델 가중치 자체의 변화로 나타난다. 사용자와의 대화가 PRM 판단을 거쳐 정책 파라미터를 업데이트한다. AutoHarness에서는 개선이 코드(하네스)의 형태로 나타난다. 모델 가중치는 변하지 않지만, 에이전트를 감싸는 구조적 코드가 진화한다. 두 접근법은 상호 배타적이지 않으며, 실제 프로덕션 에이전트에서는 두 방식을 함께 적용하는 것이 최적 전략일 수 있다.

메타인지 학습이라는 공통 기반

ICLR 2026 워크숍의 또 다른 논문은 진정으로 자기개선하는 에이전트에는 내재적 메타인지 학습(intrinsic metacognitive learning)이 필요하다는 입장을 담고 있다. 메타인지 학습이란 에이전트가 자신의 학습 과정 자체를 평가하고 반성하며 조정하는 능력이다. 이 관점에서 보면 OpenClaw-RL의 PRM(Process Reward Model)은 단순한 보상 신호를 넘어 에이전트가 자신의 중간 추론 과정을 평가하는 메타인지적 구성 요소로 해석할 수 있고, AutoHarness의 반복적 하네스 정제 역시 에이전트가 자신의 실패를 관찰하고 코드 수준에서 수정하는 메타인지 루프의 형태다.

2026년 3월 MiniMax가 발표한 M2.7 모델은 재귀적 재귀 모델 개선(Recursive Recursive Model Improvement, RRMI)을 적용해 내부 벤치마크에서 30% 향상을 달성했다고 밝혔는데, 이는 자기개선 에이전트 연구가 순수 학술 영역을 넘어 실제 상용 모델 개발에도 적용되기 시작했음을 보여준다. 자율 코딩 에이전트, 임상 의사결정 지원 시스템, 물리 환경에서 동작하는 로봇 등 다양한 도메인에서 RL 기반 자기개선 에이전트의 실용적 적용이 확산되고 있으며, 두 연구는 이 흐름의 학술적 기반을 강화하는 것으로 평가된다.

무엇을 얼마나 바꾸는지, 나란히 비교하면

항목	OpenClaw-RL	AutoHarness
개선 대상	모델 가중치 (정책 파라미터)	하네스 코드 (래퍼 구조)
학습 신호	대화, 수정 요청, 환경 피드백	환경 오류, 불법 행동 탐지
적용 범위	개인 에이전트, 범용 에이전트	환경 규칙이 명확한 게임/태스크
훈련 방식	비동기 연속 학습	반복적 코드 정제 (소수 라운드)
하드웨어 요구	자기 호스팅 GPU/NPU	LLM API 접근으로 충분
프라이버시	완전 로컬 처리 가능	LLM API 호출 필요
발표 시점	2026년 2월 말	2026년 2월 (ICLR 2026 ws)

하네스 자동화가 바꾸는 모델 선택 전략

AutoHarness는 환경별 하네스 개발에 투입되는 인력을 대폭 줄일 수 있다. 기존에는 숙련된 엔지니어가 각 게임·API 환경에 맞는 하네스를 수작업으로 작성해야 했지만, 이제는 LLM이 환경 피드백만으로 자동 합성한다. AutoHarness의 결과는 "더 큰 모델 = 더 좋은 성능"이라는 등식에 의문을 제기하는데, 적절한 하네스와 아키텍처 설계가 결합되면 소형 모델이 대형 모델을 능가할 수 있어 비용 효율적인 에이전트 시스템 설계의 가능성을 열어준다. OpenClaw-RL의 자기 호스팅 구조는 금융·의료·공공 기관처럼 데이터 외부 유출이 엄격히 금지된 환경에서도 RL 기반 에이전트 개선을 가능하게 하며, 외부 클라우드 API 없이 프라이빗 인프라 내에서 전체 학습 루프를 완결할 수 있다는 점은 규제 산업에서 특히 중요하다. AutoHarness가 다루는 불법 행동 문제는 게임에 국한되지 않는다 — 실제 비즈니스 프로세스 자동화, 코드 생성, API 오케스트레이션에서 에이전트가 허용되지 않는 작업을 시도하는 것은 장애나 보안 사고로 이어질 수 있어, 하네스 자동 합성은 에이전트 신뢰성 엔지니어링의 새로운 도구가 될 수 있다.

OpenClaw-RL은 에이전트가 매일의 사용을 통해 모델 가중치를 지속적으로 개선하는 인프라를 제공하고, AutoHarness는 환경 피드백으로 코드 하네스를 자동 합성해 에이전트의 행동 신뢰성을 높이는 방법을 실증했다. 두 연구의 공통점은 사람의 개입 없이도 에이전트가 스스로 더 나아진다는 자율 자기개선의 실현 가능성을 구체적으로 보여준다는 데 있다.