HyperAgents와 자기참조형 AI 에이전트의 자기 수정 구조

태스크 코드와 개선 코드를 같은 프로그램에 둔 이유

Meta Superintelligence Labs와 UBC, 에든버러 대학, NYU 연구진이 2026년 3월 발표한 HyperAgents는 태스크 수행 코드와 개선 메커니즘을 하나의 편집 가능한 프로그램으로 묶은 자기참조형(Self-Referential) AI 에이전트 프레임워크다.

일반적인 자기 개선 시스템에서는 태스크를 실행하는 프로그램과 이를 고치는 메타 프로그램이 분리된다. HyperAgents는 태스크 에이전트와 메타 에이전트를 한 구조 안에 넣고, 메타 에이전트의 개선 로직도 다시 수정할 수 있게 만든다.

태스크 에이전트는 코딩, 논문 리뷰, 수학 채점 같은 대상 태스크를 직접 수행한다.
메타 에이전트는 태스크 에이전트의 코드를 분석하고 수정안을 만든다.
메타 에이전트의 개선 로직 역시 편집 가능한 코드이므로 자기 수정 대상이 된다.

이 통합 구조는 무한 회귀(Infinite Regress) 문제를 다룬다. 메타 에이전트를 고치기 위해 별도의 메타-메타 에이전트를 두고, 다시 그 에이전트를 고칠 계층을 추가하는 대신, 수정 주체와 수정 대상을 같은 자기참조 프로그램에 둔다.

⤢✕

DGM을 확장한 DGM-H의 수정 범위

HyperAgents의 공식 프레임워크 명칭은 DGM-H(Darwin Godel Machine with Hyperagents)다. 이전 연구인 Darwin Godel Machine(DGM)에서 확장됐으며, 차이는 메타 수준까지 수정 범위에 포함한다는 데 있다.

DGM은 태스크 에이전트 코드만 바꿀 수 있다. 개선 프롬프트와 평가 기준 같은 메타 전략은 인간이 사전에 설계한 고정 메커니즘으로 남는다. 반면 DGM-H에서는 태스크 에이전트 코드뿐 아니라 메타 전략도 변경할 수 있으며, 개선 프로세스 자체가 진화 대상이 된다.

자기 개선은 기본 에이전트에서 출발해 반복된다. 메타 에이전트가 코드와 과거 성능 데이터를 분석해 수정 버전을 만들고, 평가 파이프라인에서 이를 검증한다. 성능이 향상된 버전은 아카이브에 stepping stones로 보관되며, 이후 세대의 부모 에이전트는 이 아카이브에서 선택된다.

아카이브는 단순한 greedy 최적화와 다르다. 성공했던 변이체를 남겨 두기 때문에 탐색 다양성을 보존하고, 지역 최적해에 갇히지 않는 open-ended 탐색을 지원한다.

에이전트가 개선용 하네스를 바꾸는 방식

HyperAgents의 메타인지적 자기 수정은 태스크 결과만 개선하는 데 그치지 않고, 개선에 쓰는 방법 자체를 수정한다. 수백 회의 자기 수정 반복 뒤 시스템은 인간의 지시 없이 다음 기능을 독립적으로 개발했다.

이전 실행의 성공·실패 패턴을 저장하고 참조하는 영속적 메모리 시스템
수정 버전의 성능을 기록하고 비교하는 성능 추적 파이프라인
단일 메트릭 대신 복수 단계로 품질을 판단하는 다단계 평가 파이프라인
태스크 영역별 지식을 축적하는 도메인 지식 베이스
수정 용이성을 위해 코드 구조를 모듈 단위로 바꾸는 리팩터링
가용 연산 자원을 고려해 실행 전략을 수립하는 컴퓨트 인식 계획

이 사례는 에이전트가 자신의 하네스(harness)를 스스로 엔지니어링했다는 점에서 기존 프레임워크와 구분된다.

새로운 도메인에서 확인된 전이 성능

DGM-H의 결과 가운데 주목할 부분은 크로스 도메인 전이(Cross-Domain Transfer)다. 논문 리뷰와 로보틱스 보상 설계 도메인에서 최적화한 HyperAgents를 올림피아드 수학 채점 도메인으로 전이했다.

DGM-H 전이 성능: imp@50 = 0.630
기존 DGM 메타 에이전트 전이 성능: imp@50 = 0.0

기존 DGM의 인간 설계 메타 전략은 새 도메인에서 개선을 생성하지 못한 반면, DGM-H의 자기 수정된 메타 전략은 처음 접하는 도메인에서도 유의미한 개선을 달성했다. 이는 자기참조적 메타 수정이 도메인별 전략이 아니라 범용적인 자기 개선 전략을 학습할 가능성을 시사한다.

고정된 루프를 벗어나는 지점

⤢✕

특성	기존 에이전트	DGM	DGM-H (HyperAgents)
태스크 코드 수정	불가 또는 제한적	가능	가능
메타 전략 수정	불가	불가	가능
탐색 방식	Greedy / 고정	아카이브 기반	아카이브 기반
도메인 전이	불가	제한적	범용 전이 가능
자율 도구 개발	불가	불가	자율적 발명

ReAct, AutoGPT, LangChain Agent 등의 기존 LLM 에이전트 프레임워크는 인간이 설계한 관찰-사고-행동 루프 안에서 동작한다. 프롬프트 템플릿, 도구 호출 패턴, 메모리 구조도 사전 정의된다.

HyperAgents는 이 구성 요소들을 자기 수정 대상에 포함한다. 따라서 정해진 에이전트 루프 안에서 태스크를 수행하는 수준을 넘어, 에이전트 아키텍처 자체를 진화시킬 수 있다.

성능 향상만으로는 해결되지 않는 안전성

자기참조적 자기 수정은 강력한 능력이지만, 제어와 검증에 관한 문제를 함께 남긴다.

성능을 객관적으로 측정할 수 있는 도메인에서는 DGM-H의 자기 개선이 안정적으로 작동할 수 있다. 그러나 검증이 어려운 영역에서는 reward hacking 위험이 증가한다. 메타 전략 자체가 수정 대상이므로 안전 제약 조건이 자기 수정 과정에서 무력화될 수 있다는 이론적 가능성도 있다.

수백 세대에 걸친 자기 수정 뒤의 에이전트 코드는 인간 설계자의 의도에서 크게 멀어질 수 있다. 아카이브에 보존된 변이체 역시 세대별 안전성을 추적하고 검증하는 메커니즘이 필요하다.

Meta 연구진은 아카이브 기반 탐색이 안전 장치 역할을 한다고 주장한다. 성능이 저하된 변이체는 도태되고 다양한 성공 전략이 보존되므로, 단일 실패 모드에 집중되는 것을 막는다는 논리다. 다만 reward hacking이 성능 지표를 왜곡하면 아카이브 자체가 오염될 수 있으며, 이 한계는 여전히 해결되지 않은 과제다.

HyperAgents는 태스크 수행과 자기 개선을 자기참조 프로그램으로 통합해, 도메인 간 전이가 가능한 자기 개선 전략을 실증했다. 영속적 메모리, 성능 추적, 모듈화 코드 구조처럼 에이전트가 자율적으로 만든 도구도 이 구조의 의미를 보여준다. 동시에 안전 제약을 우회할 가능성과 검증 불가능한 도메인에서의 불안정성은 후속 연구에서 다뤄야 할 문제다.