Meta Hyperagents, 개선하는 방법 자체를 스스로 고치는 연구가 나왔다

2026년 3월, Meta AI 산하 FAIR(Fundamental AI Research)와 Meta 초지능 연구소는 'Hyperagents'라는 논문을 공개했다. 더 나은 문제 해결 AI를 만드는 데 그치지 않고, AI 스스로가 '어떻게 더 잘 배울 것인가'라는 메타 학습 메커니즘 자체를 자율적으로 개선하는 시스템을 제안하는 연구다.

학습 방법은 사람이 정해준다는 오랜 전제

자기 개선(self-improvement) AI는 컴퓨터 과학자들이 오랫동안 논의해온 개념이다. 한스 모라벡, 버너 빈지, 닉 보스트롬 같은 사상가들은 이를 '지능 폭발(intelligence explosion)'이라는 이름으로 이론화했고, AI 안전 분야의 핵심 우려 사항 중 하나로 자리 잡았다.

그러나 실제 구현은 어려웠다. 기존 AI 시스템들은 사람이 미리 정의해 준 방식으로만 자신을 개선할 수 있었다 — 개선의 '방법론' 자체는 인간 엔지니어가 하드코딩해야 했고, 그 틀 안에서만 자기 최적화가 가능했다. 2025년 등장한 Darwin Gödel Machine(DGM)은 코딩 도메인에서 AI가 자신의 코드를 수정·평가하며 반복 개선하는 시스템을 구현해 SWE-bench 벤치마크를 20.0%에서 50.0%로 끌어올렸다. 하지만 코딩이라는 특정 도메인에서만 작동한다는 한계가 있었다 — 코드를 작성하는 능력과 자신의 코드를 수정하는 능력이 본질적으로 같은 기술 기반 위에 있었기 때문에 가능한 방식이었다.

태스크 에이전트와 메타 에이전트, 하나의 프로그램

논문이 제안하는 하이퍼에이전트(Hyperagent)는 자기 참조적(self-referential) 에이전트로, 하나의 편집 가능한 프로그램 안에 두 가지 역할을 통합한다. 태스크 에이전트(Task Agent)는 실제 목표 작업(수학 문제 풀이, 코드 작성, 로봇 제어 전략 설계 등)을 수행하고, 메타 에이전트(Meta Agent)는 태스크 에이전트를 수정하면서 동시에 자기 자신도 수정한다.

⤢✕

논문이 강조하는 핵심은 이 메타 레벨의 수정 절차 자체가 편집 가능(editable)하다는 점이다. 기존 시스템이 '무엇을 어떻게 개선할지'라는 규칙은 변경하지 못했다면, 하이퍼에이전트는 그 규칙 자체를 바꿀 수 있다고 제안한다.

메타인지적 자기 수정이라는 개념

연구팀이 강조하는 핵심 개념은 메타인지적 자기 수정(Metacognitive Self-Modification)이다. 성능을 개선하는 것이 아니라 어떻게 개선할 것인지에 대한 방법론 자체를 개선하는 능력을 가리킨다. 인지심리학에서 '메타인지(metacognition)'는 자신의 사고 과정을 인식하고 조절하는 능력을 뜻하는데, 효과적인 학습자는 열심히 공부하는 것을 넘어 자신이 어떻게 배우는지를 파악하고 더 나은 학습 전략을 스스로 개발한다.

기존 자기 개선 AI 시스템에서는 개선 메커니즘이 하드코딩돼 있었다 — 강화학습의 보상 함수·탐색 전략·업데이트 규칙은 사람이 설계하고 고정해 놓아, AI는 이 고정된 틀 안에서만 최적화할 수 있었다. 논문은 메타 에이전트가 "지금 사용하는 개선 방법이 최선인가?"라는 질문을 스스로 던지고 더 나은 개선 방법을 생성해 자신의 코드에 적용하는 과정을 반복하면, 개선의 속도와 품질 자체가 복리처럼 증가하는 효과가 나타난다고 설명한다.

DGM이 깔았던 가정을 걷어낸 DGM-H

연구팀은 Darwin Gödel Machine을 확장해 DGM-Hyperagents(DGM-H)를 구현했다고 밝혔다. DGM-H는 DGM의 세 가지 제약을 제거했다고 주장한다. 첫째는 도메인-특정 정렬 가정의 제거로, 기존 DGM은 태스크(코딩)와 자기 수정(코드 편집)이 같은 기반 위에 있었기에 코딩 도메인에서만 작동했는데, DGM-H는 이 가정을 제거해 임의의 계산 가능한 도메인에서 작동할 수 있게 했다고 한다. 둘째는 편집 가능한 에이전트 생성 코드의 도입으로, 에이전트가 자신이 어떻게 만들어지는지의 절차까지 수정할 수 있게 했다. 셋째는 전이 가능한 자기 개선의 실증으로, 한 도메인에서 학습한 개선 전략을 완전히 다른 도메인으로 이전(transfer)할 수 있음을 실험적으로 보였다고 주장한다 — 로봇 제어에서 개발된 최적화 전략이 올림피아드 수학 문제 채점에도 적용될 수 있었다고 한다.

작동 방식은 다음과 같이 설명된다. 시스템은 초기 에이전트에서 시작해 메타 에이전트가 이를 수정한 변형 버전들을 생성하고, 각 변형은 실제 환경에서 평가되며 성능이 좋은 변형들이 '스텝핑 스톤(stepping stone)' 아카이브에 보존된다. 이 아카이브는 미래 개선의 기반이 되고, 이 과정 전체를 관리하는 메타 레벨 코드도 함께 진화한다고 논문은 서술한다.

지시하지 않은 도구를 스스로 만들었다는 관찰

연구에서 흥미로운 발견 중 하나는 하이퍼에이전트가 명시적 지시 없이 스스로 보조 도구들을 개발했다는 관찰이다. 연구팀도 예상치 못한 결과였다고 밝혔다. 구체적으로는 세대(generation)에 걸쳐 성능 지표를 기록하는 클래스를 스스로 도입한 성능 추적 시스템(Performance Tracking System), 그리고 타임스탬프가 붙은 통찰과 인과 가설을 저장하는 영구 메모리 시스템을 자체 구현한 장기 기억 메커니즘(Long-term Memory Mechanism) 두 가지가 관찰됐다. 논문은 이를 자연발생적 혁신(emergent innovation)의 사례로 제시한다.

코딩부터 수학 채점까지, 실험 결과

연구팀은 하이퍼에이전트의 효과를 코딩, 논문 리뷰, 로봇 보상 설계, 올림피아드 수준 수학 채점 네 도메인에서 검증했다고 밝혔다. 코딩에서는 소프트웨어 엔지니어링 벤치마크를 사용해 기존 DGM 대비 더 빠른 개선 속도와 높은 최종 성능을 보였다고 한다. 논문 리뷰에서는 학술 논문을 평가하는 복잡한 다단계 기준을 자율적으로 설계해 적용했고, 연구의 독창성·방법론의 타당성·결과의 의미 등 복합적 판단이 필요한 작업에서 성능을 입증했다고 보고한다. 로봇 보상 설계에서는 초기의 단순한 전략에서 시작해 점차 효율적이고 정교한 로봇 행동을 유도하는 보상 함수를 학습했고, 이 도메인에서 개발된 최적화 전략이 수학 채점 도메인으로 전이됐다는 점이 주목할 만한 결과로 제시됐다. 올림피아드 수학 채점에서는 수식의 정확성뿐 아니라 추론 과정의 타당성까지 판단해야 하는 작업을 수행했다. 논문에 따르면 모든 도메인에서 하이퍼에이전트는 자기 개선 없는 기준선, 개방형 탐색 없는 기준선, 그리고 이전 최고의 자기 개선 시스템인 DGM이라는 세 가지 기준선을 모두 초과했다고 한다.

오픈소스 공개와 1,300 스타

Meta AI 연구팀은 하이퍼에이전트 코드를 GitHub에 facebookresearch/HyperAgents 저장소로 공개했다. 2026년 3월 19일 공개된 이 저장소는 일주일 만에 1,300개 이상의 스타를 받았다. 기술적 구현은 Python 기반이며 OpenAI, Anthropic, Google Gemini 등 주요 파운데이션 모델 API를 지원하고, generate_loop.py를 통해 원하는 도메인을 지정하면 개선 루프가 시작되며 출력 결과는 outputs/ 디렉토리에 저장된다. 연구에는 브리티시컬럼비아 대학교, 벡터 인스티튜트, 에든버러 대학교, 뉴욕 대학교, 캐나다 CIFAR AI Chair, Meta FAIR, Meta 초지능 연구소가 참여했다.

AI 개발 비용부터 자율 소프트웨어 엔지니어링까지

논문 저자들은 여러 차원의 산업적 파급 효과를 언급한다. AI 개발 비용 측면에서는 하이퍼파라미터 최적화, 아키텍처 검색, 프롬프트 엔지니어링 같은 반복적·경험 의존적 작업을 AI가 일부 담당하게 될 가능성을 제시한다. 도메인 전문성의 자동 획득 측면에서는 전이 학습 능력으로 새로운 도메인에 AI를 적용하는 비용을 낮출 수 있다는 전망이 나온다. AI 연구 가속화 측면에서는 논문 리뷰 도메인에서의 성과가 AI 연구 사이클 자체를 가속화하는 데 기여할 수 있다는 관측이 제시되고, 자율 소프트웨어 엔지니어링 측면에서는 사양(specification)을 입력하면 AI가 스스로 코드를 작성·테스트·개선하는 완전 자율 소프트웨어 개발의 가능성이 언급된다.

목표 표류와 검증 가능성이라는 안전성 우려

하이퍼에이전트 연구는 기술적 관심과 함께 안전성 우려도 제기하고 있다. AI 안전 커뮤니티에서는 자기 수정 능력을 가진 AI가 예상치 못한 방향으로 진화할 가능성을 우려한다. 가장 큰 우려는 목표 표류(goal drift)로, AI가 자신의 개선 방법을 바꾸는 과정에서 원래 의도한 목표와 다른 방향으로 진화하거나 인간이 설계한 목표 함수가 자기 수정 과정에서 왜곡될 가능성이다. 검증 가능성 문제도 있는데, 시스템이 스스로를 수정하면서 인간이 그 내부 작동을 이해하기 어려워질 수 있어 블랙박스 AI 문제가 심화될 우려가 제기된다. 연구팀은 이러한 우려를 인식하고 있으며, 현재 구현에서 자기 수정의 범위와 속도를 제한하는 안전장치를 두고 있다고 밝혔다. 다만 이 기술이 실제 프로덕션 환경에 배포되기까지는 더 많은 안전성 연구가 필요하다는 것이 연구 커뮤니티의 공통된 의견으로 전해진다.

Meta의 Hyperagents 연구는 태스크 에이전트와 메타 에이전트를 단일 편집 가능한 프로그램으로 통합하고, 메타 레벨의 개선 메커니즘 자체를 진화시키는 접근법을 제안한다. 코딩·수학·로봇 제어·논문 평가라는 서로 다른 도메인에서 검증됐다고 보고된 효과와, 명시적 지시 없이 스스로 도구를 개발하는 창발적 관찰은 이 연구가 갖는 실용적 가능성을 보여주지만, 안전성·예측 가능성·윤리적 설계라는 과제는 연구팀 스스로도 인정하는 대로 여전히 남아 있다.