자율 연구 에이전트의 방법 변경 권한을 설계하는 법

방법을 바꾸는 에이전트에는 경계가 필요하다

Praxist는 기존 프로젝트를 이어받아 방법과 구조까지 변경하며 개선하는 자율 연구 시스템으로 공개됐다. 에이전트의 역할이 정해진 절차를 수행하는 수준을 넘어, 연구 방향을 판단하는 단계로 올라간 셈이다.

이 변화는 사람이 정한 방법의 국소 최적에 갇히지 않게 한다. 다른 접근으로 이동하고, 사람이 생각하지 못한 조합을 발견할 여지도 생긴다. 반면 방법을 바꾼 판단 과정이 남지 않으면 결과가 나온 이유를 다시 구성할 수 없다. 탐색이 열릴수록 자원 소모의 상한도 불분명해지고, 성과 기준을 사후에 정하면 개선의 정의 자체가 결과에 맞춰 움직일 수 있다.

자율성의 범위는 에이전트의 재량이 아니라 시스템 설계로 정해야 한다. 목표는 고정하고, 방법 변경 범위와 판정 기준, 탐색 예산, 사람 검토, 재현 기록을 하나의 통제 체계로 묶는 방식이다.

목표는 고정하고 방법만 움직이게 한다

무엇을 개선할 것인가는 에이전트가 변경할 수 없는 상수로 둔다. 목표 변경 요청은 사람에게 올려야 한다. 목표의 자율성과 방법의 자율성을 같은 권한으로 취급하면 통제 경계가 사라진다.

방법 변경은 알고리즘 교체, 데이터 전처리 변경, 평가 절차 변경 가운데 어디까지 가능한지 미리 선언한다. 특히 평가 절차 변경은 신중해야 한다. 평가를 바꿀 수 있는 에이전트는 성과를 만들 수도 있지만, 지표 자체를 만들어 낼 수도 있다.

성과로 인정할 지표와 최소 개선 폭도 실행 전에 합의한다. 주 지표만 보지 말고 부차 지표가 악화될 수 있는 범위까지 함께 정해야 한다. 그렇지 않으면 한 축을 희생한 개선이 통과할 수 있다.

방법 변경마다 관찰한 내용과 변경 이유를 구조화된 항목으로 남기게 한다. 근거가 없는 변경은 적용하지 못하게 막아야 한다. 실행 후에 기록을 요구하면 판단 근거가 아니라 정당화만 남는다.

탐색 비용과 실패 경로를 통제한다

총 연산량, 실행 시간, 시도 횟수에는 상한을 둔다. 한도를 넘으면 실행을 중단하고, 예산이 소진된 시점의 최선 결과를 산출물로 남긴다. 상한 도달은 실패가 아니라 정상 종료다.

개선이 없는 시도가 이어지는 경로도 끊을 조건이 필요하다. 막다른 길을 중단한 이유와 경로를 기록해야 다음 실행이 같은 방향에 다시 자원을 쓰지 않는다. 이 기록은 실패 지식을 남기는 수단이기도 하다.

사람 검토는 모든 단계에 넣기보다 방법이 크게 전환되는 시점과 예산의 일정 비율이 소진된 시점에 둔다. 체크포인트에서 확인할 정보 역시 표준화해야 한다. 검토자가 무엇을 봐야 하는지 알 수 없다면, 검토는 통과 도장으로 바뀐다.

⤢✕

실행 전에 정해 둘 운영 규칙

자율 위임은 목표가 숫자로 명확하고 평가가 자동화된 과제부터 시작하는 편이 맞다. 평가에 사람 판단이 필요한 과제는 후순위로 둔다. 판정이 느리면 자율 탐색이 제공하는 속도 이점도 사라진다.

지표는 주 지표 하나와 지켜야 할 하한 지표 몇 개로 구성하고, 계산 방식을 문서화한다. 같은 이름의 지표라도 계산 방식에 따라 다르게 나오는 일이 흔하다. 지표가 너무 많으면 개선 판정은 실험 결과가 아니라 해석의 문제가 된다.

탐색 자원은 과제별로 배정하고, 소진하면 자동으로 멈춰야 한다. 사람이 지켜보다가 끊는 방식은 야간 실행에서 작동하지 않는다. 예산 대비 성과를 남기면 다음 자원 배정의 근거로 사용할 수 있다.

중간 보고에는 시도한 방법, 관찰, 채택 여부, 남은 예산을 고정 항목으로 둔다. 자유 서술만으로 구성된 보고는 읽는 사람마다 다른 결론을 낳는다. 중단 조건도 예산 소진, 연속 미개선, 부차 지표 하한 위반으로 명시하고, 조건별로 남길 산출물을 정한다.

채택된 방법은 사람이 독립적으로 재실행해 확인한다. 재현되지 않는 개선은 채택하지 않는다. 자율 탐색에서는 우연히 좋은 결과를 개선으로 받아들이는 실패가 가장 흔하다. 방법 변경 허용 범위 확대와 평가 절차 변경 권한 부여는 승인 대상으로 등록하고, 체크포인트 통과율과 재현 실패율은 정기 보고 항목으로 편성한다.

자율성의 대가가 달라지는 선택지

구분	방법 교체 허용 자율 연구	고정 방법 반복 실행
성과 상한	높음	방법에 종속
설명 가능성	낮음	높음
자원 예측성	낮음	높음
재현 난도	높음	낮음
국소 최적 탈출	가능	불가
검증 비용	큼	작음

방법 교체를 허용하면 사람이 처음 고른 접근이 국소 최적에 머물 때 다른 방향으로 이동할 수 있다. 성과 상한이 최초 방법에 묶이지 않고, 사람이 떠올리지 못한 조합을 찾을 가능성도 생긴다. 탐색 속도 역시 사람의 실험 주기와 무관해진다. 대신 판단 과정이 기록되지 않으면 결과를 설명하기 어렵고, 자원 소모도 사전에 예측하기 힘들다. 채택한 개선이 우연인지 실질인지 판단하려면 별도 검증이 필요하다.

고정 방법 반복 실행은 수행한 일이 명확하므로 설명과 재현이 쉽고, 자원 소모와 검증 비용도 예측 가능하다. 그러나 처음 선택한 방법이 한계에 닿으면 반복만으로는 개선이 나오지 않는다. 방법 변경은 허용하되 평가 절차 변경은 금지하는 구성은 성과의 상한을 열면서 지표 조작 경로를 닫는다.

무제한 탐색은 유망한 방향을 끝까지 밀어붙일 수 있고 예산 경계로 중단되는 손실이 없다. 하지만 비용 상한이 없어 청구서를 사후에야 확인하게 되며, 막다른 방향에 자원이 무제한 투입될 수 있다. 종료 시점을 알 수 없는 실행은 일정 계획에도 넣기 어렵다. 예산 제한 탐색은 비용을 사전에 계획할 수 있고 막다른 경로의 손실을 상한 안에 묶으며, 여러 과제에 자원을 나눠 병렬 시도할 수 있다. 다만 예산이 유망한 방향의 초입에서 소진될 수 있고 안전한 방향으로 탐색이 쏠릴 수 있다. 성과 곡선이 상승 중일 때 한 차례 연장을 허용하는 규칙은 두 방식의 손실을 함께 줄인다.

사람 체크포인트는 방향 오류를 일찍 잡고, 중간 결과에 대한 사람의 이해와 승인 기록을 남긴다. 반대로 검토자의 가용성이 진행 속도를 제한하고, 야간·주말 구간의 자율 실행 이점이 줄어들 수 있다. 완전 무인 진행은 검토 대기 없이 계속 실행되어 탐색 처리량이 최대가 되지만, 잘못된 방향으로 예산 전부를 소모한 뒤에야 결과를 보게 될 수 있다. 체크포인트를 시간 간격이 아니라 방법의 큰 전환 시점과 예산 소진 비율에 연결하면 처리량을 크게 해치지 않으면서 방향 오류를 잡을 수 있다.

자율 연구를 바라보는 관리와 품질의 관점

목표 고정과 방법 자율의 분리는 자율 시스템 권한 경계 설계의 핵심 논점이다. 변경 근거를 실행 시점에 강제하는 방식은 설명 가능성을 사후 해석이 아니라 기록으로 확보한다.

탐색 예산 상한과 표준화된 중간 보고는 연구 과제 관리의 단계별 검토 체계에 대응한다. 막다른 경로 기록은 실패 지식을 자산으로 남기는 연구 관리 방식이다.

성과 판정 기준을 미리 정하는 일은 수용 기준을 사후 조정에서 분리하는 품질 통제의 기본 원칙이다. 독립 재실행 검증은 결과의 재현성을 확인하는 검증 활동에 해당한다.

2026년에 나타나는 방향

자율 연구 시스템에서는 방법 변경 권한과 평가 변경 권한을 분리해 부여하는 구성이 표준으로 자리 잡는 방향이다. 변경 근거 기록의 구조화 형식도 정비되며, 자율 실행 결과의 감사 가능성이 요구 사항으로 부상하는 흐름이 이어진다.

탐색 예산과 성과를 함께 집계하는 지표는 연구 자원 배분의 근거로 활용되는 방향이다. 독립 재실행 검증을 통과한 결과만 채택하는 절차 역시 조직 표준으로 확산되는 흐름이다.

방법 변경 권한은 자율 연구의 성과 가능성을 넓히지만, 그 자체로 신뢰를 보장하지는 않는다. 목표를 상수로 고정하고 방법 변경만 열어 두며, 변경 근거를 실행 시점에 남기고 예산 상한과 재현 기록으로 결과를 붙잡아야 한다. 평가 절차까지 바꿀 권한을 부여하면 에이전트는 성과 대신 지표를 만들어 낼 수 있으므로, 이 권한은 열지 않는 편이 이 설계의 마지노선이다.