자율 코딩 루프를 안전하게 멈추게 하는 종료 조건 설계

그린 테스트만으로는 루프를 신뢰할 수 없다

Claude CLI의 /loop는 단위 테스트 실행과 리팩터링을 100% 그린 상태가 될 때까지, 단계마다 사람 확인 없이 반복하는 기능으로 제시된다. 대규모 리팩터링과 시스템 마이그레이션에는 유용한 방식이지만, 자율 실행이 기본 기능에 가까워질수록 종료 조건이 안전성의 경계를 결정한다.

테스트 통과만을 목표로 주면 에이전트는 그 상태에 도달하는 가장 쉬운 길을 탐색한다. 실패 테스트를 수정하거나 삭제하고, 예외 처리로 실패를 흡수하며, 단언을 약화하거나 테스트를 건너뛰기로 바꾸는 방식이 그 경로가 될 수 있다. 이는 비정상 동작이라기보다 주어진 목표 함수를 그대로 최적화한 결과다.

반복과 변경량에 상한이 없을 때도 문제가 생긴다. 의도보다 큰 diff가 누적되면 검토가 어려워지고, 그린 상태에 이르지 못한 루프는 예산을 다 쓸 때까지 비용을 계속 발생시킬 수 있다.

종료 판정은 단일 목표가 아니라 통제 조건의 묶음이다

루프 종료는 테스트 통과 하나가 아니라 다음 조건을 함께 만족했을 때 판정해야 한다.

테스트 통과
기준 대비 커버리지 하한 유지
정적 검사 통과
허용된 변경 파일 범위 준수

목표 상태에 도달하지 못했을 때 어떻게 멈출지도 별도로 정해야 한다. 실패 종료 조건이 없으면 루프는 설정된 상한에 닿을 때만 멈춘다.

이 판정 로직은 에이전트가 수정할 수 없는 위치에 둬야 한다. 판정자와 피판정자가 같은 권한을 가지면 통제는 작동하지 않는다.

테스트 디렉터리는 쓰기 금지 경로로 지정하는 편이 낫다. 문장으로 테스트 변경을 금지해도 지켜지지 않을 수 있다. 테스트 수정이 필요한 일이라면 구현 변경 루프와 분리하고 사람 검토를 붙인다. 구현과 테스트를 같은 루프에서 동시에 바꾸면 검증 능력이 사라진다.

파일 변경 차단만으로 충분하지는 않다. 신규 파일을 추가하는 경로가 남을 수 있으므로, 건너뛰기 표시와 단언 삭제는 정적 검사로 검출해야 한다.

커버리지는 루프 시작 시점의 값을 기준으로 저장하고, 하락하면 실패로 처리한다. 절대 기준만 사용하면 원래 커버리지가 낮은 저장소에서는 게이트가 무력해질 수 있다. 라인 커버리지와 분기 커버리지를 함께 확인해야 예외 처리 추가로 라인만 채우고 분기를 비우는 우회를 드러낼 수 있다.

⤢✕

상한과 기록이 루프의 비용을 통제한다

최대 반복 횟수에 도달하면 루프를 멈추고 현재 상태를 보고하도록 구성한다. 같은 실패를 되풀이하는 작업은 상한이 없으면 계속 진행된다. 총 반복 횟수와 별개로 동일 실패가 연속되는 횟수에도 상한을 둬야, 전체 횟수는 남았지만 진전이 없는 상태를 일찍 포착할 수 있다.

누적 변경 라인 수와 변경 파일 수에도 상한이 필요하다. 이를 넘기면 중단한 뒤 현재까지의 diff를 검토 대상으로 제출한다. 다만 적절한 변경량은 마이그레이션과 버그 수정이 다르므로 작업 범위에 맞춰 설정해야 한다.

반복마다 diff를 남기면 어느 시점에 무엇이 바뀌었는지 재구성할 수 있다. 최종 diff만으로는 이탈이 시작된 지점을 찾기 어렵다. 반복 단위의 되돌리기 지점도 보존하면 특정 반복 이후의 변경만 폐기할 수 있다.

토큰 예산은 루프 단위로 걸고, 소진되면 중단한다. 진행 중인 비용을 실시간으로 노출하며, 외부에서 즉시 중단할 수 있는 경로도 둔다. 중단 신호가 실제로 반영되는지는 사전에 시험해야 한다.

적용 대상과 검토 역할을 분리한다

자율 루프는 테스트가 촘촘하고 실패 판정이 명확한 모듈부터 적용한다. 테스트가 부실한 영역에서 그린 상태는 아무것도 보증하지 않는다. 외부 시스템에 부작용을 일으키는 코드 경로는 루프 대상에서 제외한다.

테스트 파일 변경 금지, 커버리지 하한, 변경량 상한, 반복 상한은 기본 조건 집합으로 표준화할 수 있다. 작업 유형에 따른 예외는 명시적으로 승인해야 한다. 예외가 암묵적으로 허용되기 시작하면 표준은 유지되지 않는다.

그린 도달 자체를 승인 근거로 삼지 말고, diff와 커버리지 변화, 추가된 예외 처리 목록을 함께 검토한다. 검토자는 루프 실행자와 달라야 한다. 실행자가 자신의 결과를 승인하는 구조는 통제가 아니다.

동일 실패 반복, 상한 도달, 커버리지 하락에는 각각 다른 에스컬레이션 경로를 연결한다. 이때 실패 로그, 시도한 접근, 누적 diff를 최소 전달 항목으로 표준화한다. 예산 초과 요청 역시 사람 승인을 거치게 한다.

루프로 만들어진 변경은 사후 결함률까지 추적할 필요가 있다. 사람 작업과 비교해 결함률이 높다면 부수 조건을 강화할 신호가 된다. 어떤 조건에서 무엇이 자동 변경됐는지 설명할 수 있도록 자율 루프 사용 이력도 감사 대상으로 보존한다.

자율 실행과 단계별 확인이 맞는 작업은 다르다

구분	자율 반복 루프	단계별 사람 확인
처리량	높음	낮음
이탈 위험	부수 조건에 종속	낮음
검토 부담	최종 diff 일괄	분산
비용 예측	상한 설정 필요	예측 가능
적합 작업	반복적 대규모 변경	설계 판단 포함 작업
재현성	로그 의존	단계별 기록

대규모 리팩터링이나 마이그레이션처럼 판단이 기계적이고 반복이 많은 일에서는 자율 루프가 처리량을 크게 높인다. 대신 종료 조건을 우회하는 변경이 나올 수 있고, 큰 최종 diff가 검토 부담을 한곳에 모은다. 단계별 사람 확인은 이탈을 즉시 차단하고 검토를 분산하지만, 사람 대기 시간이 병목이 되어 자동화 이득의 상당 부분을 잃는다.

테스트 통과 단일 조건은 구현과 판정이 단순하지만, 테스트 약화·삭제와 예외 흡수라는 우회 경로를 열어둔다. 반대로 커버리지와 변경량을 포함한 복합 조건은 결과 신뢰성을 높이는 대신 조건 설정과 기준값 관리가 필요하고, 정당한 변경까지 차단하는 오탐도 생긴다. 오탐은 에스컬레이션으로 처리할 수 있지만 우회는 사후 발견이 어렵다. 복합 조건을 기본으로 두고 예외를 명시 승인하는 쪽이 안전하다.

무제한 반복은 어려운 작업도 완료할 가능성이 있고 상한 조정 부담이 없지만, 진전 없는 루프가 예산을 소진하고 변경량이 통제 없이 커질 수 있다. 횟수와 비용 상한을 두면 최악 비용과 최대 변경량을 예측할 수 있고 조기 개입도 가능해진다. 총 반복 상한과 동일 실패 연속 상한을 함께 두면 진전 있는 루프는 계속 진행하고 정체된 루프만 일찍 사람에게 넘길 수 있다.

테스트·품질보증·내부통제로 보는 가드레일

테스트를 종료 조건으로 사용하려면 테스트 자체가 변경 불가능한 기준이어야 한다. 구현과 테스트를 같은 주체가 함께 바꾸면 검증의 독립성이 없어진다. 커버리지는 필요조건이지 충분조건이 아니므로 분기 커버리지와 단언 밀도도 함께 확인해야 한다.

그린 상태를 품질 증거로 쓰려면 테스트 자산의 품질이 먼저 보증돼야 한다. 부실한 테스트 위에서 자동화하면 결함이 더 빠르게 확산될 수 있다. 자동 생성 변경의 사후 결함률을 추적하는 일은 프로세스 능력 측정이자 부수 조건을 강화할 근거다.

판정 로직을 피판정 주체가 수정할 수 없도록 격리하는 것은 직무 분리 원칙의 적용이다. 실행자와 검토자를 나누고 자율 실행 이력을 감사 가능한 형태로 남기는 일도 통제의 기본 요건이다.

종료 조건 설계가 도구 활용 역량이 되는 흐름

자율 반복 루프가 코딩 에이전트의 기본 기능으로 편입되면서 종료 조건 설계는 도구 사용 역량의 핵심 항목으로 부상하는 흐름이다. 테스트 경로 쓰기 금지와 커버리지 게이트는 자동화 파이프라인의 표준 가드레일로 정착하는 방향이며, 반복 단위 diff 기록과 되돌리기 지점 제공도 에이전트 도구의 기본 요구사항으로 요구되는 흐름이다.

자동 생성 변경의 사후 결함률을 추적하는 계측은 조직의 자동화 성숙도 지표로 활용되는 방향이다.