에이전트 정확도를 높이는 자기 검증 루프 아키텍처

오류가 다음 단계의 전제가 되기 전에 막기

하네스 엔지니어링에서는 도구 표면과 실행 샌드박스와 함께 검증 루프를 핵심 요소로 본다. 에이전트의 정확도를 높이는 방법도 모델 교체를 기다리는 데서, 산출물을 즉시 검사하고 실패한 지점으로 되돌리는 환경 설계로 옮겨가고 있다.

검증이 없는 에이전트는 잘못된 상태를 유지한 채 다음 작업을 수행한다. 초기에 생긴 오류가 이후 단계의 전제가 되면 오류는 계속 전파되고, 뒤늦게 발견할수록 복구 범위와 비용은 급격히 커진다. 짧은 주기의 검증 구조가 결과를 크게 바꾸는 이유다.

다만 모든 단계에 검사를 붙이는 방식도 답은 아니다. 처리 시간과 비용이 함께 늘어나며, 검사 항목이 부실하면 거짓 통과만 늘어난다. 모델이 자기 산출물을 채점하는 경우에는 통과 편향도 생길 수 있다. 검증 시점, 검사 기준, 실행 기반 판정, 되감기 지점, 재시도 분기, 비용 상한, 거짓 통과 탐지와 이력 축적을 하나의 루프로 묶어야 한다.

검증 루프가 돌아가는 방식

검증은 균등한 간격으로 배치하지 않는다. 되돌리기 비용이 급증하는 지점, 그리고 다음 단계가 의존할 산출물이 만들어지는 지점에 둔다. 검증 위치는 작업 순서가 아니라 오류 비용 곡선을 따라 결정한다.

검사 항목은 형식 적합성, 스키마 준수, 참조 유효성, 시험 통과, 지표 임계처럼 판정할 수 있는 기준으로 구성한다. 그럴듯함처럼 판정이 불가능한 항목은 검증 시간을 늘릴 뿐이다.

코드는 실행하고, 질의는 조회하며, 문서는 링크를 확인하는 식으로 실제 결과를 근거로 삼는다. 생성자와 채점자가 같으면 오류도 통과할 수 있으므로 모델의 자기 검토를 최종 판정 근거로 두지 않는다.

실패한 경우에는 단계 진입 시 남긴 스냅샷으로 되돌아간다. 처음부터 다시 시작하면 이미 통과한 구간까지 버리게 되어 재시도 비용이 배가된다. 형식 오류는 교정 재생성으로, 사실 오류는 근거 재조회로, 실행 오류는 환경 점검으로 분기한다. 같은 재시도를 반복하지 않는 이유도 원인 범주마다 필요한 대응이 다르기 때문이다.

⤢✕

검증 호출 수와 재시도 누적 비용에는 과업별 상한이 필요하다. 상한을 넘으면 사람에게 넘기고 미달 사유를 보고한다. 정확도를 위해 무제한으로 반복하면 원가를 예측할 수 없게 된다.

통과율만으로 검증 체계를 평가해서도 안 된다. 검증을 통과했지만 후속 단계나 사용자 단계에서 실패한 사례를 수집해야 검사 항목의 결함을 찾을 수 있다. 높은 통과율은 검사가 느슨하다는 신호일 수 있다. 단계, 검사 항목, 판정 결과, 재시도 횟수, 최종 처리를 구조화해 적재하면 실패 로그뿐 아니라 통과 이력까지 바탕으로 항목별 효용을 계산할 수 있다.

실패 사례에서 검사 항목을 설계한다

검증 체계는 일반적인 품질 검사부터 만드는 방식보다 최근 실패 사례를 유형별로 묶는 데서 시작한다. 실제로 발생한 오류가 검사 우선순위를 정하고, 각 오류를 잡을 수 있는 검사를 역으로 도출한다.

검사 대상은 실행 판정 가능, 규칙 판정 가능, 사람 판단 필수로 나눠야 한다. 전부 자동화하려 하면 억지 자동화가 거짓 통과의 주된 출처가 된다.

스냅샷을 남길 단위도 정해야 한다. 저장 비용과 복구 정밀도 사이의 균형이 필요하며, 매 호출마다 스냅샷을 남기면 저장 비용이 검증 이득을 상쇄할 수 있다. 재시도 역시 단일 상한으로 관리하지 않는다. 형식 오류와 사실 오류는 합리적인 재시도 횟수가 다르므로 원인 범주별 상한과 과업당 누적 상한을 함께 둔다.

과업 유형별로 검증에 사용할 호출과 시간의 예산도 명시한다. 검증 비용을 부대 비용으로 취급하면 도입 뒤 첫 원가 검토에서 제거되기 쉽다.

검사 항목은 계속 쌓아두는 목록이 아니다. 거짓 통과 사례와 항목별 차단 실적을 모아 정기적으로 추가하거나 제거한다. 차단 실적이 없는 항목은 지연만 만든다. 검증 시점 배치 규칙, 검사 항목 목록, 재시도 상한, 비용 예산은 조직 표준으로 등록하고, 단계별 차단 건수, 거짓 통과 발견율, 재시도 분포, 검증 비용 비중을 정기 보고 항목으로 관리한다.

검증을 배치하는 선택지

구분	단계별 즉시 검증	최종 산출물 일괄 검수
오류 전파 범위	단계 내 차단	전 단계 확산
수행 오버헤드	큼	작음
복구 비용	낮음	높음
구현 부담	단계마다 필요	한 지점
원인 특정	즉시	역추적 필요
총처리 시간	증가	재작업 시 급증

단계별 즉시 검증은 오류가 발생한 자리에서 차단하므로 잘못된 전제가 뒤로 전파되지 않는다. 되감기 범위가 좁고 실패 원인을 단계로 특정할 수 있어 교정도 정확하다. 반면 단계마다 검사를 구현해야 하며, 정상 경로에도 검증 시간이 더해진다. 검사가 많아지면 오탐이 정상 진행을 막을 수 있다.

최종 산출물 일괄 검수는 구현 지점이 하나라 부담이 작고 정상 경로에는 오버헤드가 없다. 전체 맥락을 보고 판단할 수 있다는 장점도 있다. 그러나 오류가 최종 산출물까지 전파된 뒤 발견되고, 어느 단계에서 어긋났는지 역추적해야 한다. 재작업이 발생하면 총처리 시간은 즉시 검증보다 훨씬 커진다. 오류 발생 빈도가 높은 소수 단계에만 즉시 검증을 두고 나머지는 일괄 검수로 두면 오버헤드를 낮게 유지할 수 있다.

실행 기반 검증은 실제 실행 결과로 판정하므로 통과 편향이 없고, 판정 근거가 재현 가능한 증거로 남는다. 대신 실행 환경이 필요하고 실행할 수 없는 산출물에는 적용할 수 없으며 실행 자체에 시간과 자원이 든다.

모델 자기 평가는 어떤 산출물에도 적용할 수 있고 구현이 즉시 끝난다. 문장 품질이나 논리 일관성처럼 실행으로 확인할 수 없는 항목도 다룰 수 있다. 하지만 생성자와 채점자가 같은 성향을 공유하면 자기 오류를 통과시킬 수 있고, 판정 근거가 문장으로만 남아 재현되지 않으며 호출마다 판정이 흔들린다. 실행 가능한 항목은 실행으로 판정하고, 나머지만 별도 모델이나 다른 프롬프트로 평가하되 그 결과는 참고 신호로만 쓰는 구성이 적용 범위와 신뢰도를 절충한다.

자동 되감기는 실패 직후 복구를 시작할 수 있어 처리 속도를 유지하고, 야간이나 대량 처리에서도 멈추지 않는다. 복구 절차가 일정하므로 결과도 재현된다. 반대로 판정이 틀리면 정상 산출물을 되돌리는 오판 손실이 생길 수 있고, 같은 실패를 반복하는 루프나 복구 로직의 광범위한 결함으로 이어질 수 있다.

사람 개입 복구는 맥락을 보고 되돌릴지 진행할지 판단하므로 오판이 적고 예외 상황에 유연하다. 반복 루프에도 빠지지 않는다. 대신 대기 시간이 처리 지연으로 누적되고 처리량이 인력에 묶이며 담당자마다 판단이 달라질 수 있다. 원인 범주가 명확한 실패는 자동 되감기로 처리하고, 판정 신뢰도가 낮은 실패만 사람에게 넘기는 분기가 속도와 오판 위험을 함께 관리한다.

품질·시험·프로세스 관리에 연결되는 지점

품질 보증 관점에서 검증 시점 배치와 검사 항목 정의는 단계별 진입·종료 기준을 설정하는 일이다. 거짓 통과 탐지는 검증 활동 자체가 유효한지 평가하는 이중 점검에 해당한다.

실행 기반 판정은 동적 시험 기법의 적용이며, 검사 항목은 시험 케이스 역할을 한다. 검증 이력의 축적은 시험 결과 기록과 결함 데이터 관리 활동으로 이어진다.

되감기 지점과 재시도 분기는 프로세스의 예외 처리와 복구 흐름을 설계하는 문제다. 검증 비용 상한은 프로세스 자원 소모를 통제하는 규칙이 된다.

2026년의 검증 체계

검증 루프 내장은 에이전트 하네스의 기본 구성으로 자리 잡고 프레임워크 수준에서 제공되는 방향이다. 실행 기반 판정의 비중이 늘면서 샌드박스 실행 환경은 검증의 전제 조건으로 요구되는 흐름이다.

거짓 통과율과 항목별 차단 실적은 검증 체계의 품질 지표로 보고되는 방향이며, 검증 비용은 별도 예산 항목으로 분리되어 정확도 목표와 함께 관리되는 흐름이다.