AI 에이전트의 목표 명세와 완료 판정 설계

종료 조건이 없을 때 생기는 운영 문제

완료 기준 검사 뒤 미달한 항목을 대상으로 서브에이전트를 다시 실행하는 Goal-Driven 방식이 도구 논의와 함께 확산되면서, 에이전트 실행 설계의 중심도 바뀌고 있다. 지시를 잘 따르게 하는 일만으로는 충분하지 않다. 무엇을 충족해야 실행을 끝낼 수 있는지 기계가 판정할 수 있도록 정해야 한다.

기준이 없으면 에이전트는 형식상 그럴듯한 지점에서 멈춘다. 사람에게는 그 결과가 완료인지 중단인지 구별되지 않고, 후속 처리는 잘못된 전제 위에서 이어질 수 있다. 매번 사람이 결과를 확인해야 한다면 자동화로 얻으려던 처리량 이점도 사라진다.

재시도 경로만 두는 방식도 위험하다. 횟수나 비용의 상한, 동일 실패를 감지하는 규칙이 없으면 같은 문제를 반복하며 무한 루프와 비용 폭증으로 이어질 수 있다. 완료를 주장할 근거를 남기지 않는 경우에는 사후 검증이나 분쟁 정리도 어려워진다.

목표에서 판정과 증거까지 이어지는 구조

목표는 수행 절차가 아니라 결과 상태로 적는다. 무엇을 어떤 상태로 만들어야 하는지 명확히 해야 하며, 절차 자체를 목표로 쓰면 방법을 불필요하게 고정하게 된다.

수용 기준은 참·거짓으로 확인 가능한 문장이어야 한다. 각 기준에는 판정 방법을 함께 연결한다. “품질이 좋다”처럼 검증할 수 없는 표현은 기준으로 기능하지 못한다.

완료 상태는 전부 충족, 필수 충족, 필수 미달로 나눌 수 있다. 완료와 실패만으로 다루면 진행 상황이 사라지고, 남은 작업을 이어받을 근거도 부족해진다. 상태마다 후속 처리를 정해 두어야 한다.

자동 판정에는 실행 성공 여부, 산출물 존재, 형식 적합, 시험 통과, 지표 임계를 검사 항목으로 등록한다. 모델의 자기 평가는 판정 근거로 쓰지 않는다. 수행하는 주체와 판정하는 주체가 같으면 통과 편향이 생길 수 있다.

미달했을 때는 전체 과업을 처음부터 다시 실행하기보다, 미달한 항목을 지목한 재작업 지시로 해당 단계에 되돌린다. 이미 통과한 부분까지 버리면 비용이 배가된다. 다만 재시도 횟수 상한, 누적 비용 상한, 동일 실패 반복 감지 규칙은 함께 마련해야 한다. 횟수만 제한해서는 매번 다른 방식으로 같은 실패를 반복하는 경우를 막기 어렵다.

미완료 결과는 미충족 기준 목록, 실제 관측값, 시도 이력, 차단 사유를 고정된 형식으로 반환한다. 단순히 실패했다고 알리는 대신, 사람이 이어받을 수 있도록 무엇이 왜 막혔는지를 남기는 방식이다.

판정에 쓴 검사 결과와 입력 스냅샷, 산출물 해시, 판정 시각도 보관한다. 결과물만 저장해서는 완료 주장을 나중에 검증할 수 없다.

⤢✕

조직에 판정 체계를 정착시키는 방식

반복 업무마다 실제 검수자가 무엇을 보고 승인하는지 인터뷰해 완료 기준을 수집한다. 문서화된 기준만으로는 부족할 수 있다. 실무의 승인 판단에는 문서에 적히지 않은 항목도 섞여 있기 때문이다.

모호한 표현을 판정 가능한 문장으로 바꾸는 훈련은 조직 차원에서 다룬다. 기준 문장 작성 방식을 개인의 역량에 맡기면 판정 체계 전체의 품질 상한도 흔들린다.

검사 기준은 자동 판정 가능, 부분 자동, 사람 판단 필수로 구분한 뒤 자동화 범위를 결정한다. 모든 기준을 자동화 대상으로 삼으면 거짓 통과를 만들 수 있다. 업무 등급별 재시도 횟수와 누적 비용 상한을 정하고, 초과 시의 처리 경로도 명시한다. 상한은 예산 보호 장치이면서 이상 상황을 알리는 신호다.

부분 완료와 중단 결과를 누가 이어받는지, 어떤 서식으로 인계하는지, 얼마나 대기하는지를 미리 합의해야 한다. 미완료를 예외로만 취급하면 결과가 방치된다.

운영 과정에서 미달 유형과 거짓 통과 사례를 모아 기준 문장과 검사 항목을 정기적으로 갱신한다. 기준을 계속 늘리는 일만으로는 충분하지 않다. 통과율에 영향을 주지 않는 항목은 판정 시간만 늘릴 수 있다.

목표 진술 규격, 수용 기준 작성 규칙, 자동 검사 목록, 재시도 상한은 조직 표준으로 등록할 수 있다. 완료 판정 정확도, 부분 완료 비율, 재시도 분포, 거짓 통과 발견 건수는 정기 보고 항목으로 다룬다.

자동 판정과 사람 확인의 경계

구분	기계 판정 완료 기준	사람 최종 확인
처리 속도	즉시	검수 대기 발생
판정 신뢰도	항목 범위 내 일관	맥락 포함 판단
거짓 통과 위험	있음	낮음
확장성	높음	인력에 비례
구축 비용	초기 큼	없음
판정 이력	자동 축적	기록 누락

기계 판정은 결과가 나온 즉시 종료 여부를 정할 수 있어 후속 단계를 대기 없이 연결한다. 같은 기준을 모든 실행에 적용하고, 처리량도 인력과 무관하게 늘릴 수 있다. 반면 검사 항목 밖의 문제를 통과시키는 거짓 통과가 발생할 수 있으며, 항목 구현과 유지에 공수가 든다. 기준이 부실하면 잘못된 안심을 줄 수도 있다.

사람의 최종 확인은 맥락과 의도를 종합해 자동 검사가 놓친 문제를 걸러내고 예외 상황을 판단할 수 있다. 다만 검수 대기가 지연으로 누적되고, 검수자의 역량과 피로에 따라 판정이 흔들릴 수 있다. 처리량도 인력에 묶인다. 자동 판정으로 하한을 지키고 위험 등급이 높은 산출물에만 사람 확인을 더하는 이중 게이트가 속도와 신뢰도를 함께 확보한다.

수용 기준을 사전에 명시하면 산출물을 보기 전에 판정 기준이 고정되므로 사후 정당화를 막을 수 있다. 미달 항목을 구체적으로 지목해 재작업 지시를 만들기 쉬우며, 여러 실행을 같은 기준으로 비교할 수 있다. 그러나 업무 이해가 충분하지 않으면 기준 작성 부담이 크고, 기준 밖의 좋은 결과를 배제하거나 불확실한 과업에 잘못된 기준을 정교하게 만드는 낭비가 생길 수 있다.

결과를 본 뒤 판단하는 방식은 실제 산출물을 토대로 현실적인 기준을 적용하고 예상 밖의 접근도 수용할 수 있다. 대신 품질 하한이 실행마다 달라지고, 무엇을 고쳐야 하는지 설명하기 어려워 재작업이 반복될 수 있다. 필수 기준은 사전에 고정하고 가점 항목만 결과를 보고 판단하는 구성이 하한과 유연성을 함께 남긴다.

부분 완료를 허용하면 진행된 범위를 확인하고 남은 작업만 이어받을 수 있다. 통과한 산출물을 버리지 않아 재작업 비용도 낮아지며, 진행률을 운영 지표로 활용할 수 있다. 그만큼 상태와 후속 처리 분기가 늘어나고, 부분 완료가 누적되어 실질적인 미완료가 방치될 위험도 있다. 필수 기준과 선택 기준을 분리하고, 필수 충족은 부분 완료로 인정하되 잔여 항목에 기한을 두는 구성이 가시성과 품질 하한을 함께 지킨다.

요구사항과 품질 관리에 연결되는 지점

요구공학의 관점에서 목표 진술 규격과 수용 기준 표현은 검증 가능한 요구사항 작성 원칙을 적용한 것이다. 필수 기준과 선택 기준을 분리하는 일은 요구사항 우선순위 결정 활동에 대응한다.

품질 보증 측면에서는 자동 판정 검사 항목이 산출물 검증 절차의 자동화 구현이 된다. 완료 증거 보관은 검증 활동의 객관적 증거를 유지하는 요건과 연결된다.

프로세스 관리에서는 부분 완료 상태와 미완료 처리 절차가 단계의 진입·종료 기준, 예외 처리 흐름을 구성한다. 반복 차단 조건은 프로세스 자원 소모를 통제하고 이상 종료를 규정하는 장치다.

에이전트 운영에서 달라지는 판정 기준

완료 기준을 기계가 판정할 수 있는 형태로 작성하는 관행은 에이전트 운영의 기본 요건으로 자리 잡는 방향이다. 판정 실패 뒤 미달 항목만 지목해 재실행하는 구성도 오케스트레이션 프레임워크에 내장되는 흐름이 이어지고 있다.

완료 증거는 감사 요건과 결합해 산출물과 함께 보존 대상이 되는 방향이다. 부분 완료 비율과 재시도 분포 역시 에이전트 운영 보고의 표준 지표로 편입되는 흐름이다.

완료 기준은 에이전트가 멈출 위치를 정하는 규칙이면서 결과 품질의 하한을 만드는 장치다. 목표를 결과 상태로 서술하고, 수용 기준을 판정 가능한 문장으로 고정해야 한다. 여기에 자동 판정 항목, 미달 항목을 지목하는 재시도, 반복 차단 조건을 연결한다.

이 체계의 신뢰는 수행 주체와 판정 주체를 분리하는 설계에 달려 있다. 모델의 자기 평가를 완료 판정으로 쓰면 통과 편향이 생길 수 있다.