AI 에이전트의 자율성과 통제를 설계하는 Harness Engineering

에이전트에게 권한을 주기 전에 정할 것

컨텍스트 엔지니어링은 에이전트가 판단에 필요한 정보를 제대로 받도록 만드는 일이다. 그러나 정보가 정확하더라도 에이전트가 허용 범위를 넘어 행동하거나, 잘못된 판단을 그대로 실행하면 시스템은 안전하지 않다.

Harness Engineering은 이 문제를 한 단계 위에서 다룬다. 에이전트가 어디까지 자율적으로 움직일 수 있는지, 어느 정도의 정확도를 충족해야 실행할 수 있는지, 어떤 상황에서 인간에게 결정을 넘겨야 하는지를 미리 설계하는 규율이다. 2026년 기준 엔터프라이즈 AI 에이전트의 자율화 수준이 높아지면서, 잘못된 결정을 사전에 차단하고 실패 이후 복구하는 제어 구조가 핵심 엔지니어링 과제로 부상했다.

자율성은 작업마다 달라야 한다

에이전트의 자율성은 허용하거나 금지하는 이진 설정이 아니다. 작업 유형과 위험도, 비용, 규제 요구사항, 결과의 비가역성을 함께 고려해야 하는 다차원 변수다. Harness Engineering에서는 먼저 자율성 수준을 정의한 뒤 각 작업을 적절한 수준에 배치한다.

완전 수동인 Level 0부터 완전 자율인 Level 4까지 5단계로 나누면 작업과 권한의 관계를 명확하게 표현할 수 있다.

⤢✕

Level 4는 읽기 전용 데이터 조회, 로그 분석, 보고서 생성, 단위 테스트 실행, 문서 요약처럼 위험도가 낮고 결과를 되돌릴 수 있는 작업에 적용한다.

Level 3에서는 에이전트가 먼저 실행하고 인간이 사후에 결과를 확인한다. 코드 변경, 설정 업데이트, 이메일 초안 발송, 일정 예약처럼 실행 후 검토와 복구가 가능한 작업이 여기에 해당한다.

Level 2는 실행 전에 인간 승인이 필요하다. 데이터베이스 스키마 변경, 외부 API 호출, 결제 처리, 보안 정책 수정처럼 비용이나 보안에 직접 영향을 주는 작업을 배치한다.

Level 1에서 에이전트는 결정을 실행하지 않고 제안만 만든다. 법적 계약 체결, HR 결정, 대규모 인프라 변경, 규제 대응 조치처럼 조직의 책임이 수반되는 고위험 업무가 대상이다.

Level 0은 에이전트가 관여하지 않는 완전 수동 영역이다. 핵 옵션, 대규모 자금 이동, 사용자 계정 일괄 삭제처럼 결과를 되돌릴 수 없는 극단적 작업은 인간이 직접 실행한다.

승인 게이트가 필요한 위치

인간 개입이 지나치게 많으면 에이전트를 도입해도 수동 업무와 차이가 없어진다. 반대로 개입 지점이 부족하면 작은 오류가 비용이나 보안 사고로 이어질 수 있다. 따라서 승인 횟수보다 중요한 것은 어떤 상태에서 어떤 방식으로 개입할지를 정하는 일이다.

체크포인트 기반 게이트는 에이전트가 실행 계획을 먼저 제시하고 승인을 받은 뒤 작업을 시작하는 방식이다. 비가역적 작업 직전에는 이 게이트가 항상 작동하도록 배치한다.

예외 기반 개입은 정상 범위의 작업을 자율적으로 처리하되, 비용 임계값 초과, 오류율 급증, 이상 패턴 감지처럼 사전에 정의한 조건이 발생했을 때만 인간에게 알린다. 정상 작업의 흐름을 유지하면서 위험 신호에 집중할 수 있는 감독 방식이다.

중위험이지만 긴급하지 않은 작업은 비동기 검토 루프에 넣을 수 있다. 에이전트가 완료한 결과를 검토 큐에 등록하면 인간 검토자가 이후 승인하거나 거부한다. 검토자가 지정된 시간 안에 응답하지 않았을 때 자동으로 진행할지 취소할지는 비즈니스 SLA와 위험 허용 수준에 맞춰 타임아웃 정책으로 정한다.

실행 중에는 권한을 낮출 수 있어야 한다

처음 배정한 자율성 수준이 실행이 끝날 때까지 고정될 필요는 없다. 에이전트가 예상하지 못한 상태를 발견하면 권한을 낮추고 판단을 인간에게 넘길 수 있어야 한다.

계획보다 데이터 변경 범위가 커지거나 API 비용이 비정상적으로 높아지고 예상하지 못한 오류 패턴이 나타나면 현재 자율성 수준을 한 단계 낮춘다. 다음 행동에 대한 에이전트의 자기 신뢰도가 임계값 아래로 떨어졌을 때도 인간 확인을 요청한다.

에스컬레이션을 받을 사람은 문제 성격에 따라 달라진다. 기술 판단은 엔지니어에게, 비용 문제는 재무 팀에게, 법적 판단은 법무 팀에게 전달하는 역할 기반 라우팅이 필요하다.

동일한 에스컬레이션이 반복되면 검토 피로가 쌓인다. 반복 패턴을 학습해 해당 작업의 자율성 수준을 영구적으로 조정하거나, 자동 승인 규칙을 만들도록 인간에게 제안할 수 있다.

정확도를 실행 조건으로 만드는 구조

자율성이 높아질수록 하나의 잘못된 출력이 후속 작업으로 전파될 가능성도 커진다. 정확도 제어 아키텍처는 에이전트가 출력의 신뢰도를 평가하고, 기준을 충족하지 못하면 검증과 폴백, 에스컬레이션을 실행하도록 만드는 자기 교정 구조다.

⤢✕

자기 비평은 에이전트가 초안을 만든 뒤 같은 LLM이나 별도의 검증 LLM으로 오류, 모순, 누락을 찾는 반성 루프다. 여기에 행동별 신뢰도 임계값을 적용한다. 읽기 전용 보고서는 0.7 이상, 코드 변경은 0.9 이상, 금융 거래는 0.99 이상의 신뢰도를 요구하도록 위험에 비례해 기준을 높인다.

동일 입력을 여러 번 샘플링하거나 복수의 LLM에 같은 질문을 보내 결과의 일관성을 확인하는 앙상블 검증도 사용할 수 있다. 결과의 분산이 높다면 신뢰도가 낮다는 신호로 본다.

출력에 포함된 수치와 날짜, 인용구는 외부 데이터 소스와 대조한다. RAG나 MCP 도구를 연결한 사실 검증 레이어가 교차 검증에 실패한 클레임을 플래그로 표시한다.

실패를 받아내는 폴백과 검토 큐

기본 에이전트가 처리하지 못한 작업은 단순화된 폴백 에이전트, 규칙 기반 시스템, 인간 처리 순으로 넘긴다. 각 단계에서는 결과뿐 아니라 폴백이 발생한 이유도 기록해야 한다.

폴백 빈도와 각 수준의 처리 결과를 추적하면 기본 에이전트에서 무엇을 먼저 개선해야 하는지 파악할 수 있다. 폴백은 단순한 실패 처리 장치가 아니라 개선 우선순위를 만드는 피드백 루프이기도 하다.

인간에게 넘어온 케이스는 우선순위, 필요한 전문성, 기한에 따라 적합한 검토자에게 배정한다. SLA 기반 자동 에스컬레이션을 연결하면 검토 큐에서 케이스가 누락되는 일을 막을 수 있다.

검토 화면에는 에이전트가 준비한 컨텍스트 요약과 위험 분석, 권장 행동을 함께 보여준다. 검토자는 이 정보를 한 화면에서 확인하고 원클릭으로 승인하거나 거부할 수 있어야 한다.

오류가 다음 작업으로 번지지 않게 막기

서브 태스크를 격리된 실행 단위로 구성하면 하나의 실패가 독립적인 작업까지 중단시키는 것을 피할 수 있다. 이 오류 격리 경계는 멀티에이전트나 긴 워크플로우에서 특히 중요하다.

여러 작업을 연속으로 실행한 뒤 오류가 발생했다면 보상 트랜잭션을 적용한다. 완료된 작업을 역순으로 되돌리는 사가(Saga) 패턴으로 분산 에이전트 환경의 일관성을 유지한다.

주요 작업 전에는 에이전트 상태를 스냅샷으로 저장한다. 문제가 생기면 마지막으로 확인된 양호한 상태까지 롤백한다.

오류 대응은 원인에 따라 달라져야 한다. 네트워크나 타임아웃 같은 일시적 오류, 잘못된 추론에서 발생한 논리적 오류, 잘못된 컨텍스트로 인한 데이터 오류, 허용 범위를 넘은 경계 오류로 나누고 유형별 정책을 적용한다. 누적된 오류 패턴은 같은 문제가 다시 발생하기 전에 차단하는 데 활용한다.

컨텍스트와 행동 제어는 계층이 다르다

컨텍스트 엔지니어링과 Harness Engineering은 서로 대체하는 개념이 아니다. 컨텍스트 엔지니어링이 에이전트에게 무엇을 알게 할 것인지 다룬다면, Harness Engineering은 그 지식을 바탕으로 어디까지 행동하게 할 것인지 다룬다.

구분	컨텍스트 엔지니어링	Harness Engineering
핵심 질문	에이전트에게 무엇을 줄 것인가	에이전트가 어디까지 할 수 있는가
설계 대상	정보·지식·컨텍스트	자율성·정확도·제어·복구
실패 모드	컨텍스트 누락·부정확한 정보	의도치 않은 행동·오류 전파·제어 불능
주요 도구	RAG·MCP·토큰 예산 관리	자율성 레벨 매핑·승인 게이트·폴백 체인
측정 지표	컨텍스트 관련성·정보 밀도	정확도·오류율·에스컬레이션 빈도·복구 시간
엔지니어링 역량	검색·데이터 파이프라인	분산 시스템·워크플로우·거버넌스

⤢✕

Harness Engineering은 컨텍스트 공급, 행동 경계, 검증과 폴백, 승인과 에스컬레이션을 메타 계층에서 묶는다. 검색과 데이터 파이프라인만으로는 해결할 수 없는 실행 제어와 복구 문제를 분산 시스템, 워크플로우, 거버넌스 관점에서 설계한다.

거버넌스 요구가 커진 배경

2024년 초 에이전트가 단순한 도구 호출 수준에 머물렀다면, 2026년에는 장기 프로젝트를 독립적으로 수행하는 수준으로 발전했다. 이에 따라 오류가 미치는 범위와 심각도도 질적으로 달라졌다.

규제 환경도 변했다. EU AI Act, 미국 AI 규제 행정명령, 금융 규제 기관의 AI 사용 가이드라인은 고위험 AI 시스템에 인간 감독(Human Oversight)을 두도록 명시했고, 에이전트 거버넌스는 법적 요구사항으로 전환됐다.

초기 에이전트 배포에서는 무한 루프로 인한 API 비용 폭발, 잘못된 데이터 삭제, 의도하지 않은 외부 시스템 호출 같은 예상 밖의 행동이 실제로 발생했다. 제어 설계의 필요성이 운영 과정에서 드러난 셈이다.

복수의 에이전트가 협업하는 시스템에서는 문제가 더 복잡해진다. 한 에이전트의 오류가 전체 에이전트 네트워크로 전파될 수 있으므로 격리와 통제의 중요성도 함께 커진다.

엔터프라이즈에 적용하는 순서

먼저 배포할 에이전트가 수행하는 모든 작업 유형을 식별한다. 각 작업의 위험도, 비가역성, 비용, 규제 적용 여부를 기준으로 자율성 수준을 사전에 매핑한 위험 분류표를 만든다. 이 표가 이후 Harness 설계의 기준이 된다.

다음에는 전체 구조를 한 번에 구현하기보다 비용 임계값 초과 차단, 금지 행동 목록, 필수 에스컬레이션 트리거라는 3가지 핵심 안전장치를 우선 적용한다.

그다음 에이전트의 모든 행동과 결정, 에스컬레이션을 중앙 관측성 플랫폼에 기록한다. 이 데이터는 이상 패턴 감지와 사후 분석의 근거가 된다.

마지막으로 관측 데이터를 이용해 안전이 확인된 작업부터 자율성 수준을 단계적으로 높인다. 자율성 확대를 모델 성능에 대한 기대가 아니라 운영 증거에 근거해 결정하는 방식이다.

2026년 AI 에이전트 설계의 초점은 더 강력한 에이전트에서 더 신뢰할 수 있는 에이전트로 이동하고 있다. 엔터프라이즈 배포를 가로막는 핵심 장벽도 모델 성능의 한계보다 제어 설계의 부재에 가까워졌다. Harness Engineering은 자율성 레벨 매핑, 승인 게이트, 자기 검증 루프, 폴백 체인, 에스컬레이션 정책을 통합해 에이전트의 지능이 조직의 의도와 안전 범위 안에서 작동하도록 만든다. 이러한 통합 설계는 2026년 이후 엔터프라이즈 AI 에이전트 시스템의 필수 아키텍처 구성 요소로 정립될 것이다.