에이전트 컨텍스트를 적시에 조립하는 정보 공급 경로 설계

컨텍스트를 채우는 일이 아니라 공급 경로를 설계하는 일

하네스 프레임워크와 문서 MCP 도구 노출이 확산되면서, 에이전트에 필요한 정보를 전달하는 방식도 달라지고 있다. 프롬프트에 모든 자료를 사전에 넣기보다, 필요한 순간에 도구로 찾아 조립하는 구성이 늘고 있다.

컨텍스트 100만 토큰 모델의 등장으로 자료 전량 투입은 기술적으로 가능해졌다. 그러나 입력 토큰은 그대로 원가가 된다. 맥락이 커질수록 중요한 문장이 방대한 정보 속에 묻혀 정확도가 낮아질 수 있고, 사전에 넣은 정보는 요청 시점의 최신 상태를 반영하지 못한다.

반대로 적시 조회는 최신 자료를 가져올 수 있지만 호출 지연과 실패 지점을 추가한다. 결국 중요한 문제는 무엇을 미리 넣고, 무엇을 불러오며, 실패했을 때 어떻게 답할지를 정하는 것이다.

상시 주입과 적시 조회를 나누는 기준

상시 주입에는 거의 모든 요청에서 반복해서 쓰이는 규약, 역할 정의, 출력 형식이 들어간다. 이 선택은 중요해 보이는지보다 실제 사용 빈도로 판단해야 한다. 상시 항목이 늘어나면 컨텍스트 예산을 계속 점유하기 때문이다.

적시 조회는 문서 검색, 코드 조회, 이력 조회처럼 대상별 도구로 나눈다. 모든 일을 처리하는 단일 조회 도구만 두면 모델이 언제 어떤 도구를 호출해야 하는지 판단할 근거가 약해진다.

도구 설명과 예시에는 조회를 시작할 조건뿐 아니라 조회하지 않아야 하는 경우도 함께 적어야 한다. 불필요한 조회는 지연과 비용을 만든다. 조회 결과는 자료 성격에 따라 캐시 수명을 다르게 두고, 변경이 잦은 자료에 긴 수명을 부여하지 않는다.

컨텍스트 예산 역시 상시 항목, 조회 결과, 대화 이력에 나누어 상한을 둔다. 한 번의 조회 결과가 대화 이력을 밀어내거나, 여러 조회가 같은 내용을 반복해서 넣는 상황을 막아야 한다. 같은 내용은 병합하거나 하나만 남기고, 출처가 다르면 유지하되 내용 동일 여부를 표시한다.

조회가 실패하거나 지연될 때는 대체 응답 경로가 필요하다. 조회에 실패한 사실을 숨긴 채 추측으로 넘어가면 근거 없는 답이 조회 성공 결과처럼 보일 수 있다. 어떤 항목이 어떤 경로로 컨텍스트에 들어왔는지 기록하는 조립 이력도 함께 남겨야 품질 문제를 조립 단계까지 역추적할 수 있다.

⤢✕

운영 정책은 로그와 배포 경로에 연결한다

정보 유형별 실제 참조 빈도는 로그로 확인한다. 상시로 넣어 둔 자료 가운데 거의 사용되지 않는 항목이 많을 수 있으므로, 추정만으로 분류를 고정하면 안 된다.

분류 기준은 사용 빈도와 변경 빈도의 두 축으로 세운다. 자주 사용되고 잘 바뀌지 않는 자료는 상시로 두며, 가끔 필요하거나 자주 바뀌는 자료는 적시 조회로 보낸다. 요청당 허용 조회 횟수와 총 반환 토큰 상한도 정해 둬야 한 요청이 반복 조회로 지연과 비용을 키우지 않는다.

캐시 정책에서는 자료별 수명, 무효화 트리거, 갱신 경로를 함께 정한다. 문서 배포와 캐시 무효화를 연결하지 않으면 수동 무효화는 잊히기 쉽다. 사용자별로 다른 자료가 섞일 수 있는 위험도 캐시 설계에서 다뤄야 한다.

조립 방식을 바꾼 뒤에는 근거 누락률과 오답률의 변화를 관측한다. 원가 절감만 보면 정확도 하락을 놓칠 수 있다. 사용 패턴이 변하면 상시·적시 분류도 정기적으로 갱신해야 한다.

거버넌스 측면에서는 상시 주입 항목 추가를 승인 대상으로 두고, 요청당 평균 조회 수, 조회 실패율, 컨텍스트 토큰 분포를 정기 보고 항목으로 편성한다.

선택지마다 감수해야 할 비용

구분	적시 조립 방식	전량 사전 주입
토큰 원가	낮음	높음
정보 신선도	높음	낮음
실패 지점	증가	없음
지연	조회만큼 증가	일정
누락 위험	있음	없음
구현 복잡도	높음	낮음

적시 조립은 필요한 자료만 넣으므로 입력 원가를 크게 줄이고, 요청 시점의 최신 상태를 반영한다. 중요한 문장이 방대한 맥락에 묻히는 문제도 줄일 수 있다. 대신 조회 실패와 지연이라는 실패 지점이 생기며, 모델이 조회 필요성을 잘못 판단하면 근거 없이 답할 수 있다. 도구 정의와 캐시 정책 역시 계속 관리해야 한다.

전량 사전 주입은 필요한 자료가 항상 자리에 있어 누락이 구조적으로 없고 동작이 예측 가능하다. 구현도 단순하다. 그러나 입력 토큰이 그대로 원가가 되어 트래픽 증가를 감당하기 어려워지고, 자료가 갱신돼도 반영되지 않는다. 맥락이 커질수록 정확도가 오히려 떨어질 수 있다. 캐시 읽기 단가가 낮아진 조건에서는 고정 자료를 상시로 유지하는 부담이 줄었으므로, 변경 빈도로 두 방식을 나누는 편이 합리적이다.

도구 호출 조회는 자료가 바뀌어도 프롬프트를 수정할 필요가 없고, 자격에 따라 조회 범위를 제한할 수 있다. 실제 사용 자료를 로그로 남길 수 있다는 점도 장점이다. 다만 호출마다 지연이 붙고 도구가 내려가면 답변 품질이 즉시 떨어진다. 모델이 도구를 호출하지 않기로 판단하면 자료가 있어도 사용되지 않는다.

프롬프트 상수 삽입은 자료가 항상 확실히 전달되고 지연이나 외부 의존이 없다. 반면 자료가 바뀔 때마다 프롬프트를 배포해야 하며, 자료가 늘수록 프롬프트가 비대해진다. 사용자별 접근 제어도 적용할 수 없다. 변경이 드물고 모든 요청에 필요한 자료는 상수로, 변경이 잦거나 접근 제어가 필요한 자료는 도구로 분리하는 기준이 된다.

캐시는 반복 조회의 지연과 비용을 없애고 외부 도구 부하를 줄인다. 도구 장애가 발생해도 캐시된 자료로 버틸 수 있다. 그러나 자료가 갱신된 뒤에도 오래된 내용이 반환될 수 있고, 무효화 규칙은 복잡해진다. 매번 신규 조회하면 항상 최신 상태를 반영하고 무효화 설계가 필요 없지만, 같은 자료를 반복해서 가져오는 지연과 비용을 감수해야 하며 외부 도구 부하도 커진다. 자료의 변경 빈도에 맞춰 수명을 차등 부여하고 배포 파이프라인에서 무효화를 자동 트리거하는 구성이 신선도와 효율을 함께 확보한다.

검색·성능·통합 관점에서 보는 조립 계층

상시·적시 분류와 조회 트리거 판정은 정보 요구 분석 및 검색 전략 수립에 대응한다. 중복 제거와 출처 병합은 검색 결과를 정제하는 과정이다.

컨텍스트 예산 배분과 조회 횟수 상한은 자원 할당 및 응답 시간 목표 관리에 해당한다. 캐시 수명을 자료별로 다르게 두는 일은 지연과 신선도 사이의 절충을 관리하는 설계다.

조회 도구 정의와 실패 대체 경로는 연계 인터페이스 및 장애 대응 규칙으로 볼 수 있다. 조립 이력 관측은 통합 지점에서 추적성을 확보하기 위한 요건이다.

2026년에 강화되는 조립 계층

컨텍스트 조립 계층은 프롬프트 작성과 구분되는 독립 설계 영역으로 자리 잡는 방향이다. 캐시 읽기 단가 인하가 이어지면서 고정 맥락은 상시로 적재하고 변동 자료는 적시에 조회하는 구성이 표준이 되는 흐름도 나타나고 있다.

조회 실패 시 불확실성을 명시하는 일은 에이전트 응답 품질 요건으로 편입되는 방향이다. 조립 이력은 답변 품질 분석의 1차 데이터로 활용되고, 이를 위한 관측 스키마도 표준화되는 흐름에 있다.