컨텍스트 예산과 선택적 적재로 에이전트 세션 설계하기

컨텍스트 예산, 적시 적재, 요약 계층화, 턴 압축을 결합해 AI 에이전트 세션의 비용과 품질을 관리하는 설계 방법

2026-08-31

Claude Code v2.1.234와 Codex CLI 0.148.0은 2026년 8월 릴리스에서 모두 컨텍스트 경제성을 개선 대상으로 다뤘다. Claude Code는 내장 스킬 하나의 적재 비용을 20만 토큰 이상에서 약 2만 5천 토큰으로 낮췄다. 참조 문서를 처음부터 모두 넣는 대신 필요한 순간에 불러오는 방식으로 바꾼 결과다. 여덟 배 가까운 절감은 알고리즘보다 적재 시점이 비용 구조를 바꿀 수 있음을 보여준다.

컨텍스트 창이 넓어졌다고 해서 모든 자료를 넣는 방식이 적절해지는 것은 아니다. 창을 채울수록 비용과 지연은 커지고, 무관한 맥락은 필요한 정보의 가시성을 떨어뜨린다. 에이전트 세션에서는 무엇을 유지하고, 무엇을 요청 시점에 가져오며, 언제 버릴지를 규칙으로 설계해야 한다.

컨텍스트를 상시 항목과 요청 항목으로 나누기

참조 문서, 스킬 본문, 도구 목록을 항상 세션에 넣지 않고 실제 작업에서 필요해질 때 적재한다. 적재 트리거는 사용자의 명시적 요청과 시스템의 자동 판정으로 구분할 수 있다. 자동 판정이 필요한 자료를 놓치는 경우가 있으므로, 그 오류율은 별도 지표로 관리한다.

파일은 전문·요약·목차의 3계층으로 준비한다. 현재 작업에 맞는 깊이만 적재하고, 요약에는 원문 식별자를 함께 남긴다. 세부 확인이 필요해지면 해당 식별자를 통해 전문으로 확장할 수 있다.

이전 턴도 모두 같은 방식으로 다루면 안 된다. 압축 대상의 나이와 유형을 정하고, 도구 실행 결과와 사용자 지시를 서로 다른 우선순위로 판단한다. 압축할 때는 결정 사항과 그 근거를 남기되, 중간 탐색 과정은 제거한다.

대용량 도구 출력은 전문 대신 요약과 참조 식별자를 보존한다. 동일 도구를 반복 호출한 경우에는 이전 결과를 갱신하는 규칙도 필요하다. 결과를 계속 누적하면 같은 내용이 여러 번 쌓여 컨텍스트를 차지한다.

파일 경로, 문서 식별자, 로그 위치처럼 참조 자체만 세션에 두고 실제 내용은 필요할 때 가져오는 방식도 유효하다. 다만 존재하지 않는 참조가 오래 남지 않도록 식별자의 유효성을 주기적으로 확인해야 한다.

같은 파일이 여러 경로로 들어오는 상황도 감지해야 한다. 프로젝트 지침과 스킬 본문이 같은 내용을 반복하는 경우 역시 정리 대상이다. 중복 지시는 토큰을 소비할 뿐 아니라 서로 충돌할 수 있다.

상시 적재 항목에는 합계 상한을 두고, 초과하면 적재를 거부하거나 항목을 다시 검토한다. 세션 전체 예산과 턴당 예산을 함께 관리해야 한쪽 기준만으로 통제되지 않는 구간을 줄일 수 있다.

압축 뒤에 응답이 과거 결정과 어긋나는 사례는 별도로 수집한다. 압축으로 인한 손실은 정확도 지표보다 모순 발생으로 먼저 나타난다. 반복적으로 손실이 발생하는 항목은 압축 제외 목록에 등록한다.

초과이내필요불필요초과이내발생없음세션 시작상시 적재 항목 (지침 · 도구목록 요약)상시 적재 토큰 상한 이내?적재 거부 · 항목 재검토 진행참조 문서 · 스킬 본문 필요?적시 적재 (식별자 실제내용)식별자만 유지중복 내용 제거도구 결과 보존 범위 적용 (요약+ 참조)턴당 · 세션 토큰 예산 이내?이전 압축 (결정 · 근거 보존)응답 생성압축 이전 결정과 모순 발생?해당 항목 압축 제외 목록 등록

운영 규칙은 측정과 승인 체계에서 시작한다

우선 실제 세션의 턴 수와 누적 토큰 분포를 측정한다. 압축이 발생하는 지점을 알아야 적절한 규칙을 설계할 수 있다. 긴 세션의 비중이 낮더라도 해당 세션이 비용에서 차지하는 비중은 클 수 있으므로, 두 지표는 분리해서 본다.

적재 대상은 항상 필요한 항목, 작업 유형에 따라 필요한 항목, 요청 시에만 필요한 항목으로 분류한다. 분류 근거를 문서화해 새 자료가 추가될 때도 판단 기준이 흔들리지 않게 한다.

요약에는 결정, 제약, 미해결 항목이 반드시 포함되도록 기준을 정한다. 사람이 표본을 검토하는 주기 역시 운영 규칙으로 둔다.

상시 적재 상한을 먼저 결정하고, 남은 공간을 작업 컨텍스트에 배분한다. 상한을 넘는 항목을 추가하려면 다른 항목을 제거하는 조건을 둔다. 압축 규칙을 바꾸기 전후에는 동일 과제를 실행해 결과물을 비교해야 한다. 비용 절감은 바로 보이지만 품질 저하는 늦게 드러난다.

도구 릴리스와 프로젝트 규모 변화에 맞춰 분기 단위로 규칙을 재검토한다. 적재 목록은 자연스럽게 늘어나는 경향이 있으므로, 정기적인 감축 검토가 필요하다. 상시 적재 항목 추가는 승인 대상으로 관리한다. 이 항목들은 모든 세션의 비용에 곱해지기 때문이다. 압축 제외 목록도 증가 추이를 관리해 예외가 끝없이 늘어나는 상황을 막아야 한다.

적시 적재와 전체 주입의 선택 기준

구분 적시 적재 사전 일괄 주입
토큰 비용 낮음 높음
첫 응답 지연 짧음
적재 판정 필요 있음 없음
누락 위험 존재 없음
구현 복잡도 높음 낮음
확장성 항목 수 무관 항목 수 비례

적시 적재는 실제로 쓰이는 자료만 컨텍스트에 남기므로 토큰 비용을 크게 낮추고 첫 응답 지연도 짧다. 참조 항목이 수백 개로 늘어나도 상시 비용은 늘지 않는다. 반면 어떤 자료가 필요한지 판정해야 하며, 판정이 틀리면 필요한 정보를 뺀 채 응답이 생성될 수 있다. 적재를 위한 왕복 때문에 특정 요청의 지연이 늘어날 가능성도 있다.

사전 일괄 주입은 필요한 내용이 이미 컨텍스트에 있어 누락이 구조적으로 발생하지 않고, 판정 로직 없이 응답 과정을 단순하게 구성할 수 있다. 그러나 참조 항목 수에 비례해 세션 비용이 증가한다. 20만 토큰 이상을 상시 점유하는 구성처럼 대부분 사용되지 않는 자료에도 비용을 치르게 되며, 무관한 내용이 필요한 정보의 가시성을 낮춘다. 적재 판정의 오류율을 관리하면서 적시 적재로 이동하는 방향은 실측으로 검증됐다.

요약 압축은 긴 세션에서도 토큰 사용량을 상한 안에 두고, 오래된 탐색 과정을 제거해 최근 맥락을 상대적으로 부각한다. 비용이 세션 길이에 선형으로 증가하지 않는다는 장점도 있다. 다만 이후에 필요한 세부 정보가 사라지면 이전 결정과 모순되는 응답이 나올 수 있고, 무엇이 손실됐는지 모델과 사용자 모두 알기 어렵다.

원문을 유지하면 과거 결정과의 일관성을 보장하고 사후 추적도 정확하다. 대신 토큰 사용은 세션 길이에 비례해 증가하며, 컨텍스트 창 한계에 닿으면 세션이 끊긴다. 결정과 제약은 원문으로 보존하고 중간 탐색 과정만 압축하는 선별 규칙이 두 방식의 성질을 나눠 갖는 방법이다.

긴 컨텍스트 창에 모든 자료를 넣는 방식은 검색 실패라는 실패 모드가 없고 자료 간 상호 참조도 자연스럽다. 구현도 단순하다. 그러나 창이 커질수록 토큰 비용과 지연이 함께 증가하며, 넓은 창에서 특정 정보를 정확히 참조하는 능력은 균일하지 않아 중요한 내용이 묻힐 수 있다.

외부 검색을 결합하면 저장소 규모와 무관하게 상시 비용을 일정하게 유지하고 관련 자료만 좁혀 넣을 수 있다. 자료 갱신도 즉시 반영된다. 대신 검색이 관련 자료를 찾지 못하면 그 정보는 없는 것과 같고, 검색 계층을 유지해야 하며 검색 품질이 전체 응답 품질의 상한이 된다. 자주 쓰이는 소수 자료는 창에 상주시킨 뒤 나머지는 검색으로 접근하는 계층 구성이 두 방식의 실패 모드를 분산한다.

정보 아키텍처와 자원 통제로 보는 컨텍스트 관리

전문·요약·목차의 3계층은 정보 접근 깊이에 따라 자료를 계층화하는 설계다. 참조 식별자만 유지한 채 실제 내용은 지연 로딩하는 방식은 참조 무결성과 적재 시점을 분리하는 문제로 볼 수 있다.

상시 적재 상한과 턴당 예산을 함께 두는 방식은 자원 할당의 상·하한 통제에 해당한다. 압축 손실을 과거 결정과의 모순 발생으로 감시하는 방법은 직접 측정하기 어려운 품질 저하를 대리 지표로 다루는 접근이다.

상시 적재 항목은 모든 세션 비용에 영향을 주므로 고정비 성격의 항목으로 보고 별도 승인 대상으로 관리할 근거가 된다. 도구가 제공하는 실시간 비용 표시를 조직 단위로 집계하면 사용량 기반 원가 관리의 입력으로 활용할 수 있다.

도구가 향하는 컨텍스트 운영 방식

컨텍스트 적재 비용은 도구 릴리스 노트에서 정량 지표로 상시 공개되는 방향이다. 적재 판정을 별도 경량 모델이 맡는 구성은 프레임워크의 기본 요소로 편입되는 흐름에 있다.

압축 규칙과 보존 대상은 프로젝트 설정 파일에 선언형으로 기술되는 방식으로 표준화될 전망이다. 세션 비용 상한을 조직 정책으로 집행하는 기능도 도구에 내장되는 흐름이다.

내장 스킬 하나의 적재 비용을 여덟 배 줄인 변화는 적재 시점을 바꾸는 것만으로도 컨텍스트 비용 구조가 달라질 수 있음을 보여준다. 컨텍스트 창을 크게 확보해도 모든 내용을 채우면 비용과 지연이 늘고 필요한 정보는 묻힌다. 상시 유지할 정보와 요청 시 가져올 정보를 구분하는 규칙, 그리고 압축 후 발생하는 모순을 감시하는 체계가 긴 세션의 품질을 지탱한다.

Sources

컨텍스트 엔지니어링AI 에이전트토큰 예산적시 적재턴 압축