AI 에이전트의 정보 환경을 설계하는 컨텍스트 엔지니어링

프롬프트만 다듬어서는 에이전트가 움직이지 않는다

2026년의 AI 에이전트 개발에서 모델에 전달할 문장만 정교하게 만드는 방식은 한계를 드러내고 있다. 산업 조사에서 IT 리더의 82%는 프롬프트 엔지니어링만으로 프로덕션 AI 시스템을 구동하기에 불충분하다고 답했으며, 데이터 팀의 95%는 2026년 안에 컨텍스트 엔지니어링 역량을 내재화하는 데 투자할 계획이다.

프롬프트 엔지니어링이 특정 단어와 지시문을 조정하는 작업이라면, 컨텍스트 엔지니어링은 모델이 추론할 때 접하는 전체 정보 환경을 다룬다. 시스템 프롬프트와 대화 이력은 물론 검색된 문서, 도구 실행 결과, 에이전트 상태, 메모리, 가드레일, 출력 형식 지시까지 설계 범위에 들어간다.

Andrej Karpathy는 2025년 6월 이 개념을 "컨텍스트 창을 다음 단계에 맞는 정보로 채우는 섬세한 기술이자 과학"으로 정의했다. Shopify CEO Tobi Lutke는 "LLM이 해당 작업을 그럴듯하게 해결할 수 있도록 모든 컨텍스트를 제공하는 기술"이라고 보완적으로 정의했다. Anthropic은 2025년 9월 이를 공식화하여 "LLM 추론 중 토큰의 최적 집합을 선별하고 유지하는 전략의 집합"으로 규정했다.

잘 만든 지시문이라도 필요한 정보가 빠지거나 순서가 잘못된 컨텍스트 안에서는 실패한다. 반대로 프롬프트 자체가 다소 거칠더라도 필요한 데이터와 상태가 적절히 배치돼 있으면 성공할 수 있다. 이제 설계 대상은 한 문장이 아니라 AI가 작업을 수행하는 전체 시나리오다.

컨텍스트 창이 수백만 토큰까지 확장된 것도 이런 전환을 밀어붙였다. Gemini 1.5 Pro는 1M, Claude 3는 200K 컨텍스트 창을 제공하면서 프롬프트 기법만으로 얻을 수 있는 한계 효용을 낮췄다. 동시에 에이전트는 멀티스텝 추론, 도구 사용, 외부 데이터 검색을 요구한다. 이 작업들은 체계적인 컨텍스트 관리 없이 이어갈 수 없다. 엔터프라이즈 AI에서 실제 병목은 프롬프트보다 그 주변의 독점 데이터를 어떻게 관리하고 공급하느냐에 가깝다.

에이전트가 보는 정보의 범위를 설계한다

컨텍스트 엔지니어링은 서로 다른 정보원을 하나의 추론 환경으로 묶는다.

시스템 프롬프트에는 역할, 행동 지침, 페르소나처럼 에이전트가 계속 따라야 할 기본 방침을 둔다. 이 부분이 전체 컨텍스트의 골격이다.

RAG(Retrieval-Augmented Generation)는 외부 지식을 현재 작업에 연결한다. 학술적 프로토타입에서 엔터프라이즈 표준으로 확장됐으며, 2026년 하이브리드 검색 도입 의향은 1분기 만에 10.3%에서 33.3%로 3배 증가했다.

메모리는 단기 대화 이력, 벡터 스토어나 에피소드 형태의 장기 기록, 의미론적 지식으로 나누어 관리한다. 여기에 MCP(Model Context Protocol) 도구의 이름, 기능, 파라미터 명세와 실행 결과가 합류한다. 도구 출력은 그대로 쌓는 것이 아니라 다음 추론에서 사용할 수 있는 구조로 주입해야 한다.

멀티스텝 작업에서는 현재 단계와 이전 결정, 진행 상태도 유지해야 한다. 출력 형식과 안전 제약 역시 컨텍스트에 명시적으로 포함된다. 마지막으로 동적 컨텍스트 어셈블리가 추론 시점에 필요한 정보만 선별해 조립한다. 이 JIT(Just-In-Time) 방식은 2026년의 표준으로 자리 잡고 있다.

필요한 순간에 조립하는 JIT 컨텍스트

JIT 컨텍스트 어셈블리는 모든 데이터를 미리 적재하지 않는다. 에이전트가 실행되는 동안 현재 단계에 필요한 컨텍스트 단편을 검색하고, 도구 호출로 데이터를 가져와 그때그때 컨텍스트 창을 구성한다. 데이터를 사전 파이프라인에 넣는 전통적인 RAG와 비교하면 정보 공급 방향이 뒤집힌 구조다.

⤢✕

ITR(Instruction-Tool Retrieval)은 단계마다 최소한의 시스템 프롬프트 단편과 가장 작은 필수 도구 서브셋을 검색한다. 이를 바탕으로 런타임 시스템 프롬프트를 구성하고, 신뢰도 기반 폴백을 갖춘 축소 도구셋을 노출한다(arXiv 2602.17046, 2026년 2월).

JitRL(Just-In-Time Reinforcement Learning)은 추론 시점에 현재 상태와 관련된 궤적을 검색한다. 검색한 궤적으로 이점을 추정하고, KL 정규화 정책 최적화를 목적으로 출력 로짓을 개선한다. 기존 RL 대비 비용을 30배 이상 절감하면서 SOTA 성능을 달성했다(arXiv 2601.18510, 2026년 1월).

ACE(Agentic Context Engineering)는 컨텍스트를 고정된 입력이 아니라 계속 진화하는 플레이북으로 취급한다. 생성, 반성, 큐레이션을 모듈식 프로세스로 연결해 컨텍스트를 축적하고, 필요한 전략을 단계별로 검색한다.

ACDL(Agentic Context Description Language)(arXiv 2605.01920, 2026년 5월)은 멀티턴 에이전트와 LLM의 상호작용에서 컨텍스트가 어떻게 구성되고 변하는지를 기술하는 형식 언어다. 포함할 메시지, 이력의 축적 방식, 콘텐츠가 나타나는 조건을 명세할 수 있다.

1M 토큰 컨텍스트 창이 등장하면서 많은 태스크에서 벡터 DB 검색 파이프라인의 필요성은 줄었다. 다만 컨텍스트가 커졌다고 검색 설계가 사라진 것은 아니다. 6개 차원의 절제 연구에서는 수집 단계를 바꾸는 것보다 검색 단계를 최적화하는 편이 성능에 더 큰 영향을 미쳤다.

RAG는 통합 컨텍스트 레이어로 확장된다

2026년의 RAG는 문서를 검색해 붙이는 단일 단계에 머물지 않는다. Turing Post는 Corrective RAG, Self-RAG, Agentic RAG, Multimodal RAG, Graph RAG, Speculative RAG, Cache-Augmented Generation, Modular RAG, Adaptive RAG 등을 포함해 20종의 RAG 유형을 식별했다. 이 유형들은 증거 관리, 메모리, 모달리티, 구조, 지연 시간, 검증, 신뢰 영역을 포괄하는 도구키트로 쓰인다.

RAG와 에이전트를 연결하려면 메모리를 역할에 따라 나눠야 한다.

계층	역할	저장소
워킹 메모리	즉각적인 대화 + 중요 검색 청크	컨텍스트 창 (인플라이트)
에피소딕 메모리	과거 인터랙션의 압축 요약	벡터 DB / 롤링 버퍼
의미론적 메모리	임베딩된 지식 베이스	장기 벡터 / 그래프 스토어

메모리 관리자는 활성 컨텍스트 창에 남길 정보와 장기 저장소로 페이징할 정보를 조정한다. 이런 역할 때문에 2025-2026년 엔지니어링 담론에서는 "컨텍스트 창이 새로운 RAM"이라는 비유가 널리 쓰였다.

대용량 문서는 소형 모델이 미리 압축해 컨텍스트 창에 넣을 수 있다. 긴 대화는 롤링 요약으로 보존하고, 반드시 유지해야 할 정보는 검색 결과와 무관하게 핀드 메모리로 고정한다. Disco-RAG와 MegaRAG 같은 그래프 기반 검색은 문서 전반의 증거를 연결한다. 부모-자식 슬라이싱은 텍스트, 이미지, 표 주변의 계층적 맥락을 함께 제공한다.

제품에서도 메모리 계층이 별도 기능으로 드러나고 있다. RAGFlow 0.23.0은 AI 에이전트 전용 메모리 모듈을 도입해 태스크와 관련된 과거 경험을 실시간으로 검색하고, 구조화된 지식을 축적하며, 문서 파싱 중 배치 메타데이터를 생성한다.

Redis Iris는 실시간 데이터 수집과 의미론적 인터페이스, Redis Flex 기반 에이전트 메모리 서버를 결합한다. 의미론적 인터페이스는 비즈니스 데이터 모델에서 도구를 자동 생성하며, 전체 제품은 에이전트 컨텍스트 및 메모리 플랫폼으로 출시됐다.

기존 RAG의 비효율은 원시 지식을 해석하고 맥락화하는 추론이 세션마다 쿼리 시점에 반복된다는 데 있다. 이 과정은 같은 지식을 다시 처리하면서 토큰을 소비한다. 2026년의 신규 접근법은 에이전트 쿼리 전에 컴파일 단계를 한 번 실행하고 재사용 가능한 지식 아티팩트를 저장한다. 에이전트는 원시 문서 대신 구조화된 태스크 준비 컨텍스트를 받는다.

LLM을 CPU로 보면 운영 책임이 선명해진다

컨텍스트 엔지니어링은 운영체제에 빗대면 이해하기 쉽다. LLM은 CPU, 컨텍스트 창은 RAM 또는 워킹 메모리에 해당한다. 컨텍스트 엔진은 각 태스크에 필요한 코드와 데이터를 워킹 메모리에 적재하는 OS 역할을 맡는다.

⤢✕

이 구조를 운영하려면 먼저 현재 태스크와 관련된 정보를 여러 소스에서 실시간으로 검색해야 한다. 밀집 벡터, 희소 키워드, 그래프를 결합한 하이브리드 검색이 표준 접근법이다.

검색 결과를 모두 컨텍스트 창에 넣을 수는 없다. 관련성, 신선도, 중요도를 기준으로 청크를 선택하고 우선순위를 정해야 한다. 시스템 프롬프트, 검색 결과, 대화 이력, 도구 출력 사이에서 토큰 예산도 배분한다.

한도에 가까워지면 기존 컨텍스트를 요약하거나 중요도가 낮은 내용을 제거해 공간을 확보한다. Anthropic이 선호하는 패턴은 에이전트가 필요할 때 저장하고 다시 읽는 파일시스템 기반 방식이다. 마크다운 파일을 사용하는 이 방식은 SaaS 에이전트 사례에서 벡터 DB 기반보다 실용적이다.

연구는 메모리와 장기 실행으로 넓어지고 있다

2025-2026년 사이 컨텍스트 엔지니어링은 독립적인 연구 분야로 빠르게 성장했다.

"A Survey of Context Engineering for Large Language Models"(arXiv 2507.13334, 2025)는 이 분야를 체계화한 첫 서베이다. "Context Engineering: From Prompts to Corporate Multi-Agent Architecture"(arXiv 2603.09619, 2026)는 엔터프라이즈 멀티에이전트 아키텍처로 범위를 확장한다. "Context Engineering: A Practitioner Methodology for Structured Human-AI Collaboration"(arXiv 2604.04258, 2026)은 실무자를 위한 방법론을 제시한다.

LOCA-bench(arXiv 2602.07962)는 통제 가능하면서도 극단적으로 컨텍스트가 성장하는 조건에서 언어 에이전트를 평가한다. 환경 탐색, 지시 수행, 유용한 정보 추출과 함께 동적으로 커지는 컨텍스트에서 올바른 행동을 예측할 수 있는지를 측정한다.

"Memory for Autonomous LLM Agents: Mechanisms, Evaluation, and Emerging Frontiers"(arXiv 2603.07670)는 현대 에이전트의 메모리 설계와 구현, 평가를 종합한다. 단기 인컨텍스트 메모리와 선택적으로 검색할 수 있는 장기 외부 메모리, 멀티에이전트 메모리 시스템의 공동 최적화(arXiv 2603.12631)를 포함한다.

Continuum Memory Architectures(arXiv 2601.09913, 2026년 1월)는 영속적인 워킹 상태를 갖춘 장기 수평 LLM 에이전트 아키텍처를 제시한다. Cognitive Workspace(arXiv 2508.13171, 2025)는 의도적 큐레이션과 태스크 기반 컨텍스트 최적화를 이용한 능동적 메모리 관리를 다룬다.

Gartner는 2026년을 "컨텍스트의 해"로 선언하고, 컨텍스트가 엔터프라이즈 AI의 기본 아키텍처 레이어가 될 것으로 예측했다. VentureBeat의 Q1 2026 RAG 인프라 시장 트래커에서는 검색 최적화 투자가 1분기 동안 19%에서 28.9%로 증가해 처음으로 평가 지출을 추월했다.

역량은 검색·메모리·상태 운영에서 쌓인다

컨텍스트 엔지니어링을 시스템에 적용하려면 LLM의 컨텍스트 창 메커니즘, 토큰화, 주의 패턴부터 이해해야 한다. "컨텍스트 창 = RAM"이라는 멘탈 모델은 이후 설계 판단의 기준이 된다.

검색 파이프라인은 단순 벡터 유사도 검색에서 밀집·희소·그래프를 결합한 하이브리드 검색으로 확장한다. 쿼리 재작성, 리랭킹, 신뢰도 기반 필터링도 같은 파이프라인 안에서 다룬다.

메모리는 워킹, 에피소딕, 의미론적 계층으로 나누되 애플리케이션의 작업 특성에 맞춰 구현해야 한다. 롤링 요약과 핀드 메모리, Parent-Child 청킹 전략은 이 계층 사이에서 무엇을 유지하고 검색할지 조절하는 수단이다.

런타임에는 관련 시스템 프롬프트 단편과 도구 서브셋을 선택하는 ITR 패턴을 적용할 수 있다. 토큰 예산 관리자는 암묵적인 규칙이 아니라 명시적인 컴포넌트로 설계한다. MCP 기반 도구 설명을 표준화하고 도구 실행 결과를 구조화된 컨텍스트로 주입하는 패턴도 함께 정립해야 한다.

운영 단계에서는 관련성, 중복 제거율, 토큰 효율성과 같은 컨텍스트 품질 지표를 정의하고 프로덕션 모니터링에 연결한다. 모델 응답만 관찰해서는 검색 실패, 메모리 누락, 도구 상태 오염을 구분하기 어렵기 때문이다.

실습 자료로는 GitHub의 davidkimai/Context-Engineering 저장소가 있다. Karpathy의 영감을 바탕으로 프롬프트 엔지니어링을 넘어 컨텍스트 설계, 오케스트레이션, 최적화로 확장하는 퍼스트프린시플 핸드북을 제공한다. LangChain 블로그의 "Context Engineering for Agents"도 에이전트 개발자를 위한 실용적 가이드로 참고할 수 있다.

AI 에이전트의 품질은 더 이상 프롬프트 한 줄만으로 설명되지 않는다. JIT 컨텍스트 어셈블리, 계층형 메모리, 하이브리드 RAG를 연결해 모델이 무엇을 보고 기억하며 다음 단계로 넘길지를 설계해야 한다. 컨텍스트 엔지니어링은 이 정보 생태계를 운영 가능한 시스템으로 만드는 아키텍처 실천이다.