프롬프트 엔지니어링 다음은 컨텍스트 엔지니어링이다 — 에이전틱 AI의 런타임 조립 설계

에이전틱 AI(Agentic AI)가 단순한 챗봇을 넘어 복잡한 멀티스텝 작업을 자율적으로 수행하는 시대로 접어들면서, AI 시스템의 성능을 결정짓는 핵심 역량이 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로 옮겨가고 있다. VentureBeat를 비롯한 주요 기술 매체의 심층 분석에 따르면, 에이전트가 정확한 타이밍에 올바른 컨텍스트를 제공받느냐가 작업 성공률을 좌우하는 핵심 변수로 떠올랐다. 컨텍스트 엔지니어링은 더 나은 지시문을 쓰는 기술이 아니라, AI 에이전트의 추론 과정 전반에서 필요한 정보를 적시에 조립하고 제공하는 시스템 설계 철학이다.

정적 텍스트 최적화만으로는 막히는 지점

프롬프트 엔지니어링은 LLM이 대중화된 초창기에 AI 활용의 핵심 역량으로 주목받았다. 잘 설계된 프롬프트 하나가 출력 품질을 극적으로 개선할 수 있었고 "프롬프트 엔지니어"라는 직군까지 등장했다. 그러나 에이전틱 AI 시스템이 확산되면서 프롬프트 엔지니어링만으로는 풀리지 않는 한계가 드러났다.

단일 대화 세션에서 정적인 지시문을 최적화하는 것과, 수십 개의 도구 호출과 다중 에이전트 협업을 포함하는 장기 작업에서 매 단계 적절한 정보를 동적으로 제공하는 것은 본질적으로 다른 문제다. 에이전트가 작업을 진행하며 새로운 정보를 발견하고 중간 결과로 다음 행동을 결정하며 외부 시스템과 상호작용하는 동안 컨텍스트는 끊임없이 바뀐다. 이 변화하는 컨텍스트를 체계적으로 관리하지 못하면 에이전트는 방향을 잃거나 중복 작업을 반복하거나 잘못된 전제 위에서 추론을 이어가는 오류에 빠진다.

컨텍스트 엔지니어링(Context Engineering)은 AI 에이전트가 각 추론 단계에서 필요로 하는 정보를 정확히 선별하고 구조화해 컨텍스트 윈도우에 제공하는 시스템 설계 학문이다. 더 많은 정보를 넣는 것이 아니라 올바른 정보를 올바른 형식으로 올바른 시점에 제공하는 정밀도의 문제라는 점이 핵심이다. Andrej Karpathy가 "컨텍스트 엔지니어링은 새로운 프롬프트 엔지니어링"이라 언급한 뒤 업계 전반에서 이 개념에 대한 관심이 폭발적으로 늘었다. LLM 자체의 파라미터를 바꾸지 않고도 컨텍스트 윈도우에 무엇을 어떻게 채우느냐로 에이전트의 행동과 성능을 근본적으로 제어할 수 있다는 것이 핵심 아이디어다.

프롬프트 엔지니어링과 컨텍스트 엔지니어링의 차이는 다음과 같이 대비된다.

구분	프롬프트 엔지니어링	컨텍스트 엔지니어링
접근 방식	사전 정의된 정적 텍스트 최적화	런타임에 동적으로 컨텍스트 조립
적용 범위	단일 요청-응답 사이클	멀티스텝 에이전틱 워크플로우
정보 소스	프롬프트 작성자의 사전 지식	메모리, 도구, 검색, 대화 이력 등 복합 소스
핵심 역량	언어적 표현력과 지시 명확성	시스템 아키텍처 설계와 정보 흐름 제어
스케일 한계	컨텍스트 복잡도가 올라갈수록 관리 불가	시스템적으로 확장 가능한 구조

프롬프트에서 RAG를 거쳐 능동적 도구 선택으로

에이전틱 AI의 컨텍스트 제공 방식은 세 단계를 거쳐 진화해왔다.

초기 LLM 활용은 필요한 정보를 프롬프트에 직접 담는 방식이었다. 역할 지정, 작업 지시, 예시, 출력 형식을 하나의 긴 텍스트 블록으로 작성했다. 단순한 작업에서는 효과적이지만 작업이 복잡해질수록 프롬프트가 비대해지고 토큰 비용이 급증하며 관련 없는 정보가 추론을 방해했다.

Retrieval-Augmented Generation(RAG)은 모든 정보를 프롬프트에 넣는 대신 쿼리와 관련성 높은 문서를 동적으로 검색해 컨텍스트에 추가하는 방식이다. 컨텍스트 윈도우를 효율적으로 쓰고 최신 정보를 반영할 수 있게 됐지만, 단순 벡터 유사도 검색은 복잡한 다단계 추론에서 필요한 정보를 누락하거나 관련성 낮은 문서를 포함시키는 한계를 드러냈다.

Anthropic이 발표한 Model Context Protocol(MCP)은 에이전트가 표준화된 인터페이스로 다양한 외부 도구·데이터 소스에 접근하고 필요한 정보를 능동적으로 수집하게 하는 프레임워크다. MCP 기반 시스템에서 에이전트는 주어진 컨텍스트를 소비하는 데 그치지 않고, 작업에 필요한 정보를 스스로 판단해 도구를 호출하며 컨텍스트를 능동적으로 구성한다 — 컨텍스트 엔지니어링의 완성형이다.

⤢✕

컨텍스트 윈도우를 채우는 구성요소들

시스템 프롬프트는 컨텍스트 엔지니어링의 가장 기본적인 요소다. "당신은 도움이 되는 AI입니다" 수준의 일반적 지시를 넘어, 에이전트의 역할·작업 범위·의사결정 원칙·도구 사용 가이드라인·에러 처리 방식을 구체적으로 정의한다. 효과적인 설계 원칙은 에이전트의 역할과 권한 범위를 명시하는 역할 명확성, 상충되는 지시가 발생할 때의 우선순위 규칙을 사전 정의하는 행동 우선순위, 각 도구를 어떤 상황에서 써야 하는지 명시하는 도구 사용 가이드라인, 도구 호출 실패·예상치 못한 입력에 대응하는 실패 처리 전략, 다운스트림 파이프라인과의 호환을 보장하는 출력 형식 표준이다.

Few-shot 예시는 LLM이 작업 패턴을 이해하고 올바른 형식으로 출력하도록 유도하는 도구지만, 컨텍스트 엔지니어링에서는 고정된 예시 셋을 항상 포함시키지 않고 현재 요청과 가장 관련성 높은 예시를 동적으로 선택한다. 선택 기준은 벡터 검색으로 현재 요청과 유사한 사례를 고르는 의미적 유사성, 일반적 성공 사례 외에 예외 상황 처리 예시를 포함하는 엣지 케이스 커버리지, 편향을 방지하기 위한 다양성 보장, 컨텍스트 윈도우 한계 내에서 유용한 예시를 선별하는 토큰 예산 관리다.

에이전트가 사용할 도구의 정의와 인터페이스 설계는 컨텍스트 엔지니어링에서 가장 중요한 부분 중 하나다. LLM은 도구의 이름·설명·파라미터 스펙을 읽고 어떤 도구를 어떻게 써야 하는지 판단하므로, 툴 스펙 작성의 품질이 에이전트 성능을 직접 결정한다. 도구가 무엇을 하고 언제 써야 하는지 자연어로 명시하는 명확한 기능 설명, 각 파라미터의 역할·타입·허용 값 범위를 명시하는 파라미터 의미 명확화, 도구 설명 안에 적절한 사용 예시를 넣는 사용 사례 예시, 도구들이 조합되는 워크플로우를 명시하는 도구 간 관계 명시, 도구가 실패할 수 있는 상황과 대안을 적어두는 에러 케이스 문서화가 설계 원칙이다.

에이전틱 AI 시스템의 메모리는 단일 레이어가 아니라 서로 다른 시간적 범위와 접근 패턴을 가진 여러 계층으로 구성되며, 컨텍스트 엔지니어링은 적절한 메모리 레이어에서 올바른 정보를 검색해 컨텍스트에 통합하는 역할을 맡는다.

⤢✕

인컨텍스트 메모리는 현재 컨텍스트 윈도우 내의 대화 이력과 중간 결과물이고, 에피소딕 메모리는 과거 세션에서 수행된 작업의 이력·결과를 저장하는 외부 저장소다. 시맨틱 메모리는 도메인 지식·사실 정보·조직 정책을 저장하는 지식 베이스이며, 절차적 메모리는 반복적으로 수행되는 작업 패턴과 성공한 워크플로우 템플릿이다.

RAG는 컨텍스트 엔지니어링의 핵심 구성요소지만 단순한 벡터 검색을 넘어 정교한 파이프라인으로 발전하고 있다. 현대적인 RAG 파이프라인은 사용자 의도를 파악해 검색에 최적화된 쿼리로 다시 쓰는 쿼리 변환, 밀집 벡터 검색과 희소 키워드 검색을 결합하는 하이브리드 검색, 초기 검색 결과를 컨텍스트 관련성 기준으로 재정렬하는 리랭킹, 검색된 문서를 컨텍스트 윈도우에 맞게 나누는 청크 최적화, 검색된 정보의 출처와 신뢰도를 메타데이터로 관리하는 출처 추적 단계를 포함한다.

런타임에 컨텍스트를 조립하는 오케스트레이터

컨텍스트 엔지니어링의 핵심은 에이전트가 각 추론 단계에서 최적의 컨텍스트를 동적으로 조립하는 과정이며, 이는 컨텍스트 오케스트레이터(Context Orchestrator)라는 개념으로 구현될 수 있다.

⤢✕

이 아키텍처에서 컨텍스트 오케스트레이터는 전체 컨텍스트가 모델의 윈도우 한계를 넘지 않도록 조율하는 토큰 예산 관리, 제한된 토큰 예산 안에서 가장 중요한 정보를 우선 포함하는 정보 우선순위 결정, 서로 모순되는 정보가 동시에 들어가지 않도록 하는 컨텍스트 일관성 보장, 자주 쓰이는 컨텍스트 구성요소를 캐싱해 지연 시간을 줄이는 캐싱 전략 적용을 수행한다.

컨텍스트 윈도우를 관리하는 압축과 우선순위 전략

최신 LLM은 수십만에서 수백만 토큰의 컨텍스트 윈도우를 지원하지만, 긴 컨텍스트가 곧 더 나은 성능을 뜻하지는 않는다. LLM은 컨텍스트의 앞뒤에 있는 정보를 중간 부분보다 더 잘 활용하는 "lost in the middle" 현상을 보이며, 관련 없는 정보가 컨텍스트에 섞일수록 추론 품질이 떨어진다.

컨텍스트 압축은 정보 손실을 최소화하면서 토큰 수를 줄이는 기술이다. 긴 대화 이력이나 문서를 핵심 내용만 뽑아 요약하는 요약 기반 압축, 전체 문서 대신 관련성 높은 청크만 선택적으로 담는 선택적 청크 포함, 여러 출처의 유사 정보가 중복 포함되는 것을 막는 중복 제거, 자연어 설명 대신 JSON·표·목록처럼 정보 밀도가 높은 형식을 쓰는 구조화된 표현이 있다.

컨텍스트 윈도우가 한계에 근접할 때는 어떤 정보를 유지하고 제거할지 정하는 정책이 필요하다. 오래된 대화 이력보다 최근 정보를 우선 보존하는 최신성 우선, 현재 작업과 관련성 낮은 정보를 먼저 제거하는 관련성 우선, 작업 완료에 필수적인 사실 정보는 압축 후에도 반드시 보존하는 핵심 사실 보존, 각 컨텍스트 요소의 중요도·관련성을 메타데이터로 관리하는 메타데이터 활용이 그 기준이다.

기업 환경에서 필요한 감사와 보안 계층

기업이 에이전틱 AI를 배포할 때는 개별 에이전트의 성능 최적화를 넘어 조직 전체 수준의 컨텍스트 거버넌스가 필요하다. 컨텍스트 거버넌스는 에이전트가 접근할 수 있는 정보 범위, 컨텍스트 사용 이력의 감사 가능성, 민감 정보 보호를 시스템적으로 보장하는 체계다.

엔터프라이즈 환경에서는 에이전트가 어떤 컨텍스트를 근거로 특정 결정을 내렸는지 추적하고 감사할 수 있어야 한다. 각 추론 단계에서 실제로 사용된 컨텍스트를 로깅하는 컨텍스트 스냅샷, 에이전트의 행동과 그 행동을 유발한 컨텍스트 요소를 연결하는 결정 추적성, 시스템 프롬프트와 툴 스펙의 변경 이력을 관리하는 컨텍스트 버전 관리, 비정상적인 컨텍스트 패턴이나 예상치 못한 도구 사용을 감시하는 이상 탐지가 필요하다.

에이전트가 다양한 데이터 소스에서 컨텍스트를 조립하는 과정에서 민감한 정보가 의도치 않게 노출되거나 남용될 위험도 있다. 현재 작업에 필요한 최소한의 정보에만 접근하도록 제한하는 최소 권한 원칙, 서로 다른 사용자나 부서의 컨텍스트가 섞이지 않도록 하는 컨텍스트 격리, RAG 검색 결과에서 개인식별정보를 자동으로 마스킹하는 PII 필터링, 악의적인 입력이 시스템 프롬프트를 오염시키는 공격을 막는 프롬프트 인젝션 방어가 대응 축이다.

실전에서 검증된 조립 패턴

실제 에이전틱 AI 시스템을 구축할 때 적용할 수 있는 패턴 몇 가지가 있다. 계층적 컨텍스트 구성 패턴은 컨텍스트를 불변 레이어(시스템 정체성)·준불변 레이어(도메인 지식)·동적 레이어(세션 상태)·임시 레이어(현재 작업 데이터)로 나눠 관리한다. 각 레이어의 업데이트 빈도와 중요도가 다르므로 계층화를 통해 캐싱 효율성을 높이고 관리 복잡도를 줄일 수 있다.

컨텍스트 체인 패턴은 멀티에이전트 워크플로우에서 각 에이전트가 이전 에이전트의 출력을 구조화된 컨텍스트로 전달받는 방식이다. 자유 형식 텍스트 대신 JSON 스키마로 에이전트 간 컨텍스트를 정의하면 파싱 오류를 막고 타입 안전성을 보장할 수 있다.

적응형 컨텍스트 압축 패턴은 작업이 진행되며 더 이상 필요 없는 상세 컨텍스트를 점진적으로 요약으로 대체하는 방식이다. 초기 단계의 상세한 계획 문서는 실행 단계에서 핵심 결정 사항만 추출한 요약으로 압축되어 컨텍스트 윈도우 여유 공간을 확보한다.

도구 선택 컨텍스트 패턴은 에이전트가 수십~수백 개의 도구 중 현재 작업에 적합한 것을 고를 때, 전체 툴 스펙을 한꺼번에 제공하는 대신 작업 유형과 현재 상태를 기준으로 관련 도구 스펙만 동적으로 필터링해 제공한다.

컨텍스트 엔지니어링은 에이전틱 AI가 복잡한 실제 문제를 풀기 위한 필수 설계 패러다임으로 자리 잡았으며, 단순한 프롬프트 최적화를 넘어 AI 시스템 아키텍처 전반을 아우르는 공학 분야로 발전하고 있다. 시스템 프롬프트·인컨텍스트 학습·툴 스펙·메모리 레이어·RAG 파이프라인을 유기적으로 통합하고 런타임에 동적으로 조립하는 능력이 에이전틱 AI의 핵심 경쟁력이 될 것이며, 여기에 엔터프라이즈 거버넌스와 멀티모달 컨텍스트, 실시간 컨텍스트 적응이 더해지는 영역으로 확장될 것이다.