AI 에이전트 설계의 중심, 컨텍스트 엔지니어링

AI 에이전트는 한 번의 질문에 답하는 모델이 아니다. 사용자 요청, 대화 이력, 검색 결과와 외부 지식, 도구의 응답과 권한, 장기 기억, 실행 중인 작업 상태가 바뀔 때마다 제한된 컨텍스트 윈도우 안에 필요한 정보를 조립하며 추론한다. 이 문제를 다루는 방식이 컨텍스트 엔지니어링이다.

2026년 IT·데이터 리더의 82%는 프롬프트 엔지니어링만으로 프로덕션 AI 시스템을 운영하기에 부족하다고 동의한다. Anthropic, Neo4j, deepset 등은 프롬프트 작성만으로는 복잡한 에이전트 시스템을 설명하기 어렵다고 본다. 25년 경력의 소프트웨어 아키텍트 관점에서 보면, 이는 명칭 교체가 아니라 AI 시스템의 설계 단위가 지시문에서 정보 흐름으로 바뀌는 변화다.

단일 프롬프트를 넘어 정보 환경을 설계한다

프롬프트 엔지니어링은 대체로 단일 턴의 지시 표현을 개선하는 데 초점을 둔다. 그러나 멀티턴 에이전트에서는 어떤 단어를 선택했는지만으로 충분하지 않다. 대화 이력, 외부 데이터, 도구 출력이 함께 작동해야 하며, 추론 시점에 필요한 정보도 달라진다.

Anthropic은 2025.09에 *"에이전트 품질은 모델 자체보다 컨텍스트 구조화 방식에 더 많이 의존한다"*고 설명했다. Claude Code 개발 경험에서는 컨텍스트를 무한히 늘릴 수 없는 자원으로 보고 관리하는 전략이 체계화됐다. deepset은 단순한 프롬프트 작성에서 시스템 전체의 정보 환경 설계로 관점이 옮겨간다고 보며, Neo4j는 GraphRAG를 통한 하이브리드 컨텍스트 조달을 제시한다.

관점	프롬프트 엔지니어링	컨텍스트 엔지니어링
핵심 질문	어떤 말을 할까?	무엇을 보여줄까?
주 관심사	지시문(Instruction) 품질	컨텍스트 윈도우 토큰 구성
설계 범위	단일 프롬프트	전체 추론 파이프라인
구성 시점	사전 정의(Static)	런타임 동적 조합(Dynamic)
관련 기술	Few-shot, CoT, ToT	RAG, 메모리, MCP, 에이전트 오케스트레이션

추론 시점에 컨텍스트를 조합하는 방식

JIT(Just-In-Time) 컨텍스트 조합은 데이터를 미리 모두 적재하는 대신, 추론이 필요한 시점에 필요한 정보만 모아 넣는 방식이다.

⤢✕

이 구조에서 외부화(Write)는 모델 컨텍스트 밖의 저장소에 상태를 기록해 인밴드 토큰을 아낀다. 선택(Select)은 외부 저장소에서 관련 정보를 동적으로 찾아 정밀도를 높인다. 압축(Compress)은 누적된 내용을 요약해 예산 안에 유지하면서 핵심을 보존한다. 격리(Isolate)는 작업을 별도 에이전트 또는 프로세스로 나눠 집중할 수 있는 컨텍스트 윈도우를 확보한다.

토큰 예산은 시스템 자원으로 다뤄야 한다

컨텍스트 윈도우는 유한하다. 각 정보 유형에 토큰 예산을 배정하고, 요청의 성격에 따라 그 비중을 조절해야 한다.

⤢✕

지시사항, 직접 관련된 RAG 결과, 최근 이력, 도구 설명 순으로 우선순위를 두고 할당한다. 쿼리 유형에 따라 RAG와 이력의 비중은 동적으로 조정한다. 예산을 넘겼을 때는 LRU(Least Recently Used) 기반 증발(Eviction)을 적용하며, 이력이 25K 토큰을 넘으면 자동 요약 압축을 실행한다.

class ContextBudgetManager:
    def __init__(self, total_tokens: int = 128000):
        self.budgets = {
            "system_instructions": int(total_tokens * 0.08),
            "rag_results": int(total_tokens * 0.30),
            "conversation_history": int(total_tokens * 0.25),
            "inter_agent_results": int(total_tokens * 0.15),
            "tool_descriptions": int(total_tokens * 0.12),
            "response_reserve": int(total_tokens * 0.10),
        }

    def assemble_context(self, components: dict) -> list:
        assembled = []
        for category, content in components.items():
            budget = self.budgets.get(category, 0)
            tokens = count_tokens(content)
            if tokens > budget:
                content = compress_to_budget(content, budget)
            assembled.append({"role": category, "content": content})
        return assembled

RAG와 MCP를 함께 쓰는 컨텍스트 조달

전통적 RAG는 비정형 지식 검색에 강점이 있고, MCP(Model Context Protocol)는 API, DB, 파일시스템의 실시간 데이터에 연결한다. 여기에 그래프 검색과 장기 기억을 더하면 검색 대상과 시점이 다른 정보를 하나의 입력으로 구성할 수 있다.

⤢✕

벡터 검색은 시맨틱 유사도를 바탕으로 개념적 맥락을 찾는다. Neo4j 기반 그래프 검색은 엔티티 관계를 통해 구조적 지식과 추론 경로를 제공한다. MCP의 실시간 호출은 최신 상태를 반영하며, 세 소스의 결과는 하이브리드 재순위로 통합 점수에 따라 정렬된다.

deepset Haystack에서는 검색·라우팅·생성 단계를 모듈형 RAG 파이프라인으로 명시적으로 제어할 수 있다. Agentic RAG는 에이전트 워크플로우에 능동적인 검색 결정을 통합한다. 감사 가능성(Auditability)은 의료·금융·법률 도메인의 컴플라이언스를 지원하며, deepset Enterprise는 관측성(Observability) 레이어를 제공한다.

멀티스테이지 RAG에 재순위와 피드백 루프를 적용한 사례에서는 환각률이 38%에서 6%로 낮아졌다. 도메인 정확도는 파인튜닝과 RAG를 결합했을 때 96%, RAG 단독일 때 89%, 파인튜닝 단독일 때 91%로 제시된다.

멀티에이전트의 공유 범위와 격리 경계

멀티에이전트 시스템에서 모든 작업자가 동일한 컨텍스트를 공유할 필요는 없다. 각 서브에이전트가 독립적인 창에서 검색·분석·작성을 수행하고, 오케스트레이터에는 필요한 결과만 압축해 전달하는 편이 간섭을 줄인다.

⤢✕

각 서브에이전트의 격리(Isolation)는 집중 처리를 돕고, 오케스트레이터로 향하는 결과는 1,000~2,000 토큰으로 요약한다. 공유 컨텍스트 버스는 구조화된 결과 전달 채널이며, 세션을 넘어 상태를 유지하려면 외부 메모리 스토어가 필요하다.

품질은 입력 토큰의 흐름까지 관찰한다

컨텍스트 품질은 최종 답변만으로 판단하기 어렵다. 어떤 정보가 검색됐고, 어떤 정보가 실제 입력에 들어갔으며, 응답이 그 정보에 근거했는지를 함께 추적해야 한다.

지표	설명	목표값
컨텍스트 활용률	입력된 토큰 중 실제 응답에 인용된 비율	≥ 70%
RAG 정밀도	검색된 문서 중 관련 문서 비율	≥ 80%
컨텍스트 오버플로우율	예산 초과 발생 빈도	≤ 5%
응답-컨텍스트 일관성	응답이 제공 컨텍스트에 근거하는 정도	≥ 90%
지연 시간(P95)	컨텍스트 조합 ~ 첫 토큰 생성 시간	≤ 2초
메모리 히트율	장기 메모리에서 유효 정보 검색 비율	≥ 60%

Glass-Box 로깅 레이어는 지시사항, RAG, 이력, 에이전트 간 결과별 토큰 사용량을 기록한다. 검색된 항목과 최종 컨텍스트에 들어간 항목의 관련성 점수를 비교하고, 인용(Citation) 활용률을 측정하며, 컨텍스트 오버플로우 이벤트를 감지해 알린다.

프롬프트·컨텍스트·파인튜닝의 역할 차이

⤢✕

비교 항목	프롬프트 엔지니어링	컨텍스트 엔지니어링	파인튜닝
핵심 목표	지시 표현 최적화	런타임 정보 환경 설계	모델 가중치 도메인 특화
적용 시점	사전 정의	추론 시점 동적	학습 단계
최신 정보 반영	불가	가능 (RAG/MCP)	불가 (재학습 필요)
구현 복잡도	낮음	중~높음	매우 높음
비용	매우 낮음	중간	매우 높음
확장성	제한적	높음	제한적
에이전트 지원	부분적	완전 지원	부분적
ROI	단기 중간	장기 높음	장기 높음 (특화 도메인)

Anthropic의 우선순위는 대부분의 성능 개선을 컨텍스트 구조 최적화에서 먼저 찾는 것이다. 파인튜닝은 컨텍스트 엔지니어링으로 해결되지 않는 도메인 특화 문제의 보완재로 두고, 프롬프트는 컨텍스트 엔지니어링 안의 지시사항 컴포넌트로 통합한다.

조직 역량을 컨텍스트 파이프라인 중심으로 바꾼다

이 변화는 역할 정의에도 영향을 준다. 프롬프트 엔지니어는 벡터DB, 그래프DB, 토큰 예산 관리까지 다루는 컨텍스트 아키텍트로 확장된다. ML 엔지니어는 MCP, 에이전트 오케스트레이션, 메모리 시스템을 다루는 AI 에이전트 엔지니어로, 백엔드 개발자는 RAG 파이프라인과 임베딩·검색 최적화를 맡는 컨텍스트 파이프라인 개발자로 이동한다.

기존 역할	전환 후 역할	추가 역량
프롬프트 엔지니어	컨텍스트 아키텍트	벡터DB, 그래프DB, 토큰 예산 관리
ML 엔지니어	AI 에이전트 엔지니어	MCP, 에이전트 오케스트레이션, 메모리 시스템
백엔드 개발자	컨텍스트 파이프라인 개발자	RAG 파이프라인, 임베딩, 검색 최적화
데이터 엔지니어	지식 파이프라인 엔지니어	지식 그래프, 문서 청킹, 메타데이터 관리
QA 엔지니어	AI 품질 평가 엔지니어	컨텍스트 품질 지표, LLM-as-Judge, 평가 셋 설계

에이전트 워크플로우는 실행 트레이스에서 품질 문제를 찾아 개선 루프로 되돌려야 한다.

⤢✕

이 파이프라인은 LLM-as-Judge로 응답-컨텍스트 일관성을 자동 평가하고, 대표 쿼리 셋을 골든셋 테스트로 회귀 검증한다. 컨텍스트 트레이싱은 각 추론 단계의 토큰 사용을 추적하며, A/B 컨텍스트 실험은 구성 변형 간 성능을 비교한다.

조직 차원의 전환은 12개월 로드맵으로 구성할 수 있다.

단계	기간	핵심 활동	산출물
(1) 기반 구축	1~3개월	벡터DB·임베딩·RAG 기초 교육	파일럿 RAG 파이프라인
(2) 아키텍처 설계	4~6개월	MCP 통합·에이전트 설계 패턴	컨텍스트 아키텍처 문서
(3) 멀티에이전트 확장	7~9개월	에이전트 오케스트레이션·메모리 시스템	프로덕션 에이전트 배포
(4) 거버넌스 정착	10~12개월	컨텍스트 품질 관리·보안·컴플라이언스	운영 표준(SOP)

엔터프라이즈 파이프라인에서는 테넌트별 컨텍스트 격리로 데이터 혼재를 방지하고, 컨텍스트 조합 이력을 완전 기록해 규제 컴플라이언스를 지원해야 한다. 반복 쿼리의 컨텍스트 캐싱은 비용과 지연 시간을 줄이며, RAG가 실패했을 때는 기본 컨텍스트로 안전하게 강등(Graceful Degradation)하는 폴백이 필요하다. 토큰 사용량 대시보드는 부서별 사용량 할당과 최적화에 활용한다.

AI 아키텍처 역량과 연결되는 지점

컨텍스트 엔지니어링은 시스템 아키텍처, 데이터 관리, 품질 관리, 보안 및 거버넌스가 만나는 영역이다.

⤢✕

2026 기술사 시험과의 연계에서는 컨텍스트 윈도우 최적화와 JIT 동적 조합이 시스템 설계 영역에, 벡터 검색·그래프 검색·하이브리드 RAG가 데이터베이스 및 검색 영역에 놓인다. MCP와 멀티에이전트 오케스트레이션은 분산 시스템 설계와 연결되고, 컨텍스트 품질 지표와 평가 자동화는 소프트웨어 품질 영역에 해당한다. 감사 추적, 설명 가능성, 컴플라이언스는 정보 보안 영역의 과제다.

프롬프트 엔지니어링은 여전히 기반이다. 다만 에이전트가 장기 작업을 수행하고 외부 시스템과 상호작용하는 환경에서는, 그 기반 위에 어떤 정보를 언제 가져오고 어떻게 줄이며 어디까지 공유할지를 설계하는 역량이 필요하다. 컨텍스트 엔지니어링은 이를 확장하는 승수(Multiplier)이며, 두 역량의 균형 있는 통합이 2026년 이후 AI 시스템 경쟁력의 핵심이 된다.