Agentic RAG를 위한 컨텍스트 아키텍처와 하이브리드 검색

고정 검색 파이프라인이 막히는 지점

VentureBeat 보도에 따르면 2026년 Q1 동안 엔터프라이즈의 하이브리드 검색 도입 의향은 10.3%에서 33.3%로 3배 이상 증가했다. 배경에는 에이전트 기반 AI가 인간보다 수십 배 많은 데이터 요청을 생성하면서 드러난 기존 RAG(Retrieval-Augmented Generation)의 구조적 한계가 있다.

이 문제에 대응하는 컨텍스트 아키텍처(Context Architecture)는 벡터 검색 결과를 한 번 전달하는 데서 멈추지 않는다. 런타임 동적 조립과 하이브리드 검색, 다중 홉 추론을 연결해 에이전트가 현재 작업에 필요한 맥락을 구성한다. 이러한 Agentic RAG 시장은 2024년 $38억에서 2034년 $1,650억 규모로 성장할 것으로 전망된다.

요청 시점에 컨텍스트를 조립한다

컨텍스트 아키텍처는 정적 프롬프트 템플릿에 정보를 미리 채우는 대신 요청 시점(Just-In-Time)에 필요한 컨텍스트를 조립하는 설계 패러다임이다. 기존 RAG가 입력 쿼리를 고정된 검색 파이프라인으로 처리한다면, 이 구조는 에이전트의 태스크 상태와 사용자 의도, 가용 토큰 예산을 런타임에 분석한다.

JIT(Just-In-Time) 검색에서는 전체 문서를 미리 불러오지 않는다. 에이전트가 추론하는 각 단계에서 실제로 필요한 청크만 가져와 토큰 소비를 줄인다.

현재 목표와 중간 결과, 남은 태스크는 청크의 관련도와 우선순위를 결정하는 신호가 된다. 검색은 문서 요약에서 섹션, 단락으로 내려가며 필요한 세부 수준까지만 범위를 좁힌다. 이전 단계에서 가져온 청크는 세션 캐시에 보관해 같은 정보를 다시 검색하는 비용을 없앨 수 있다. 다음 추론 단계에 필요할 가능성이 높은 청크는 선제적 프리페치(Prefetch) 대상으로 삼는다.

⤢✕

의미와 구조를 함께 검색하는 이유

엔터프라이즈 데이터는 순수 벡터 유사도만으로 다루기 어렵다. 코드와 수식, 고유명사처럼 어휘적 일치가 중요한 정보가 있고, 문서 유형이나 보안 등급처럼 검색 전에 적용해야 할 구조적 조건도 있기 때문이다.

하이브리드 임베딩은 의미(Semantic) 벡터와 어휘(Lexical) 키워드를 함께 사용한다. 문서 타입, 날짜, 작성자, 부서, 보안 등급 등의 메타데이터 필터를 먼저 적용하면 의미 검색이 탐색할 공간도 줄일 수 있다.

후보 청크를 좁힌 뒤에는 교차 인코더가 쿼리와 문서의 관련도를 다시 계산한다. 양방향 어텐션(Bi-encoder)으로 후보를 추리고 교차 인코더(Cross-encoder)로 쿼리-문서 쌍을 세밀하게 평가하는 방식이다. Named Entity Recognition으로 쿼리 안의 제품명, 인물, 기간 등을 식별하면 해당 엔티티와 일치하는 청크를 우선 선별할 수 있다.

토큰 예산도 실행 상태로 관리한다

여러 도구를 순차 또는 병렬로 호출하는 에이전트에서는 컨텍스트 윈도우 소진이 빈번한 실패 원인이 된다. 따라서 토큰 예산은 검색이 끝난 뒤 확인할 부가 지표가 아니라 전체 실행 주기에서 관리할 자원에 가깝다.

예산 할당 레지스트리는 시스템 프롬프트, 도구 정의, 히스토리, 검색 컨텍스트, 출력 예약에 쓸 토큰을 나누고 런타임 사용량을 추적한다. 사용 토큰이 임계값인 예시 80%를 넘으면 히스토리 요약과 청크 압축, 중복 제거를 실행할 수 있다. 그래도 예산을 초과하면 관련도 점수가 낮은 청크부터 제거해 중요한 정보를 남긴다.

모델별 컨텍스트 크기도 같은 레지스트리에서 다룬다. Claude 3.7(200K)과 Gemini 2.5 Pro(1M)처럼 모델별 최대 컨텍스트 크기를 등록하고 태스크 복잡도에 맞는 모델을 선택하는 구조다.

벡터와 키워드 결과를 한 경로로 합친다

하이브리드 검색은 벡터 기반 의미 검색과 BM25 계열 키워드 검색을 병렬 실행한 뒤 결과를 융합한다. 단일 검색 방식보다 정밀도(Precision)와 재현율(Recall)을 함께 개선하며, 법률·의학·금융 같은 전문 도메인에서 특히 효과가 두드러진다.

⤢✕

RRF(Reciprocal Rank Fusion)는 각 검색 결과의 순위를 역수 합산해 하나로 합친다. 개별 점수의 크기가 아니라 순위를 사용하므로 검색 방식마다 다른 점수 분포를 직접 맞출 필요가 없다.

벡터와 키워드 결과에 적용할 가중치는 쿼리 성격에 따라 런타임에 조정할 수 있다. 사실 조회, 개념 이해, 코드 검색은 서로 다른 비중이 필요하다. 두 검색은 비동기로 동시에 실행하고 결과가 모두 도착한 뒤 융합해 추가 지연(Latency)을 줄인다. SPLADE와 ColBERT처럼 희소(Sparse) 신경망 표현과 밀집(Dense) 임베딩을 단일 인덱스에서 결합하는 접근도 여기에 포함된다.

리랭킹 뒤에 그래프 추론을 연결한다

Agentic RAG에서는 1차 검색으로 후보를 넓게 모으고 2차 리랭킹으로 정밀도를 높인 뒤, 지식 그래프(Knowledge Graph)로 암묵적 관계를 보완하는 3단계 파이프라인이 핵심 설계 패턴으로 자리 잡고 있다.

교차 인코더는 쿼리와 각 후보 청크를 쌍으로 입력해 세밀한 관련도 점수를 산출한다. 그다음 검색 결과에 포함된 엔티티를 지식 그래프 노드에서 찾아 직접 언급되지 않은 관련 엔티티와 관계를 컨텍스트에 추가한다.

GraphRAG를 통합할 때는 Microsoft GraphRAG 방식처럼 문서 컬렉션의 커뮤니티 요약을 미리 만들고, 전역 질의(Global Query)에서 이를 1차 검색 결과로 활용할 수 있다. 시계열 데이터와 이벤트 로그의 원인-결과 관계를 그래프로 모델링하면 “왜?”라는 질문에 필요한 설명도 보완할 수 있다.

문서 경계와 추론 단계에 맞춰 청크를 바꾼다

고정 크기 청킹은 문서의 의미적 경계를 무시해 정보가 중간에서 끊길 수 있다. 적응형 청킹은 문서 구조와 의미 유사도, 사용 목적에 따라 청크 크기와 경계를 정한다.

연속된 문장의 임베딩 유사도가 임계값 아래로 떨어지는 지점을 경계로 삼고 단락과 섹션 헤더를 추가 신호로 사용할 수 있다. 문서 전체 요약, 섹션 요약, 세부 청크로 이어지는 3계층 구조를 만들면 쿼리 복잡도에 맞춰 검색 계층을 고를 수 있다.

한 번의 검색으로 답할 수 없는 질문은 여러 검색 단계로 나눈다. 각 홉에서 찾은 결과는 다음 홉의 쿼리 조건이 되며, 필요한 정보를 점진적으로 조립한다. 자기 반성 검색(Self-Reflective Retrieval)은 현재 컨텍스트만으로 답할 수 있는지 에이전트가 평가하고, 정보가 부족하면 추가 검색을 실행하는 반복 구조다.

Agentic RAG 확산을 밀어 올리는 부하

Agentic RAG 시장은 2024년 약 $38억에서 2034년 $1,650억으로 연평균 43% 이상 성장할 것으로 전망된다. 핵심 동인은 AI 에이전트가 생성하는 데이터 요청의 증가다.

에이전트 워크플로우에서는 사용자 요청 하나가 수백 건의 하위 데이터 요청으로 나뉜다. 인간 사용자가 하루 평균 수십 건의 검색을 수행하는 데 비해 에이전트는 같은 작업에서 수천 건의 검색을 실행할 수 있다. 이 부하를 감당하려면 검색 정밀도와 지연, 비용을 함께 최적화해야 하며 하이브리드 검색과 컨텍스트 아키텍처가 현실적인 해답으로 부상했다.

복수의 에이전트가 같은 지식 베이스에 동시에 접근하면서 고성능 분산 검색 인프라 수요도 커지고 있다. 검색 대상은 정적 문서 컬렉션을 넘어 뉴스, 시장 데이터, 센서 피드 같은 실시간 스트리밍 데이터로 확장된다. 금융·의료·법률 분야에서는 AI 응답의 출처 추적과 감사 요구가 강화되면서 검색 근거를 기록하는 기능도 필수화되고 있다.

기존 RAG에서 전환 압력이 생기는 구조

1세대 RAG는 단일 라운드 검색과 고정 청크 크기, 정적 임베딩으로 구성된 단순한 파이프라인이다. 프로토타입에는 유효하지만 에이전트 환경의 복잡한 검색과 반복 추론을 처리하기 어렵다.

⤢✕

검색 단계와 생성 단계가 완전히 분리된 구조에서는 생성 모델이 필요한 정보를 검색 과정에 되돌려 줄 수 없다. 부정확한 청크가 컨텍스트에 들어오면 에이전트가 이를 사실로 받아들이고 이후 추론에 오류가 연쇄적으로 전파되는 cascade failure도 발생할 수 있다. 수천 건의 동시 에이전트 요청을 단일 벡터 DB에서 처리하면 지연과 비용이 선형 이상으로 증가하는 확장성 병목도 생긴다.

기존 인프라를 유지하며 검색 계층을 전환한다

하이브리드 검색 도입 의향이 10.3%에서 33.3%로 3배 급증한 배경에는 개념 증명(PoC)을 마친 기업이 프로덕션 전환을 본격화하는 시장 성숙 단계가 있다.

전환 과정에서 기존 벡터 DB를 바로 교체할 필요는 없다. 벡터 검색 인프라를 유지하면서 Elasticsearch나 OpenSearch를 키워드 검색 계층으로 추가하면 비파괴적으로 전환할 수 있다. 법률 문서 검색, 코드 검색, 재무 데이터 분석처럼 전환 ROI가 명확한 업무부터 적용하면 내부 설득 근거를 마련하기 쉽다.

벤더 종속을 피하려면 OpenSearch, Qdrant, Weaviate 같은 오픈소스 솔루션을 코어에 두고 클라우드 관리형 서비스를 부가 계층으로 구성할 수 있다. 검색 쿼리와 결과, 청크 선택 로그는 중앙에서 관리해야 한다. 그래야 AI 응답의 근거를 추적하고 규제 감사에 대응할 수 있다.

컨텍스트 아키텍처로의 전환은 검색 엔진 하나를 교체하는 작업이 아니다. JIT 검색, 적응형 청킹, 토큰 예산 관리와 다중 홉 추론을 하나의 반복 가능한 실행 구조로 묶는 일이다. 하이브리드 검색 도입의 증가는 에이전트가 만드는 데이터 요청에 대응하려는 구조적 변화이며, 2034년 $1,650억 시장 전망도 이 전환 흐름을 반영한다.