PIKE-RAG: 지식 원자화와 추론 경로를 결합한 산업용 RAG
Microsoft PIKE-RAG의 지식 원자화, 다층 이질 그래프, 추론 경로 설계와 산업 도메인 RAG 거버넌스 적용 관점을 정리한다.
2026-08-30 · 최초 발행 2026-07-21
청크 검색만으로는 부족한 산업 도메인 질의
Microsoft Research가 공개한 PIKE-RAG(sPecIalized KnowledgE and Rationale Augmented Generation)는 전문 도메인 지식과 논리적 추론을 함께 다루는 검색증강생성 프레임워크다. 제조·광업·제약처럼 코퍼스 자체가 전문적이고 질의가 복잡한 환경에서는, 문서 청크를 유사도로 가져오는 방식만으로 필요한 지식과 논리 연결을 확보하기 어렵다.
PIKE-RAG는 전문 지식을 추출·이해·적용하는 과정에 근거(rationale)를 점진적으로 쌓는다. 원래 질의와 누적된 지식을 함께 사용해 추론 논리를 형성하고, 이를 통해 LLM이 답으로 향하도록 설계한다.
arXiv 2501.11551 논문과 GitHub microsoft/PIKE-RAG 저장소가 공개되어 있으며, ICML 2025 관련 논문인 From Complex to Atomic도 병행 발표됐다.
지식을 원자 단위로 만들고 근거를 이어 붙이는 구조
파이프라인은 문서 파싱, 지식 추출, 지식 저장에서 시작한다. 이후 검색된 지식을 조직화하고, 지식 중심 추론과 작업 분해·조정을 통해 응답을 만든다.
지식 원자화(knowledge atomizing)는 데이터 청크에 담긴 다면적 지식을 더 작은 원자 단위로 분해·추출하는 방식이다. 단순히 청킹 크기를 조정하는 대신, 검색에 필요한 지식 조각을 다시 구성해 더 정밀한 매칭을 노린다.
이렇게 만든 지식은 서로 다른 세분화 수준을 포괄하는 다층 이질 그래프(multi-layer heterogeneous graph)에 표현된다. 그래프는 지식의 다양성 문제를 다루고, 검색과 추론의 정밀도를 높이는 기반이 된다.
복잡한 질의는 지식 인지형 작업 분해를 거쳐 하위 질의로 나뉜다. 각 하위 질의에서 확보한 지식은 원래 질의와 결합되고, 근거는 반복적으로 구성된다.
질의 난이도에 따라 확장하는 역량 모델
PIKE-RAG는 작업 유형을 나누고 시스템 역량을 등급화하는 capability-driven 접근을 취한다. 상위 레벨은 하위 레벨의 모듈을 상속하면서 새 모듈을 추가하므로, 복잡한 시나리오로 확장할 수 있다.
L1은 사실형 질의응답(Factual QA)을 위한 기본 정보 검색 역량이다. L2는 작업 분해·조정 모듈을 이용해 다단계 추론(Multi-hop Reasoning)을 처리한다. L3는 예측 질의에 합리적 예측을 제공하면서 하위 역량을 유지하고, L4는 예측·사실·추론 역량을 포괄해 근거 있는 계획과 해법을 제안하는 창의적 문제해결(Creative)을 대상으로 한다.
복잡 추론 데이터셋 벤치마크에서 HotpotQA 정확도는 87.6%, 2WikiMultiHopQA는 82.0%, MuSiQue는 59.6%다. MuSiQue는 다중 소스 통합과 다단계 추론의 난이도가 가장 높은 데이터셋으로 제시된다.
산업 코퍼스에 적용할 때의 설계 순서
도입은 도메인 코퍼스를 확보·정제하고 문서 파싱과 청킹 품질을 확보하는 일에서 출발한다. 이어 원자 지식 스키마와 다층 그래프 표현을 정의하고, 질의 유형별 L1~L4 작업 분해 규칙을 설계한다. 정답률과 환각 평가는 HotpotQA류 벤치마크와 자체 도메인 골든셋으로 검증한다.
원자 지식은 출처(provenance)를 추적할 수 있어야 하며, 버전관리와 도메인 전문가 검수 루프도 필요하다. 지식 그래프의 갱신 주기와 소유권을 정해 지식 신선도(freshness)를 관리하는 일도 운영 설계에 포함된다.
기존 벡터 RAG를 전면 교체할 필요는 없다. 기존 벡터 인덱스를 유지하면서 지식 원자화와 그래프 레이어를 더하는 하이브리드 방식으로 시작할 수 있다. L1에서 검증한 뒤 L2 다단계 추론으로 승격하면 위험을 줄일 수 있다.
지식 추출, 그래프 구성, 다단계 추론은 인덱싱과 추론 토큰 비용을 높인다. 질의 유형을 라우팅해 단순 질의에는 경량 경로를 쓰고, 복잡 질의에만 고비용 추론 경로를 배분하는 설계가 필요하다.
벡터 RAG와 PIKE-RAG의 차이
| 비교 축 | 일반 벡터 RAG | PIKE-RAG |
|---|---|---|
| 지식 표현 | 청크 임베딩 단일 계층 | 지식 원자화 + 다층 이질 그래프 |
| 검색 방식 | 유사도 기반 단순 검색 | 지식 인지형 검색 + 재순위 |
| 추론 구조 | 검색-생성 1회(single-hop) | 추론 경로 반복 구성(multi-hop) |
| 전문 질의 정답률 | 복잡 질의에서 취약 | HotpotQA 87.6% 등 고정답률 |
| 작업 분해 | 없음 | 지식 인지형 작업 분해·조정 |
| 대상 | 범용 문서 QA | 산업 도메인(제조·광업·제약) |
| 환각 제어 | 근거 추적 제한적 | 근거(rationale) 명시적 구성 |
| 운영 비용 | 낮음 | 상대적 높음(그래프·다단계) |
핵심은 청크를 더 잘 찾는 데 그치지 않고, 지식을 원자 단위로 재구성하고 그 사이의 근거를 누적한다는 점이다. 단순 검색-생성 흐름으로는 풀기 어려운 다단계 논리 질의에 대응하며, 역량 등급화로 도메인 복잡도에 맞춰 확장할 수 있다.
2026년에는 지식 그래프를 결합한 GraphRAG 계열과의 융합, 그리고 도메인 특화 RAG의 표준 아키텍처화가 방향으로 제시된다. 역량 구동형 설계는 엔터프라이즈 RAG 성숙도 모델의 참조 프레임으로 부상할 전망이다.
지식 자산과 RAG 운영을 함께 통제하기
원자 지식은 조직의 명시지(explicit knowledge) 자산으로 관리할 대상이다. 지식 자산 대장과 메타데이터 표준을 마련하고, 다층 그래프를 지식 분류체계(taxonomy) 및 온톨로지 거버넌스와 정합시켜야 한다.
운영 측면에서는 데이터 계보(lineage)와 출처 추적으로 응답 근거의 감사 가능성(auditability)을 확보한다. 질의 유형별 L1~L4 위험 등급을 분류하고, 예측·창의 질의에는 인간 검증(HITL)을 의무화한다. 환각과 오정보에 대한 책임성(accountability), Responsible AI 투명성 문서(RAI Transparency) 준수도 통제 범위에 들어간다.
지식 갱신에는 변경관리(change management)와 승인 워크플로우가 필요하다. 도메인 지식의 기밀성을 위한 접근통제, 개인정보·영업비밀 마스킹, 정답률·환각률 KPI의 지속 모니터링도 함께 설계해야 한다.
PIKE-RAG는 검색 중심 RAG의 한계를 지식 원자화와 추론 경로 구성으로 보완하며, 산업 도메인의 복잡한 전문 질의를 위한 참조 아키텍처를 제시한다. L0~L4 역량 등급화는 조직의 지식 성숙도에 맞춰 시스템을 점진적으로 확장하는 프레임으로 활용할 수 있다. 원자 지식의 관리, 데이터 계보, 감사 가능성, 인간 검증을 함께 갖추는 일이 이 구조를 운영 가능한 RAG로 만드는 조건이다.