벡터 DB 없이: Karpathy가 제안한 LLM 연구 사서 패턴, LLM-Wiki

2026년 4월, Andrej Karpathy가 공개한 LLM-Wiki 패턴은 개인 지식 관리의 방식을 근본적으로 바꾸고 있다. 기존 RAG 파이프라인이 매번 질의 시점에 원시 문서를 검색하는 방식이었다면, LLM-Wiki는 LLM이 마크다운 위키를 직접 작성하고 유지 관리하는 구조를 취한다. 벡터 데이터베이스도, 임베딩 파이프라인도 필요 없다.

LLM을 연구 사서로 쓴다는 것

LLM-Wiki는 Karpathy가 제안한 개인 지식 관리 아키텍처로, LLM을 "연구 사서(research librarian)"로 활용하는 접근이다. 사용자가 원시 자료를 수집하면 LLM이 이를 읽고 요약해 구조화된 마크다운 위키 문서로 변환한다. 사용자는 탐색과 질문을 담당하고, LLM은 요약, 교차 참조, 파일 정리, 백링크 관리 등 편집 작업 전반을 수행한다.

이 방식의 핵심은 지식의 축적이다. 전통적인 RAG는 질문할 때마다 지식을 처음부터 재발견하지만, LLM-Wiki는 한 번 정리한 지식이 위키에 영구적으로 남아 점진적으로 성장한다. 약 100개의 문서와 40만 단어 규모에서 LLM이 색인 파일과 요약을 통해 탐색하는 데 전혀 문제가 없다고 Karpathy는 보고한다.

⤢✕

검색이 아니라 미리 정리해둔다

LLM-Wiki가 기존 RAG 시스템과 구별되는 지점은 지식의 사전 컴파일 여부다. RAG는 질의 시점에 벡터 유사도 검색으로 관련 청크를 찾아 컨텍스트에 주입하는 반면, LLM-Wiki는 자료를 미리 분석해 백과사전 형식의 문서로 변환해 둔다.

비교 항목	RAG	LLM-Wiki
지식 저장	벡터 임베딩	마크다운 파일
질의 방식	유사도 검색 후 생성	위키 문서 직접 참조
지식 축적	없음 (매번 재검색)	점진적 성장
인프라 요구	벡터 DB, 임베딩 모델	텍스트 에디터만 필요
적합 규모	대규모 문서	개인 수준 (수백 문서)

RAG는 수만 개 이상의 대규모 문서 처리에 적합하지만, 개인 연구자 수준의 중규모 지식 관리에서는 LLM-Wiki가 훨씬 단순하면서도 효과적이다. 복잡한 인프라 없이 마크다운 파일만으로 운영할 수 있다는 점이 가장 큰 장점이다.

한쪽엔 에이전트, 한쪽엔 Obsidian

Karpathy의 실전 구성은 한쪽 화면에 LLM 에이전트(Claude Code 등)를 띄우고, 다른 쪽에 Obsidian을 열어 두는 형태다. LLM이 대화를 기반으로 위키 문서를 편집하면 Obsidian이 실시간으로 변경 사항을 반영한다. Obsidian은 IDE, LLM은 프로그래머, 위키는 코드베이스에 해당하는 셈이다.

데이터 수집 단계에서는 Obsidian Web Clipper로 웹 콘텐츠를 마크다운으로 변환해 raw/ 디렉터리에 저장한다. 이미지도 로컬에 복사해 비전 모델이 참조할 수 있도록 한다. LLM은 이 원시 자료를 읽고 세 가지 유형의 위키 문서를 생성한다.

⤢✕

YAML 프론트매터에 태그, 날짜, 소스 수 등의 메타데이터를 추가하면 Obsidian의 Dataview 플러그인으로 동적 테이블을 생성할 수 있어, 위키의 구조적 탐색이 한층 용이해진다.

규모가 커질 때 챙겨야 할 것들

LLM-Wiki를 실제로 구축할 때는 몇 가지 실용적 지점을 고려해야 한다. 위키의 규모가 LLM의 컨텍스트 윈도우를 초과하면 색인 파일과 요약 계층을 통한 탐색 전략이 필수적이다. Karpathy는 40만 단어 규모에서 색인 기반 탐색이 충분히 작동한다고 보고하지만, 이를 넘어서는 규모에서는 계층적 요약 구조가 필요할 수 있다.

LLM의 환각 문제도 관리해야 한다. 원시 자료와 위키 문서 사이의 출처 추적을 명확히 하고, 각 위키 항목에 소스 링크를 반드시 포함시키는 규칙을 설정하는 것이 바람직하다. 버전 관리를 위해 Git과 연동하면 위키 문서의 변경 이력을 추적할 수 있어, LLM이 잘못 수정한 내용을 복원하는 데 유용하다.

RAG의 대안이 아니라 보완

Andrej Karpathy의 LLM-Wiki는 벡터 데이터베이스나 임베딩 파이프라인 없이 마크다운 파일만으로 개인 지식저장소를 구축하는 실용적인 방법론이다. LLM이 연구 사서 역할을 수행하며 위키를 점진적으로 성장시키는 이 패턴은 개인 연구자와 개발자에게 복잡한 인프라 없이도 체계적인 지식 관리를 가능하게 한다. RAG의 대안이 아닌 보완적 접근으로, 중규모 개인 지식 관리에서 그 진가를 발휘한다.