Databricks Lakebase: 서버리스 PostgreSQL과 레이크하우스 HTAP 아키텍처
Databricks Lakebase의 서버리스 PostgreSQL 구조, WAL 기반 분리 저장소, Moonlink CDC와 레이크하우스 HTAP 통합 방식을 분석한다.
2026-08-14 · 최초 발행 2026-08-02
Lakebase가 겨냥하는 데이터 경로
2026년 2월 3일 Databricks는 서버리스 PostgreSQL OLTP 데이터베이스인 Lakebase를 GA(Generally Available)로 전환했다. Databricks는 2025년 5월 약 10억 달러에 Neon을 인수하고, 같은 해 10월 Mooncake Labs를 추가 인수했다. Lakebase는 이 기반 위에서 트랜잭션 데이터베이스와 분석 레이크하우스를 하나의 스택으로 묶는 HTAP(Hybrid Transactional/Analytical Processing) 구조를 지향한다.
AWS에서 GA가 제공되고 Azure에서는 FabCon 2026과 함께 GA가 발표됐다. Google Cloud 지원은 하반기 예정이다. 출시 이후 채택 속도는 Databricks 데이터웨어하우스 제품의 2배 이상을 기록했으며, 수천 개 기업이 생산 워크로드를 운영 중이다.
Lakebase는 Databricks Data Intelligence Platform에 네이티브로 들어간 완전 관리형 서버리스 PostgreSQL이다. OLTP 데이터를 레이크하우스 스토리지 기반 위에 두어 복사나 ETL 없이 분석 및 AI 워크로드에서 접근할 수 있고, 컴퓨트와 스토리지를 분리해 트래픽 변화와 유휴 시간에 대응한다. AI 에이전트 상태 저장, Feature Store 온라인 서빙, 실시간 추론 같은 애플리케이션 패턴도 지원 대상이다.
Databricks가 말하는 레이크베이스는 레이크하우스와 OLTP 기반 데이터베이스를 결합한 개념이다. 핵심은 OLTP와 OLAP을 별도 시스템으로 이동시키는 대신, 두 워크로드가 연결되는 경로를 플랫폼 안으로 가져오는 데 있다.
WAL을 경계로 나뉜 서버리스 PostgreSQL
Lakebase의 토대는 Neon의 오픈소스 아키텍처다. PostgreSQL을 독립적인 컴퓨트와 스토리지 레이어로 나누고, 두 레이어는 WAL(Write-Ahead Log) 스트림을 통해 통신한다.
컴퓨트 레이어는 표준 PostgreSQL 16/17을 실행하며 pgvector, PostGIS, PL/pgSQL, pg_stat_statements 등을 포함해 52개 이상의 확장을 지원한다. 이 프로세스에는 영속 상태가 없다. WAL을 로컬 디스크에 기록하는 대신 네트워크로 스토리지 레이어에 스트리밍하므로, 컴퓨트 노드는 일시적(ephemeral)이며 교체 가능한 단위가 된다. 이 구조는 수백 밀리초 내 콜드 스타트와 트래픽 스파이크 대응의 기반이 된다.
스토리지 레이어에서는 Safekeeper가 WAL 레코드를 받아 Paxos 기반 쿼럼 합의로 내구성 있게 보존한다. PageServer는 페이지 캐시 역할을 하며, WAL에서 특정 시점의 페이지를 재구성해 컴퓨트 레이어에 제공한다. 이로써 포인트-인-타임 복구(PITR)와 즉시 브랜칭을 지원한다. 데이터는 S3 또는 Azure Blob에 저장된다.
트래픽에 맞춰 컴퓨트를 자동 확장하고, 유휴 상태에서는 Scale-to-Zero로 컴퓨트 비용을 제거한다. Lakebase 블로그는 이 아키텍처가 표준 Postgres 대비 5배 빠른 쓰기 성능을 달성한다고 밝혔다.
운영 데이터가 분석과 AI로 이어지는 방식
Lakebase의 HTAP 전략은 OLTP에서 발생한 변경을 분석 레이어로 옮기는 흐름에 있다.
Mooncake Labs 인수(2025년 10월)에서 비롯된 Moonlink는 Lakebase의 변경 데이터를 Delta 및 Iceberg 테이블로 실시간 복제하는 CDC(Change Data Capture) 엔진이다. 운영 데이터베이스의 변경이 분석 레이어에 자동 반영되므로, 기존의 OLTP→ETL→OLAP 파이프라인을 두지 않는 구조가 가능하다. 데이터 중복 제거, 운영 비용 절감, 실시간성 향상이 함께 따라온다.
Lakebase 데이터베이스는 Unity Catalog에 카탈로그로 등록돼 레이크하우스와 동일한 거버넌스 프레임워크를 공유한다. 컬럼 수준 권한, 데이터 마스킹, 감사 로그, 계보(lineage) 추적을 OLTP와 OLAP 데이터에 통합 적용할 수 있다.
ML Feature Store의 온라인 스토어로도 활용할 수 있다. 피처화된 데이터를 저지연으로 모델 추론에 제공하면서, 학습에 사용한 오프라인 피처인 Delta 테이블과 같은 거버넌스 체계에서 서빙 피처를 관리한다.
에이전트 상태를 트랜잭션으로 다룰 때
AI 에이전트는 대화 이력과 세션 상태를 요청 사이에도 유지해야 한다. Lakebase에 이를 저장하면 PostgreSQL의 ACID 보장 아래에서 에이전트가 재시작한 뒤에도 상태 일관성을 유지할 수 있다.
여러 에이전트가 공유 상태를 동시에 읽고 쓰는 경우에는 PostgreSQL 트랜잭션과 잠금 메커니즘으로 경쟁 조건을 처리한다. 재고, 주문, 사용자 프로필처럼 현재 운영 데이터를 직접 조회해 의사결정에 쓰는 흐름도 Lakebase 안에서 처리할 수 있다. 장시간 실행되는 워크플로우의 중간 상태를 체크포인트로 남기고 실패 후 재개하는 용도도 포함된다.
이 패턴에서는 LangGraph, AutoGen 등의 에이전트 프레임워크가 별도 Redis나 독립형 PostgreSQL 없이 Databricks 플랫폼 안에서 완결될 수 있다.
PostgreSQL 서버리스 제품과의 차이
| 항목 | Lakebase | Aurora Serverless v2 | Neon | AlloyDB |
|---|---|---|---|---|
| 기반 기술 | Neon OSS (Databricks) | Aurora 스토리지 엔진 | Neon OSS | Google PGMR 엔진 |
| 컴퓨트-스토리지 분리 | WAL 스트리밍, 완전 분리 | 스토리지 분리, 컴퓨트 semi-분리 | WAL 스트리밍, 완전 분리 | 컬럼형 스토리지 분리 |
| Scale-to-Zero | 지원 (수백ms 콜드 스타트) | 미지원 (최소 ACU 유지) | 지원 (sub-second) | 미지원 |
| 레이크하우스 통합 | 네이티브 (Delta/Iceberg) | 없음 | 없음 | BigQuery 통합 |
| AI 에이전트 지원 | 네이티브 상태 저장소 패턴 | 제한적 | 없음 | Vertex AI 통합 |
| 주 대상 | Databricks 생태계, AI 워크로드 | AWS 네이티브 앱 | 개발자 친화적 SaaS | Google Cloud 앱 |
| 온라인 브랜칭 | 지원 (즉시) | 미지원 | 지원 | 미지원 |
Lakebase의 차별점은 레이크하우스 플랫폼과의 네이티브 통합에 있다. Neon은 독립형 PostgreSQL로서 같은 오픈소스 기반을 공유하지만, Databricks 생태계의 거버넌스·분석·AI 통합은 Lakebase가 제공하는 영역이다. Aurora Serverless는 실제 Scale-to-Zero를 지원하지 않아 비용 측면에서 불리하며, AlloyDB는 Google Cloud에 종속된다.
데이터베이스 설계 원칙으로 읽는 Lakebase
Lakebase는 몇 가지 익숙한 데이터베이스 아키텍처 원칙이 결합된 사례다. OLTP 레이어는 Lakebase의 3NF 정규화 모델에, OLAP 레이어는 Delta 테이블의 스타 또는 스노우플레이크 스키마에 연결된다.
Safekeeper 클러스터는 Paxos를 기반으로 하며, CAP 정리 관점에서는 네트워크 파티션 상황에서 일관성(C)을 우선하는 CP 시스템이다. Moonlink의 실시간 CDC는 이중 쓰기(Dual Write) 없이 데이터 동기화를 구현하는 패턴이고, WAL은 내구성과 복구를 위한 메커니즘인 동시에 컴퓨트와 스토리지의 분리를 가능하게 하는 네트워크 인터페이스다. 동적 컴퓨트 프로비저닝과 Scale-to-Zero는 서버리스 운영 모델의 비용 최적화 방식과 맞닿아 있다.
도입 판단에서 확인할 조건
Lakebase는 이미 Databricks를 데이터 플랫폼으로 사용하면서 OLTP 데이터베이스를 추가해야 하는 조직, AI 에이전트 워크플로우에서 영속 상태 관리가 필요한 환경, 운영·분석 데이터 사이의 실시간 동기화로 ETL 복잡성을 줄이려는 경우에 적합하다. 즉시 브랜칭을 활용해 개발 및 테스트 환경을 병렬로 운영하려는 경우도 대상이다.
Azure는 GA이지만 AWS와 비교해 일부 기능의 제공이 늦을 수 있고, GCP는 아직 미지원이다. 초고처리량(초당 수만 TPS 이상) 워크로드는 도입 전에 실제 벤치마크가 필요하다. Databricks 플랫폼 의존성이 높아지는 만큼 벤더 락인 전략도 함께 수립해야 한다.
2026년 하반기 로드맵에는 GCP 지원, 멀티리전 구성, 더 많은 PostgreSQL 확장 지원, HTAP 통합 쿼리 최적화가 포함돼 있다.
Lakebase는 Neon의 WAL 기반 컴퓨트·스토리지 분리와 Mooncake의 실시간 CDC를 결합해, OLTP 데이터를 별도 이동 없이 AI 및 분석 워크로드에 활용하려는 아키텍처다. 에이전트 상태 저장소, Feature Store 온라인 서빙, 실시간 HTAP 분석을 하나의 플랫폼 안에서 지원하는 구성이 핵심이다.
Sources
- Databricks Lakebase is now Generally Available | Databricks Blog
- A New Era of Databases: Lakebase | Databricks Blog
- How lakebase architecture delivers 5x faster Postgres writes | Databricks Blog
- Databricks Introduces Lakebase, a PostgreSQL Database for AI Workloads - InfoQ
- Lakebase Explained: Why Databricks Is Blending OLTP, Analytics and AI - Coeo
- Decoupling Compute and Storage in Postgres: Architectural Implications of Databricks Lakebase
- Databricks Lakebase: The operational database for AI agents and apps | Microsoft Community Hub
- Databricks set to accelerate agentic AI by up to 100x with 'Mooncake' technology | VentureBeat
- Databricks Lakebase: The Future of OLTP in an AI-Ready Lakehouse | KPI Partners
- How Databricks Lakebase Powers Real-Time AI & Agent Workloads | Info Services
- Lakebase Postgres | Databricks on AWS Docs
- Snowflake Postgres, Lakebase, HorizonDB: Picking the Lock-In You Want — The Build