New SQL: 정합성과 수평 확장을 함께 다루는 분산 데이터베이스

SQL과 ACID를 유지한 분산 확장

New SQL은 RDBMS의 정합성과 NoSQL의 확장성을 함께 갖추려는 차세대 데이터베이스 관리 시스템이다. 기존 RDB의 ACID(원자성, 일관성, 고립성, 지속성) 특성을 보장하면서, NoSQL에서 강조된 확장성과 유연성을 결합한 하이브리드 DBMS로 볼 수 있다.

빅데이터와 실시간 처리 요구가 커지는 환경에서 SQL 기반 인터랙션을 제공한다는 점도 핵심이다. 개발자와 DBA가 익숙한 쿼리 언어를 계속 사용할 수 있고, 기존 RDBMS에서 옮겨 갈 때의 부담도 줄일 수 있다.

분산 환경에서도 트랜잭션 일관성을 유지하므로 금융이나 의료처럼 높은 신뢰성을 요구하는 시스템에 맞는다. 노드가 독립적으로 동작하는 Shared Nothing 구조를 바탕으로 수평 확장을 지원하며, 노드 간 데이터 공유를 줄여 병목을 낮춘다. 동시성 제어에는 전통적인 락 방식 대신 MVCC(Multi-Version Concurrency Control)를 활용해 읽기 작업이 쓰기 작업을 차단하지 않도록 구성한다.

RDBMS와 NoSQL 사이에서 생긴 요구

기존 RDBMS는 리소스 활용의 비효율 문제를 안고 있다. 실제 데이터 읽기와 쓰기에는 10%가 사용되고, 버퍼풀 관리에는 90%의 리소스가 소모된다. 디스크 I/O 대기, 락 관리 오버헤드, 복잡한 트랜잭션 관리 비용도 CPU 사이클 낭비에 영향을 준다.

확장 방식 역시 수직 확장에 기대는 경우가 많다. 더 높은 성능을 위해 고가 하드웨어가 필요하고, 확장 한계도 분명하다.

NoSQL은 확장성과 성능 측면에서 강점을 보이지만, 일관성 보장이 부족해 데이터 정합성 문제가 생길 수 있다. 복잡한 노드 관리라는 새로운 운영 오버헤드도 따르며, ACID 트랜잭션과 SQL을 지원하지 않는 경우에는 특정 도메인 적용, 학습, 마이그레이션에 제약이 생긴다.

메모리와 파티션을 중심에 둔 구성

메모리 중심 아키텍처에서는 데이터를 하드웨어가 아닌 메모리에 저장한다. I/O 연산을 최소화해 성능을 높이고, 디스크는 영구 저장 용도로 활용한다. 데이터에서 버퍼를 거쳐 메모리로 가던 경로를 없애 직접 메모리에 접근함으로써 지연 시간을 줄이고 인메모리 처리의 응답성을 활용한다.

⤢✕

동시성 처리에서는 멀티스레딩 오버헤드를 줄이는 방식을 사용한다. VoltDB 등에서 활용되는 타임스탬프 오더링은 트랜잭션에 타임스탬프를 부여해 순서를 보장한다. 락 경합에서 발생하는 지연과 스레드 간 동기화 오버헤드를 낮추고, 파티셔닝 기반 병렬 처리를 최적화하는 방향이다.

원본에서 제시한 Google Spanner 사례는 Dirty Read 허용을 통한 성능 최적화와 격리 수준 조절을 포함한다. Read Uncommitted를 허용해 읽기 성능을 높이고, 상황에 따라 격리 수준을 조정하는 메커니즘을 제공한다. 교착상태 회피에는 Wound-wait 알고리즘을 사용하며, 오래된 트랜잭션이 신규 트랜잭션을 중단할 수 있어 교착상태 발생 가능성을 원천 차단한다.

제품별로 다른 분산 SQL의 구현

Google Spanner는 글로벌 분산 데이터베이스로, 강한 일관성과 수평 확장성을 함께 제공한다. TrueTime API로 글로벌 타임스탬프를 관리하며 금융, 전자상거래 같은 미션 크리티컬 시스템에 적합하다.

VoltDB는 인메모리 구조에서 ACID를 준수하는 분산 DB다. 단일 파티션 트랜잭션을 최적화하고 결정적 SQL 실행을 통해 예측 가능한 성능을 제공하므로, 실시간 분석과 트랜잭션 처리에 사용할 수 있다.

CockroachDB는 Google Spanner에서 영감을 받은 오픈소스 솔루션이다. 자동 샤딩과 복제 기능을 제공하며, 높은 가용성이 필요한 지리적 분산 데이터에 맞춘 분산 SQL 데이터베이스다.

MemSQL(SingleStore)은 분산형 인메모리 SQL 데이터베이스다. 행 기반과 열 기반 저장소를 함께 사용해 실시간 트랜잭션과 분석 워크로드를 동시에 처리하며, 높은 처리량과 낮은 지연시간을 특징으로 한다.

확장성과 정합성의 배치

⤢✕

RDBMS와 New SQL은 SQL 인터페이스, ACID 특성, 데이터 정합성을 공유한다. 차이는 확장과 동시성 제어 방식에 있다. RDBMS가 수직 확장과 락 기반 동시성 제어를 중심으로 한다면, New SQL은 수평 확장, 락 없는 동시성 제어, 분산 아키텍처를 지향한다.

NoSQL과 New SQL은 수평 확장성, 분산 아키텍처, 고성능이라는 공통점을 가진다. 다만 NoSQL은 제한된 쿼리 언어, BASE 특성, 최종 일관성을 택하는 반면, New SQL은 SQL 지원, ACID 특성, 강한 일관성을 제공한다.

트랜잭션과 실시간 처리가 만나는 곳

금융 서비스에서는 실시간 트랜잭션 처리와 확장성이 동시에 요구된다. 모바일 결제 시스템과 주식 거래 플랫폼이 예시이며, 높은 처리량과 낮은 지연시간을 함께 보장하는 것이 이점이다.

전자상거래 플랫폼은 대규모 사용자와 트랜잭션을 처리해야 한다. 글로벌 쇼핑몰이나 온라인 마켓플레이스에서는 주문 처리의 정확성과 시스템 확장성을 동시에 확보할 수 있다.

IoT와 텔레메트리 시스템은 대량의 센서 데이터를 실시간으로 처리한다. 스마트 공장과 연결된 자동차 시스템에서 높은 수집 처리량과 실시간 분석을 지원할 수 있다.

게임 서버 백엔드도 동시 접속 사용자의 증가에 탄력적으로 대응해야 한다. 멀티플레이어 온라인 게임과 소셜 게임에서는 일관된 게임 상태를 유지하면서 서버를 확장하는 데 활용할 수 있다.

도입 전에 확인할 운영 조건

기존 시스템에서 전환할 때는 점진적 마이그레이션 전략과 하이브리드 접근 방식을 검토해야 한다. 초기 도입 비용, 장기적 TCO, 하드웨어 요구사항도 함께 비교 대상이다.

분산 시스템 관리 전문성과 새로운 장애 패턴에 대응할 수 있는 운영 역량도 필요하다. 모든 애플리케이션에 New SQL이 최적인 것은 아니므로, 워크로드 특성에 따라 적용 대상을 골라야 한다.

클라우드 네이티브 환경과의 통합은 강화되고, 머신러닝 및 AI 워크로드 지원도 확대될 전망이다. 에지 컴퓨팅 환경으로의 확장, 하이브리드 트랜잭션/분석 처리(HTAP) 기능 고도화, 분산 시스템 관리 자동화 향상도 이어질 수 있다.