CubeFS의 CNCF 졸업이 증명한 것: POSIX·HDFS·S3를 하나의 스토리지로

CubeFS가 2024년 12월 CNCF(Cloud Native Computing Foundation) 졸업 프로젝트로 승격됐다. 2017년 JD.com에서 시작해 2019년 CNCF Sandbox, 2022년 Incubating을 거친 5년 여정의 결과다. POSIX, HDFS, S3, REST API를 단일 시스템에서 동시 지원하는 유일한 CNCF 분산 스토리지라는 점이 다른 프로젝트와 갈리는 지점이고, JD.com, OPPO, NetEase, Xiaomi, Shopee 등 200개 이상 조직이 이 위에 350페타바이트 이상을 얹어두고 있다.

Sandbox에서 졸업까지, 숫자로 본 5년

CNCF Sandbox 진입(2019년 12월)부터 졸업(2024년 12월)까지 성장은 수치로 확인된다.

지표	Sandbox 진입 시	졸업 시	성장률
채택 조직 수	10개	200개 이상	1,900%
개발자 수	27명 (5개사)	379명 (42개사)	1,300%
코드 커밋 수	1,112개	16,845개	1,415%
총 저장 용량	-	350+ PB	-

주요 프로덕션 사용자는 JD.com, OPPO, NetEase, Xiaomi, Shopee, BIGO다. 중국 주요 테크 기업 중심으로 시작해 글로벌 채택으로 확산되는 추세다. Apache 2.0 라이선스, Go 언어 구현이며, CNCF 졸업 요건인 보안 감사·위협 모델링·SLSA 공급망 보안 검토·거버넌스 개선도 이 기간에 완료했다.

하나의 데이터를 여러 방식으로 읽는다는 것

CubeFS를 다른 분산 스토리지와 구분 짓는 지점은 여러 인터페이스를 지원한다는 사실 자체가 아니라, 데이터 복사나 동기화 없이 같은 데이터를 서로 다른 프로토콜로 동시에 접근할 수 있다는 점이다.

⤢✕

POSIX 표준을 따르는 애플리케이션은 로컬 파일시스템처럼 CubeFS를 마운트해 쓰고, Hadoop/Spark 잡은 기존 코드 변경 없이 HDFS 인터페이스로 같은 데이터를 읽으며, 오브젝트 스토리지 클라이언트는 S3 API로 그 데이터를 다시 읽는다. 이 상호운용성이 팀마다 별도 스토리지를 두고 데이터를 복제해온 관행을 대체하는 지점이다.

내부는 세 서브시스템으로 나뉘어 각각 독립적으로 확장된다. 메타데이터 서브시스템(MetaNode)은 inode·dentry를 B-트리로 인메모리 인덱싱하고 Multi-Raft 복제로 고가용성을 확보해 마이크로초 수준의 지연을 낸다. 데이터 서브시스템(DataNode)은 실제 파일 내용을 메타데이터와 물리적으로 분리해 저장하며 다중 복제와 이레이저 코딩을 모두 지원한다. 마스터 노드가 클러스터 토폴로지·멀티테넌시·쿼터를 관리하고, S3 호환 인터페이스는 별도의 키-값 스토리지인 BlobStore가 담당해 엑사바이트 규모까지 이레이저 코딩 데이터를 처리한다.

일관성 보장 방식도 쓰기 패턴에 따라 갈린다. 순차 쓰기는 높은 처리량이 필요한 빅데이터 배치·AI 학습 워크로드를 겨냥해 Primary-Backup 프로토콜을 쓰고, 무작위 쓰기(덮어쓰기)는 강한 일관성이 필요한 데이터베이스·트랜잭션 워크로드를 겨냥해 Multi-Raft 기반 복제를 쓴다. POSIX 시맨틱은 일부를 의도적으로 완화해 클라우드 네이티브 환경에서의 성능을 우선했는데, 이는 분산 파일시스템에서 POSIX 완전 준수와 성능이 흔히 맞바꾸는 지점이다.

GPU 학습 파이프라인에서 벌어진 일: OPPO 사례

OPPO는 음성 어시스턴트, 광고, 게임, NLP 등 100개 이상 사업 부문의 AI 모델 학습을 하이브리드 클라우드에서 돌린다. 프라이빗 클라우드와 퍼블릭 GPU 클라우드 사이의 2ms 지연이 병목이 되어 GPU 학습 성능이 50~75% 떨어지는 문제를 겪었다.

해결책은 CubeFS 클라이언트 사이드 캐싱을 켜서 GPU 컴퓨팅 노드에 학습 데이터를 로컬 캐싱하는 것이었다. 클라우드별로 데이터셋을 따로 복사하지 않고도 하이브리드 환경 전반에 투명한 스토리지를 제공했다.

⤢✕

결과는 AI 학습 성능 360%(3.6배) 향상, 메타데이터 지연 마이크로초 수준, 데이터 지연 수백 마이크로초 수준이었다. 1000억 파라미터 이상 모델 학습을 지원하고, 1000만 파일을 2분 내에 동기화한다. 로컬 캐시(GPU 노드별)와 분산 캐시(DataNode 활용)를 계층적으로 구성해 콜드 스토리지와 캐시 가속화를 함께 쓰는 비용 최적화 전략도 여기서 나온다.

Hadoop 생태계와 컨테이너 플랫폼의 통합

HDFS 호환 인터페이스는 Hadoop FileSystem을 완전히 구현해 Spark, Hive, Pig 등이 코드 변경 없이 연동된다. 기존 HDFS 인프라에서 CubeFS로 옮길 때 애플리케이션 수정이 필요 없다는 뜻이다. JD.com은 Elasticsearch의 스토리지-컴퓨팅 분리 아키텍처에 CubeFS를 써서 상품·프로모션·주문·물류 데이터의 대규모 일별 쿼리를 처리하고 ML 비즈니스의 로컬 스토리지 의존성을 없앴다. NetEase 게임은 Elasticsearch 배포의 확장성 한계와 ML 파이프라인 스토리지 용량 문제를 이레이저 코딩(스토리지 비용 절감)과 캐시 가속화(성능 최적화)로 풀었다. v3.0.0에서 추가된 이레이저 코딩 엔진은 6+3, 12+3, 10+4 구성을 지원하며 Reed-Solomon 인코딩으로 멀티레플리카(2~3배 오버헤드)보다 낮은 비용으로 내결함성을 낸다.

Kubernetes 쪽은 Container Storage Interface(CSI) 드라이버로 붙는다. 컨테이너 클러스터가 초기화 데이터·설정 파일을 CubeFS에 저장해 배치 컨테이너 로딩 시 실시간으로 읽거나, 여러 Pod가 영구 데이터를 동시에 접근하는 공유 스토리지로 쓰거나(Pod 장애 시에도 빠른 페일오버와 데이터 보존), MySQL·Elasticsearch 같은 스테이트풀 애플리케이션의 데이터를 관리하는 용도가 대표적이다. Helm 차트(CubeFS-Helm)와 CSI 플러그인(CubeFS-CSI)으로 표준 Kubernetes 패턴에 맞춰 배포하며, 컴퓨팅과 스토리지를 독립적으로 수평 확장하고 공유 클러스터 안에서 멀티테넌트를 격리하는 게 핵심 이점이다.

여러 프로토콜을 한 스토리지에 담는 대가

POSIX, HDFS, S3를 동시에 지원하는 설계는 구현 복잡성을 수반한다. POSIX는 강한 일관성을 기대하지만 S3 오브젝트 스토리지는 최종 일관성에 기반하는데, CubeFS는 이 간극을 POSIX 시맨틱 일부를 의도적으로 완화해서 메운다. 메타데이터 쪽에서도 POSIX 파일시스템의 inode·dentry 기반 계층 구조, S3의 평면(flat) 키 공간, HDFS의 블록 기반 구조를 하나의 메타데이터 서브시스템에서 함께 처리해야 한다.

성능 벤치마크는 쓰기 속도 1.2GB/s 이상, H20 GPU 노드에서 대용량 파일 10개 동시 쓰기 시 10GB/s 이상, 단일 파일 읽기 2GB/s 이상, 일반 작업 수백 마이크로초 지연 수준이다. Ceph와 비교한 일부 벤치마크에서 3배 빠른 결과가 보고됐고, MinIO 대비로는 멀티프로토콜로 파일과 오브젝트를 함께 다루는 지점에서 강점을 보인다.

CNCF 안에서의 위치와 다음 로드맵

CNCF 분산 스토리지 프로젝트 중 POSIX+HDFS+S3 세 가지를 상호운용 가능한 형태로 동시 지원하는 것은 CubeFS만의 포지션이다. 2025년 로드맵은 메타데이터 서비스 비용 최적화, 계층형 스토리지(핫/콜드 데이터 자동 전환), 분산 캐시 가속화(멀티클라우드 지원), 분산 추적 기반 옵저버빌리티 향상에 초점을 맞추고 있다. 아시아 테크 기업 중심의 엔터프라이즈 채택과 클라우드 네이티브 AI/ML 인프라 수요 증가가 글로벌 확산을 밀어붙일 것으로 보인다.