DDR5·HBM·Optane으로 보는 이기종 메모리 계층

메모리 병목은 같은 방식으로 풀리지 않는다

컴퓨팅 시스템의 병목은 메모리 대역폭이나 지연시간에서 드러나는 경우가 많다. DDR5, HBM, Optane Memory는 각각 다른 제약을 겨냥한 기술이다. 범용 메모리의 처리량, 가속기 가까이에서의 대역폭, 전원이 꺼져도 남는 대용량 메모리라는 요구를 한 가지 기술로 모두 해결할 수는 없다.

운영체제 관점에서는 이 메모리들을 개별 장치가 아니라 서로 다른 성능과 특성을 가진 계층으로 다루게 된다.

범용 메모리로서의 DDR5

DDR5는 DDR4와 비교해 채널당 4.8~~6.4 GT/s의 대역폭을 제공한다. DDR4의 채널당 대역폭은 2.4~~3.2 GT/s다. 동작 전압은 1.1V이며, DDR4의 1.2V와 비교해 20% 전력 절감이 제시된다. 단일 DIMM은 최대 128GB를 지원한다.

DIMM 내부에는 온다이 ECC가 포함되고, 채널은 독립적으로 동작하는 듀얼 32비트 서브채널로 나뉜다.

독립 서브채널이 만드는 병렬성

⤢✕

두 32비트 서브채널은 각각 리프레시 명령을 처리할 수 있다. 이 구조는 메모리 액세스 충돌을 줄이고 전체 대역폭을 더 효율적으로 쓰는 데 기여한다.

운영체제는 다음과 같은 방식으로 DDR5의 구조를 활용할 수 있다.

서브채널별 메모리 영역을 NUMA 노드로 인식하는 NUMA 인식 할당
뱅크 그룹별로 페이지를 배치해 병렬성을 높이는 페이지 컬러링
온도 센서를 바탕으로 리프레시 주기를 조정하는 적응형 리프레시
온다이 ECC 오류 로그를 수집해 신뢰성을 관찰하는 ECC 통계 수집

HBM은 가속기 옆에서 대역폭을 확보한다

HBM은 DRAM 다이를 수직으로 쌓는 3D 적층 방식의 메모리다. 8~16개 DRAM 다이를 적층하고, 다이 사이 연결에는 TSV(Through-Silicon Via)를 사용한다. GPU나 AI 가속기와 인터포저 위에 함께 패키징하는 근접 배치가 특징이다.

HBM3 기준 최대 대역폭은 819 GB/s로, DDR5의 5배 이상이다. pJ/bit 단위의 전력 효율은 DDR5보다 70% 우수하다.

⤢✕

각 HBM 스택은 TSV로 연결된 DRAM 다이로 구성되며 1024비트 채널 폭을 제공한다. 이 대역폭 특성은 대규모 신경망 학습의 가중치 행렬 접근, 4K/8K 텍스처 스트리밍, 대규모 행렬 연산과 분자동역학 시뮬레이션, 인메모리 DBMS의 테이블 스캔에 맞닿아 있다.

Optane은 메모리와 스토리지 사이를 겨냥한다

Intel Optane Memory는 3D XPoint를 기반으로 한 영속성 메모리다. DRAM과 NAND 플래시 사이의 성능 격차를 메우는 용도로 설계됐으며, 전원이 차단돼도 데이터를 보존한다.

NAND와 달리 바이트 단위로 직접 접근할 수 있다. 레이턴시는 DRAM의 10배, NAND의 1/1000 수준이며, 쓰기 내구성은 NAND 대비 1000배 높다. 메모리 확장 용도에서는 DIMM당 최대 512GB를 제공한다.

App Direct와 Memory 모드

⤢✕

App Direct 모드에서는 Optane을 영속성 메모리로 직접 매핑할 수 있다. Memory 모드에서는 DRAM을 캐시로 두고 Optane을 주메모리로 사용해 대용량 메모리를 확장한다.

프로그래밍 모델에는 PMDK(Persistent Memory Development Kit), 파일시스템 버퍼 캐시를 우회하는 DAX(Direct Access), CLWB와 CLFLUSHOPT를 통한 CPU 캐시 플러시 기반 영속성 제어가 포함된다. undo 로그를 기반으로 한 트랜잭션 메모리는 원자적 메모리 업데이트를 다룬다.

운영체제가 메모리 티어를 관리하는 방식

DDR5, HBM, Optane을 함께 쓰는 시스템에서는 메모리 관리자가 속도가 다른 계층을 분류하고 데이터 배치를 조절할 수 있다.

⤢✕

페이지 테이블의 액세스 비트로 접근 빈도를 추적하면 핫 페이지와 콜드 페이지를 구분할 수 있다. 핫 페이지는 HBM으로, 콜드 페이지는 Optane으로 이동시키고, 프로세스 친화성을 고려한 NUMA 밸런싱으로 메모리 티어를 배정한다. 이 과정은 애플리케이션 수정 없이 운영체제가 투명하게 처리할 수 있다.

Linux 커널에서는 티어별 Transparent Huge Pages 정책, HBM과 DDR5 간 자동 페이지 밸런싱을 위한 AutoNUMA, 컨테이너별 티어 할당 쿼터를 위한 cgroup 메모리 제어, 메모리 대역폭 사용률을 보는 perf 이벤트 카운터를 활용할 수 있다.

대역폭과 지연시간, 용량의 비교

특성	DDR5	HBM3	Optane
대역폭	64 GB/s	819 GB/s	8 GB/s
레이턴시	80 ns	100 ns	300 ns
용량/DIMM	128 GB	24 GB	512 GB
전력(pJ/bit)	15	4.5	25
비휘발성	X	X	O
주요 용도	범용 메모리	AI/HPC	대용량/영속성

대규모 신경망 학습은 HBM의 높은 대역폭을 활용하는 대상이다. 인메모리 데이터베이스는 DDR5와 Optane을 함께 두고 핫 데이터와 콜드 데이터를 나누는 구성이 가능하다. 컨테이너 밀도에는 DDR5의 비용 효율성이, 영속성 스토리지에는 Optane의 비휘발성 특성이 대응한다.

메모리 계층의 핵심은 모든 데이터를 가장 빠른 곳에 두는 데 있지 않다. 워크로드의 접근 패턴과 영속성 요구를 기준으로 HBM, DDR5, Optane의 역할을 나누고, 페이지 마이그레이션과 티어 정책으로 그 배치를 유지하는 데 있다.