매니코어 프로세서와 대규모 병렬 처리 아키텍처

코어 수보다 전체 처리량을 우선하는 설계

매니코어 프로세서는 수십 개에서 수백 개의 처리 코어를 단일 칩에 넣어 대규모 병렬 연산을 수행하는 아키텍처다. 수십 개 이상, 일반적으로 64개 이상의 코어를 통합하며 수백~수천 개 스레드를 동시에 실행하는 데 초점을 둔다.

개별 코어를 빠르게 만드는 대신, 비교적 단순하고 저전력인 코어를 많이 배치해 전체 처리량을 높인다. 대규모 과학 계산, 시뮬레이션, 빅데이터 분석, AI처럼 병렬성이 높은 워크로드가 주요 대상이다.

구분	멀티코어	매니코어
코어 수	2 ~ 32개	64개 ~ 수백 개
코어 복잡도	복잡 (Out-of-Order, 큰 캐시)	단순 (In-Order, 작은 캐시)
설계 목표	범용 성능 균형	쓰루풋 최대화
개별 코어 성능	높음	낮음
전체 처리량	중간	매우 높음
전력 효율	중간	높음 (병렬 작업 시)
프로그래밍	상대적으로 쉬움	어려움 (대규모 병렬화 필요)
적용 분야	범용 컴퓨팅	HPC, AI, 빅데이터

대규모 계산과 시뮬레이션 수요, 빅데이터와 AI의 병렬 처리 요구가 매니코어 설계를 밀어 올렸다. 고전력 소수 코어보다 저전력 다수 코어가 효율적일 수 있다는 점, GPU의 대규모 병렬 처리 성공, 여러 서버 대신 단일 칩 안에서 스케일아웃하려는 요구도 배경에 있다.

타일과 NoC로 구성하는 칩 내부 연결

매니코어는 보통 코어, L1 캐시, NoC 라우터를 묶은 타일을 반복 배치한다. 타일은 독립적으로 동작하고, 같은 구조를 격자 형태로 늘릴 수 있어 코어 수 확장에 적합하다. 각 타일의 코어는 In-Order 파이프라인과 작은 캐시를 사용하는 단순한 설계를 취한다.

⤢✕

타일 사이의 통신은 Network-on-Chip(NoC)이 담당한다. 대표 토폴로지는 타일을 격자로 잇는 2D Mesh이며, Mesh의 가장자리를 연결한 Torus도 사용한다. 패킷 기반 통신과 XY 라우팅 알고리즘을 적용하고, 다중 경로를 통해 높은 총 대역폭과 네트워크 확장성을 확보한다.

⤢✕

메모리 계층도 병렬 처리의 일부다. L1 Cache는 각 코어 전용이며 용량은 16KB ~ 32KB다. L2 Cache는 타일별로 두거나 두지 않을 수 있고, L3 Cache는 여러 타일로 나뉜 분산 공유 캐시로 구성된다. 여러 DRAM 채널을 위한 다중 메모리 컨트롤러를 두어 대역폭을 확보하지만, NUMA 특성 때문에 타일 위치에 따라 메모리 접근 지연은 달라진다.

단순한 코어를 많이 배치하는 이유

매니코어의 코어는 Out-of-Order 없이 순차 실행하는 In-Order Execution을 택할 수 있다. 파이프라인은 5 ~ 7 stage로 짧고, 레지스터 파일과 L1 캐시도 작게 구성하며, 전력 소비를 낮추기 위해 저주파수로 동작한다.

이 선택은 단일 스레드 성능에는 불리할 수 있지만, 병렬 작업에서는 전력 대비 성능을 높이는 토대가 된다. 일부 코어만 켜고 나머지를 비활성화하는 다크 실리콘도 전력 제약을 다루는 방식이다.

⤢✕

확장성은 모듈화에서 나온다. 타일을 추가해 코어 수를 늘리고, 균일한 타일 구조로 설계를 단순하게 유지한다. 캐시와 메모리 컨트롤러는 분산 배치하며, NoC 토폴로지가 코어 간 연결을 담당한다. 여러 칩을 조합하는 Chiplet 방식도 대규모 시스템 구성에 쓰인다.

제품에서 확인할 수 있는 구현 방식

Intel Xeon Phi Knights Landing은 최대 72코어, x86-64 ISA, 4-way SMT를 사용했다. MCDRAM과 DDR4를 함께 사용해 HPC와 과학 계산을 겨냥했으며, 2020년 단종되어 GPU에 밀렸다.

⤢✕

Tilera TILE-Gx는 최대 100코어의 VLIW 기반 타일 구조와 2D Mesh 네트워크를 사용했다. 네트워크 장비와 비디오 처리가 대상이며, 소프트웨어 정의 네트워크(SDN)에 최적화된 특성을 갖는다.

Kalray MPPA는 256코어를 16클러스터 x 16코어로 구성한 VLIW 기반 프로세서다. 2D Torus NoC를 사용하며 임베디드 HPC와 자율주행을 위한 저전력 고성능 구현에 쓰인다.

Fujitsu A64FX는 48코어 + 4 어시스턴트 코어와 ARM SVE(Scalable Vector Extension)를 사용한다. 후가쿠(Fugaku) 슈퍼컴퓨터에 적용됐고, HBM2의 높은 대역폭을 활용하며 2020-2021년 세계 최고 성능 슈퍼컴퓨터였다.

SiPearl Rhea는 72코어 ARM Neoverse와 ARM v8.2 아키텍처를 기반으로 유럽 엑사스케일 슈퍼컴퓨터를 대상으로 한다. HBM2e와 PCIe Gen5가 특징이다.

병렬화를 설계할 때 보는 지점

매니코어를 활용하는 애플리케이션은 공유 메모리 모델(OpenMP, TBB), 메시지 패싱 모델(MPI), MPI + OpenMP 하이브리드 모델, 데이터 병렬 모델(OpenCL, SYCL)을 선택할 수 있다. 그 위의 런타임은 태스크 스케줄러, 메모리 관리, 통신 라이브러리를 통해 64+ 코어, NoC, 분산 메모리로 이어진다.

⤢✕

병렬화는 작은 작업을 다수 코어에 나누는 Fine-grained Parallelism, 태스크 단위의 Task-based Programming(TBB, OpenMP Tasks), 데이터를 분할하는 Data Parallelism, 단계별 작업을 나누는 Pipeline Parallelism, 동일 프로그램을 다른 데이터에 적용하는 SPMD 방식으로 구성할 수 있다.

성능을 위해서는 모든 코어가 일을 나누어 갖도록 Load Balancing을 적용하고, 각 코어가 로컬 데이터에 접근하도록 데이터 지역성을 높여 NoC 트래픽을 줄여야 한다. 코어 간 통신 오버헤드를 낮추고, NUMA Awareness로 메모리 접근 패턴을 조정하며, SIMD 명령어를 활용하는 벡터화도 필요하다.

코어를 늘릴수록 커지는 제약

수십~수백 개 코어를 효율적으로 쓰려면 순차 코드를 병렬화해야 하며, 대규모 병렬 프로그램의 디버깅과 병목 분석, 성능 튜닝이 복잡해진다. 기존 레거시 코드도 이 전환의 대상이 된다.

메모리 계층은 특히 쉽게 병목이 된다. 코어 수에 비해 메모리 대역폭이 부족할 수 있고, 메모리 접근 지연은 성능 저하를 일으킨다. 캐시 일관성 유지 비용과 동시 통신에서 생기는 NoC 경쟁도 고려해야 한다.

⤢✕

전력 제약 때문에 모든 코어를 동시에 최대 성능으로 실행하지 못하는 다크 실리콘, 높은 코어 밀도에 따른 열 관리, 코어별 동적 전력 상태 관리, 고성능 냉각 시스템의 비용도 운영 제약이 된다. 암달의 법칙에 따른 순차 구간, 코어 증가에 비례하는 동기화 비용, NoC 거리 증가에 따른 통신 지연, 수백 개 코어 통합 시 제조 비용 급증도 확장성의 한계다.

GPU와 닮았지만 다른 선택지

매니코어 CPU와 GPU는 수십~수백 개의 처리 유닛을 사용하고, 단순하고 저전력인 개별 유닛을 통해 전체 처리량을 높이며, 병렬성이 높은 작업에 맞는다는 공통점이 있다.

구분	매니코어 CPU	GPU
ISA	x86, ARM 등 범용	전용 ISA (CUDA, 셰이더)
프로그래밍	C/C++, OpenMP, MPI	CUDA, OpenCL, 셰이더 언어
코어 복잡도	단순하지만 독립적	매우 단순, SIMT
캐시	각 코어 L1, 공유 L3	작은 캐시, 높은 대역폭 메모리
제어 흐름	복잡한 제어 가능	분기에 약함
범용성	높음	낮음 (특정 워크로드)
생태계	성숙한 HPC 도구	딥러닝, 그래픽 중심

따라서 병렬성만으로 둘을 같은 선택지로 볼 수는 없다. 범용 ISA와 복잡한 제어 흐름, HPC 도구 생태계가 필요한 경우에는 매니코어 CPU의 성격이 다르게 작용한다.

엑사스케일과 이후의 응용

엑사스케일 컴퓨팅은 수백만 코어로 엑사플롭 성능을 달성하고, 노드당 수백 개 코어를 사용하는 방향을 포함한다. 목표 에너지 효율은 엑사플롭/20MW이며, 후가쿠는 A64FX 매니코어로 2020년 세계 1위를 달성했다.

기술적으로는 여러 다이를 수직으로 쌓는 3D 적층, 작은 칩을 조합하는 Chiplet, HBM과 CXL을 이용한 메모리 병목 완화, 실리콘 포토닉스를 이용한 광 인터커넥트 기반 NoC 대역폭 확대, AI 전용 유닛 통합이 이어지고 있다.

저전력 다수 코어를 이용한 실시간 AI 추론, 엣지 서버, 5G/6G의 네트워크 기능 가상화(NFV), 실시간 대규모 디지털 트윈 시뮬레이션, 양자 컴퓨터 시뮬레이션은 매니코어가 적용되는 새로운 응용 영역이다.