NPU 아키텍처: 신경망 전용 연산 유닛이 CPU·GPU와 갈라지는 지점

스마트폰이 카메라 프레임을 실시간으로 보정하고, 노트북이 배경 분리와 아이컨택트 보정을 로컬에서 처리하는 일은 GPU가 아니라 NPU(Neural Processing Unit)가 맡는다. 온디바이스 AI 수요가 늘고 전력·지연 제약이 강해질수록, 신경망 연산에만 특화된 전용 가속기의 역할이 커지고 있다. NPU는 신경망의 대량 MAC(Multiply-Accumulate)·텐서 연산을 데이터플로우 방식으로 병렬 처리하는 전용 가속기로, 행렬-벡터·컨볼루션 패턴에 최적화된 시스톨릭 어레이와 벡터 유닛을 채택한다.

CPU·GPU와 갈라지는 지점

CPU는 범용 제어에, GPU는 대규모 배치 그래픽·병렬 연산에 최적화돼 있다. NPU는 여기서 한 걸음 더 좁혀 들어가 정수 저정밀(INT8/INT4)·저지연 파이프라인·온칩 메모리 계층을 신경망 연산 하나에 맞춰 설계한다. 목표는 절대 성능이 아니라 전력당 성능(Perf/W)이다. 소프트웨어 스택은 ONNX·TensorFlow·PyTorch 같은 프론트엔드에서 시작해 컴파일러·그래프 옵티마이저를 거쳐, NNAPI·Core ML·DirectML·OpenVINO·TensorRT delegate 같은 런타임·드라이버로 내려간다.

연산 유닛과 메모리가 함께 좁아진다

연산 유닛은 시스톨릭 어레이·텐서 코어 기반의 대량 병렬 MAC 처리를 중심으로 하고, INT8/INT4 정수 저정밀과 FP16/bfloat16 반정밀을 지원하며 스파시티를 활용한다. 메모리 계층은 온칩 SRAM·신경망 버퍼와 DMA로 외부 DRAM 왕복을 최소화하는 방향으로 설계되고, 타일링·리유즈·프리패칭이 대역폭 병목을 완화한다. 컴파일러는 연산자 퓨전, 패턴 매칭, 정적 스케줄링, 양자화 캘리브레이션을 수행하며 미지원 연산자는 분해·대체하거나 폴백 경로로 자동 라우팅한다. 전력·스케줄링 측면에서는 DVFS·파워게이팅·스트림 병렬로 지연과 열을 균형 잡고, 실시간 QoS·우선순위 스케줄링으로 서비스 지연 목표를 지킨다. 신뢰성·관측성은 워치독·타임아웃·성능 카운터·열/전력 텔레메트리로 확보하며, 실패 시 GPU/CPU 폴백이 내장된다.

어디에 쓰이는가

모바일·PC 온디바이스에서는 카메라 실시간 HDR·슈퍼레졸루션·세그멘테이션, 음성 인식·번역·노이즈 억제가 대표 사례다. 로컬 LLM 챗·요약·코파일럿, 화상회의 배경 분리·아이컨택트 보정도 여기에 포함된다. 산업·엣지에서는 비전 검수·이상 탐지·스마트 리테일, 저전력 게이트웨이에서의 추론 오프로딩이 쓰인다. 자동차는 전방·주변 인지, 캐빈 모니터링, 맵 로컬라이제이션, 센서 퓨전의 저지연 추론에 NPU를 활용한다. 데이터센터에서는 고효율 스케일아웃형 서비스 추론을 NPU에 맡기고 GPU 자원은 학습·고난도 모델에 집중시키는 오프로딩 전략이 일반적이다.

도입은 지연 목표 정의에서 시작한다

먼저 타깃 지연·처리량·전력 예산을 정하고 KPI·SLO를 세운 뒤, 타깃 연산자 커버리지와 메모리 풋프린트를 검증한다. 최적화 파이프라인에서는 양자화(PTQ/QAT), 프루닝/스파시티, 레이어 퓨전, 타일링 전략을 세우고 정밀도-정확도 트레이드오프를 정량 검증한다. 컴파일·배포 단계에서는 벤더 컴파일러로 NPU 그래프를 생성하고 미지원 연산은 폴백으로 라우팅하며, 컨테이너·패키지화와 드라이버·펌웨어 버전 고정을 거친다. 런타임 통합에서는 스트림·버퍼 관리, DMA 동기화, QoS 스케줄링을 연결하고 타임아웃·리트라이·폴백 처리 루틴을 구현한다. 관측·튜닝 단계는 성능 카운터·열 로그를 모아 메모리·연산·스케줄링 병목을 분석하고 배치·타일 크기, 쓰로틀링 임계값, 전력 한계를 동적으로 조정한다. 마지막으로 TEE·키보관·모델 무결성 검증, 안전모드·워치독, 펌웨어 롤백·점진 배포로 신뢰성·보안을 다진다.

⤢✕

CPU·GPU·NPU 핵심 지표 비교

항목	CPU	GPU	NPU
성능	범용 처리 강점, 지연 높음	대규모 배치 처리 강점, 지연 중간	실시간·소배치 최적, 지연 최소
확장성	코어/클럭 수직 확장	SM 다중화, 배치 수평 확장	엔진 병렬·타일링 기반 수평 확장
일관성	스케줄 변동 적음	배치·메모리 상태 따라 변동	DVFS/열 영향에 민감, 예약으로 완화
안정성	성숙도 높음	드라이버/열 관리 성숙	펌웨어 의존, 벤더별 편차 존재
운영 편의	도구·디버깅 성숙	생태계 성숙(CUDA 등)	툴체인 단편화, 연산자 커버리지 제약

수치로 보면 격차가 더 뚜렷하다. 모바일 비전·음성 기준으로 NPU는 CPU 대비 520배, GPU 대비 25배 지연이 개선되고, 파이프라인 병렬화로 p95 지연 변동을 3060% 줄일 수 있다. 전력 효율(Perf/W)은 CPU 대비 515배, GPU 대비 24배 개선되며 배터리 소모는 2050% 절감된다. 엣지·게이트웨이 대수를 줄이면 TCO도 30~60% 절감할 수 있다. 다만 이 수치들은 워크로드·모델·벤더·세대별로 편차가 크므로 최신 정보 확인이 필요하다.

신뢰성은 정밀도·전력·연산자에서 무너진다

보안 모범사례로는 모델 암호화·서명 검증, TEE/SE 기반 키 관리, 런타임 무결성 측정, 텐서 버퍼 경계 검사, DMA IOMMU 격리, 민감 데이터 메모리 제로화가 있다. 운영 트레이드오프에서는 정확도와 정밀도(INT8/INT4) 사이의 균형을 QAT·교정 세트 품질로 관리해야 하고, 열 스로틀을 막기 위한 파워 캡·QoS는 성능 안정성과 피크 성능 사이의 선택 문제다. 연산자 미지원 리스크는 폴백·대체 그래프 경로 설계로 완화한다. 관측성 측면에서는 성능 카운터·열·전력 텔레메트리를 수집해 SLA 위반 시 동적으로 파라미터를 튜닝하고, 실패 패턴을 분류·자동 격리하며 점진 배포·롤백 전략을 운영한다.

온디바이스 추론은 개인정보 외부 전송을 최소화하고 오프라인 환경에서도 동일 품질을 유지할 수 있다는 점에서 품질·프라이버시 측면의 이점도 있다. 도입은 지연·전력·비용 KPI 기준의 파일럿에서 시작해 벤더 툴체인 호환성을 검증하고, 관측·신뢰성 체계를 갖춘 뒤 점진적으로 확장하는 편이 안전하다.