황의 법칙과 AI 컴퓨팅 성능의 가속
황의 법칙의 메모리 용량 증가 개념과 GPU 기반 AI 컴퓨팅 성능 가속, 무어의 법칙과의 차이 및 한계를 정리한다.
2026-08-14 · 최초 발행 2025-12-28
메모리 용량의 증가에서 AI 연산 성능의 가속으로
황의 법칙(Hwang's Law)은 NVIDIA의 CEO 젠슨 황(Jensen Huang)이 제시한 반도체 메모리 용량 증가에 관한 법칙이다. 핵심은 반도체 메모리 용량이 매년 2배씩 증가한다는 데 있다.
이 개념은 처음에는 DRAM 같은 메모리 칩의 집적도와 용량 증가를 설명했다. 이후 GPU가 AI 연산의 중심 장치가 되면서, GPU를 기반으로 한 AI 컴퓨팅 성능이 빠르게 커지는 흐름까지 가리키는 말로 넓어졌다. AI 시대의 GPU 성능 향상은 무어의 법칙보다 빠른 속도로 묘사되며, 대규모 모델과 생성형 AI를 가능하게 한 기술 기반으로 연결된다.
메모리 반도체 산업에서 출발한 법칙
1970년대와 1980년대에는 DRAM 용량이 매년 약 2배씩 증가했다. 18개월마다 2배 증가하는 무어의 법칙과 비교하면, 황의 법칙은 12개월마다 2배라는 더 짧은 주기를 전제로 한다.
이 증가 속도는 한국·일본·미국의 메모리 반도체 경쟁과 맞물렸고, PC·서버·모바일 기기에서 활용 가능한 메모리 용량을 크게 넓혔다.
GPU 컴퓨팅과 딥러닝이 부상한 뒤에는 황의 법칙이 다른 맥락에서도 쓰이기 시작했다.
무어의 법칙보다 빠른 성장으로 보는 이유
무어의 법칙은 18개월마다 2배, 연간 약 1.6배의 성장으로 표현된다. 전통적 황의 법칙은 12개월마다 2배, 즉 연간 2배다. AI 시대의 황의 법칙은 GPU AI 성능이 연간 2-3배 이상 향상되는 흐름을 가리킨다.
이를 2010년 성능을 1로 두고 10년 동안 누적하면 차이가 커진다.
NVIDIA GPU의 세대 변화는 이 가속을 보여주는 사례로 제시된다.
- 2016 Tesla P100: 21 TFLOPS (FP16)
- 2020 A100: 312 TFLOPS (FP16) → 4년간 약 15배
- 2022 H100: 1,000 TFLOPS (FP8) → 2년간 약 3배
- 2024 B100 (예상): 2,000+ TFLOPS → 지속적 가속
GPU 성능을 끌어올린 설계와 생태계
성능 향상은 단순히 연산 유닛 수를 늘린 결과만은 아니다. Tensor Core 같은 AI 연산 특화 가속기, FP32·FP16·INT8·FP8을 아우르는 혼합 정밀도 지원, 수만 개 CUDA 코어를 활용하는 병렬 처리, HBM(High Bandwidth Memory)을 통한 메모리 대역폭 향상이 함께 작동한다.
GPU는 범용 CPU와 달리 AI 연산에 맞춘 구조를 갖는다. 같은 연산을 대량 데이터에 동시에 적용하는 데이터 병렬성과 L1/L2 캐시·공유 메모리·HBM을 활용하는 메모리 계층, 여러 GPU를 묶는 스케일아웃이 대규모 학습 환경의 기반이 된다.
하드웨어만으로는 이 흐름을 설명하기 어렵다. CUDA, cuDNN, TensorRT, NVLink와 프레임워크 최적화가 결합된 소프트웨어 스택도 중요하다.
학습과 추론의 비용 구조를 바꾼 GPU
GPU 성능의 증가는 GPT·Claude·Gemini 같은 대규모 언어 모델, Stable Diffusion·DALL-E·Midjourney의 이미지 생성, Sora·Runway 등의 동영상 생성, 단백질 접힘·신약 개발·기후 모델링 같은 과학 연구에 영향을 준다.
성능 향상은 AI 학습 비용 감소와 추론 속도 향상, 새로운 AI 응용의 가능성으로 이어진다. 이 흐름은 스타트업의 진입장벽을 낮추고 AI 민주화로 연결되는 한편, GPU 수요 증가와 AI 인프라 투자 경쟁도 낳는다.
AWS·Azure·GCP에서는 GPU 인스턴스 수요가 급증하고, 데이터 센터에서는 GPU 클러스터 구축 경쟁이 이어진다. 동시에 AI 학습과 추론에 필요한 전력 소비도 증가한다.
GPU 세대와 학습 시간의 변화
| 세대 | 출시년도 | AI 성능 (TFLOPS) | 주요 특징 |
|---|---|---|---|
| Tesla K40 | 2013 | 4.3 (FP32) | 초기 딥러닝 GPU |
| Tesla P100 | 2016 | 21 (FP16) | 첫 Tensor Core 전 세대 |
| Tesla V100 | 2017 | 125 (Tensor) | 첫 Tensor Core 도입 |
| A100 | 2020 | 312 (FP16) | Ampere 아키텍처 |
| H100 | 2022 | 1,000 (FP8) | Hopper 아키텍처 |
| B100 | 2024 (예정) | 2,000+ (추정) | Blackwell 아키텍처 |
AI 학습 시간도 하드웨어와 클러스터 최적화의 영향을 직접 받는다.
성능 향상이 마주하는 제약
GPU 성능의 가속에는 물리적·운영적 한계가 있다. 트랜지스터 크기, 발열, 전력 소비는 기술적 제약이며, 연산 속도에 비해 부족한 메모리 대역폭은 병목으로 남는다. Reticle limit와 수율 문제는 칩 크기 확장을 제한한다. 최신 GPU 가격도 상승하며 H100은 1개당 수만 달러에 이른다.
전력과 냉각도 데이터 센터 운영의 핵심 과제가 된다. 단일 GPU는 수백 와트를 소비하고, 데이터 센터는 수 메가와트 규모의 전력을 요구한다. 고밀도 GPU 클러스터의 열 관리, AI 학습의 탄소 발자국, TSMC 의존으로 나타나는 첨단 반도체 제조 능력의 집중 역시 지속 가능성과 공급망 측면의 문제다.
성능 향상과 모델 크기 증가는 비용 부담을 키워 대기업 중심화와 AI 양극화 우려로 이어질 수 있다.
성능 경쟁을 보완하는 접근
모델 압축에서는 Pruning, Quantization, Distillation이 활용된다. MobileNet·EfficientNet·Transformer 경량화 같은 효율적 아키텍처, 0이 많은 행렬을 효율적으로 다루는 희소 연산, 필요한 부분만 활성화하는 조건부 연산인 혼합 전문가(MoE)도 같은 방향의 접근이다.
하드웨어 선택지도 넓어지고 있다. 구글 TPU(Google의 Tensor Processing Unit), Cerebras·Graphcore·SambaNova의 AI 전용 칩, 뇌 구조를 모방한 Intel Loihi·IBM TrueNorth 같은 뉴로모픽 칩, 빛을 이용한 초고속 연산을 목표로 하는 광 컴퓨팅이 대안으로 언급된다.
컴퓨팅 위치를 바꾸는 방식도 있다. 연합 학습은 데이터를 중앙에 모으지 않고 분산 학습하며, 엣지 AI는 클라우드가 아니라 기기에서 직접 추론한다. 대형 모델을 여러 기기에 나누는 모델 분할과 엣지 기기에 맞춘 경량 모델도 이 흐름에 속한다.
GPU 중심 환경 이후의 컴퓨팅 선택지
단기(2025-2027)에는 황의 법칙이 지속되며 연간 2배 성장이 유지될 수 있다. 중기(2028-2030)에는 성장률이 둔화하고 다른 혁신이 필요해질 가능성이 있으며, 장기(2030+)에는 양자 컴퓨팅 등을 포함한 완전히 새로운 패러다임이 거론된다.
AI 컴퓨팅은 대형 모델을 위한 클라우드 AI, 경량 모델을 위한 엣지 AI, 분산 처리를 위한 하이브리드 방식으로 나뉠 수 있다.
헬스케어에서는 의료 영상 분석과 신약 개발의 AI화, 자율주행에서는 실시간 인지와 판단을 위한 고성능 AI 칩, 제조업에서는 스마트 팩토리와 품질 검사 자동화가 연결된다. 금융의 고빈도 거래·리스크 분석·사기 탐지, 크리에이티브 분야의 콘텐츠 생성과 디자인 자동화도 같은 변화권에 있다.