엔비디아, GPU 시장 86% 점유율의 진짜 해자는 소프트웨어다

2026년 현재 엔비디아는 AI 데이터센터 GPU 시장에서 86%의 점유율을 유지하고 있다. AMD MI355X가 특정 추론 벤치마크에서 엔비디아 B200 대비 30% 빠른 성능을 기록하고, 구글 TPU와 자체 칩이 확산되는 상황에서도 엔비디아의 지배력이 흔들리지 않는 이유는 하드웨어가 아니라 소프트웨어에 있다.

CUDA, 20년째 표준으로 남은 이유

CUDA(Compute Unified Device Architecture)는 2006년 출시 이후 20년간 GPU 컴퓨팅의 사실상 표준으로 자리잡았다. 이 장기적 축적이 만들어낸 생태계의 규모는 후발 주자가 단기간에 복제할 수 없는 수준이다. 전 세계 400만 명 이상의 CUDA 개발자를 확보했고, PyTorch·TensorFlow·JAX 등 모든 주요 ML 프레임워크가 CUDA에 우선 최적화돼 있으며, cuDNN(딥러닝)·cuBLAS(선형대수)·TensorRT(추론 최적화)·NCCL(멀티 GPU 통신) 등 도메인별 특화 라이브러리가 갖춰져 있다. 기존 CUDA 코드베이스를 다른 플랫폼으로 이식하는 데는 수년 단위의 공수가 든다.

⤢✕

칩과 소프트웨어를 함께 설계하는 전략

엔비디아의 경쟁력은 칩 자체의 성능뿐 아니라 하드웨어와 소프트웨어를 동시에 설계하는 풀스택(full-stack) 전략에서 나온다. 2025년 출시된 B100/B200 시리즈 Blackwell 아키텍처는 Hopper 대비 추론 성능 4배 향상, FP4 정밀도 지원으로 LLM 추론 비용을 대폭 절감했다. 2026년 말 출시 예정인 차세대 Rubin 아키텍처는 Blackwell 대비 추론 성능 약 5배 향상이 전망된다. 선단 패키징 기술에서 TSMC와의 우선 파트너십으로 공급을 확보하는 TSMC CoWoS 우선 배분, NVLink와 InfiniBand로 멀티 GPU·멀티 노드 확장성을 제공하는 네트워킹 통합도 뒷받침한다. 하드웨어 성능 우위와 소프트웨어 최적화가 결합되면 경쟁사가 하드웨어 벤치마크에서 우위를 점하더라도 실제 워크로드에서의 총 성능 격차는 좁혀지지 않는 구조가 형성된다.

AMD·구글·인텔은 어디까지 왔나

AMD, 구글, 인텔 등 후발 주자들이 적극적으로 도전하고 있으나 구조적 한계에 직면하고 있다.

경쟁사	제품	강점	한계
AMD	MI355X, MI400 시리즈	추론 성능 우위, 오픈소스 ROCm	소프트웨어 생태계 미성숙, 프레임워크 호환성
Google	TPU v5p, Trillium	자체 워크로드 최적화, 클라우드 통합	외부 개발자 접근 제한, 범용성 부족
Intel	Gaudi 3	가격 경쟁력, x86 생태계 연계	AI 성능 격차, 시장 인지도

ROCm이 2026년 들어 CUDA와의 성능 격차를 크게 좁혔으나, 라이브러리 커버리지와 안정성에서는 여전히 격차가 있다. Claude Code가 30분 만에 CUDA 코드를 ROCm으로 포팅한 사례가 보고되며 AI 도구가 전환 비용을 낮출 가능성을 시사했고, 엔비디아 점유율은 2024년 90%에서 2026년 86%로 소폭 하락하며 AMD가 추론 시장에서 점유율을 넓히고 있다.

⤢✕

미국 법무부가 들여다보는 것

엔비디아의 시장 지배력은 규제 당국의 관심도 끌고 있다. 미국 법무부(DOJ)가 엔비디아에 대한 반독점 조사를 강화하고 있으며, CUDA 소프트웨어를 하드웨어와 묶어 판매하는 관행에 대한 소프트웨어 번들링 조사, 경쟁 제품을 기피하는 고객에게 우선 칩 배분을 제공한다는 의혹에 대한 칩 배분 우선권 조사, 개발자 락인이 실질적 독점으로 기능하는지에 대한 생태계 독점 법적 검토가 핵심 쟁점이다. 이 조사 결과에 따라 CUDA 생태계의 개방성이 강제될 가능성이 있으며, 이는 장기적으로 시장 구조를 변화시킬 수 있는 변수다.

이 구조가 흔들릴 수 있는 지점

단기(2026~~2027)에는 엔비디아의 80% 이상 점유율 유지가 전망되고, Rubin 아키텍처 출시로 성능 격차가 재확대될 가능성이 있다. 중기(2027~~2028)에는 AMD MI400 시리즈의 시장 침투 확대로 점유율이 75% 수준까지 하락할 가능성과 ROCm 생태계 성숙이 예상된다. AI 에이전트에 의한 코드 이식 자동화가 전환 비용을 획기적으로 낮출 경우 CUDA 락인 효과가 약화될 수 있다는 것이 구조적 변수로 꼽힌다.

엔비디아의 86% GPU 시장 점유율은 하드웨어 성능만으로 설명되지 않는다. 20년간 축적된 CUDA 생태계, 400만 개발자 기반, 하드웨어-소프트웨어 공동 설계 전략이 만들어낸 구조적 해자(moat)가 핵심이다. AMD ROCm의 성장과 AI 에이전트에 의한 코드 이식 자동화가 이 해자를 허물 수 있을지는 향후 2~3년간의 생태계 경쟁에 달려 있다.