NTT DATA + NVIDIA AI 팩토리: 엔터프라이즈 AI를 양산 체제로

AI를 실험하는 시대에서 AI를 양산하는 시대로의 전환이 가속화되고 있다. NTT DATA와 NVIDIA의 전략적 파트너십은 이 전환을 상징하는 대표적 사례다. 두 기업은 단순한 기술 공급-수요 관계를 넘어, 엔터프라이즈 기업들이 검증된 AI 솔루션을 빠르게 구축하고 배포할 수 있는 표준화된 'AI 팩토리' 체제를 공동으로 설계했다. 포춘 500대 기업부터 공공기관까지, 조직의 규모와 도메인에 관계없이 AI 도입의 진입 장벽을 낮추겠다는 것이 이 파트너십의 핵심 목표다.

PoC 지옥을 벗어나는 법

전통적인 엔터프라이즈 AI 구축은 프로젝트별 맞춤 개발 방식으로 이뤄졌다. 데이터 수집·정제, 모델 선택, 인프라 구성, 통합 개발, 검증·배포의 전 과정을 매번 처음부터 설계해야 했다. 이 방식은 기간이 길고(평균 12-18개월) 비용이 높으며 결과 예측이 어렵다는 근본적 한계를 가진다. 많은 기업들이 AI PoC(개념 증명)는 성공적으로 완료하지만 프로덕션 배포로 이어지지 못하는 "PoC 지옥"에 빠지는 이유가 여기에 있다. 실험 환경에서 프로덕션 환경으로의 이행 과정에서 예상치 못한 인프라 문제, 보안 요건, 운영 복잡성이 드러나기 때문이다.

NTT DATA와 NVIDIA가 구축한 AI 팩토리는 제조업의 생산 라인 개념을 AI 솔루션 구축에 적용한 것이다. 표준화된 모듈, 검증된 공정, 반복 가능한 프로세스를 통해 맞춤 AI 솔루션을 마치 규격화된 제품처럼 효율적으로 생산하는 체계다.

⤢✕

핵심은 재사용 가능한 AI 모듈이다. 문서 처리, 이상 탐지, 예측 분석, 자연어 처리 등 기업에서 반복적으로 필요한 AI 기능을 사전 검증된 모듈로 구성해 두고, 고객의 요건에 맞게 조합·조정하는 방식이다. 맞춤 설계의 유연성을 유지하면서 표준화의 효율성을 함께 얻는 구조다.

NTT DATA가 맡는 통합과 운영

NTT DATA는 전 세계 50개국 이상에서 사업을 운영하는 글로벌 IT 서비스·컨설팅 기업이다. 수십 년에 걸쳐 금융, 제조, 공공, 헬스케어 등 다양한 산업의 대형 IT 시스템을 구축하고 운영해 온 경험이 AI 팩토리에서 핵심 자산이 된다.

도메인별 데이터 이해에서는 각 산업 도메인의 데이터 특성, 규제 요건, 품질 기준을 깊이 이해하고 있어 AI 학습에 적합한 데이터 파이프라인을 효과적으로 구성할 수 있다. 레거시 시스템 통합에서는 대부분의 대기업이 운영 중인 수십 년 된 레거시 시스템과 AI 솔루션이 원활하게 연동돼야 실질적인 가치를 발휘하는데, NTT DATA의 레거시 통합 전문성이 AI 팩토리가 실제 기업 환경에서 작동할 수 있게 하는 핵심 요소다. 글로벌 운영과 현지화에서는 다국적 기업이 여러 국가에 AI 솔루션을 동시 배포할 때 각국의 데이터 주권 법규(GDPR, 중국 데이터 보안법 등)를 준수하면서 일관된 서비스를 제공하는 복잡한 과제를, NTT DATA의 글로벌 운영 인프라와 현지 규제 전문성이 관리한다.

AI 팩토리에서 NTT DATA는 크게 세 가지 역할을 담당한다. 첫째는 컨설팅과 요구사항 설계로, 고객의 비즈니스 목표를 분석하고 AI로 해결 가능한 문제를 정의하며 적합한 AI 팩토리 모듈 조합을 설계한다. 둘째는 통합 개발과 커스터마이징으로, NVIDIA의 표준 인프라와 모듈 위에서 고객 환경에 맞는 커스터마이징을 수행하고 기존 시스템과의 통합 레이어를 개발한다. 셋째는 운영과 지속적 최적화로, 배포 이후 모델 성능 모니터링, 데이터 드리프트 감지, 재학습 파이프라인 운영 등 AI 솔루션의 생명주기 전반을 관리한다.

DGX·NIM·NeMo가 떠받치는 기술 기반

NVIDIA DGX 시스템은 AI 학습과 추론을 위한 최적화된 하드웨어 플랫폼이다. AI 팩토리에서는 DGX H100 클러스터를 기반으로 대규모 모델 학습과 파인튜닝을 수행한다. NTT DATA의 데이터센터에 구축된 DGX 인프라는 고객이 자체 GPU 클러스터를 구매·운영하는 부담 없이 필요한 컴퓨팅 자원을 탄력적으로 활용할 수 있게 한다.

NVIDIA NIM(NVIDIA Inference Microservices)은 AI 모델을 프로덕션 환경에서 효율적으로 서빙하기 위한 컨테이너화된 추론 엔진이다. TensorRT 최적화를 통해 동일한 하드웨어에서 더 높은 처리량과 낮은 레이턴시를 달성한다. AI 팩토리의 맥락에서 NIM은 검증된 오픈소스 모델(Llama, Mistral, Nemotron 등)을 엔터프라이즈 환경에 즉시 배포할 수 있는 형태로 패키징해, 고객은 모델 최적화의 복잡성 없이 바로 프로덕션 수준의 성능을 얻을 수 있다.

NVIDIA NeMo는 도메인 특화 모델 개발을 위한 프레임워크다. 금융 규제 문서를 이해하는 AI, 제조 설비 매뉴얼을 처리하는 AI처럼 특정 도메인의 전문 지식이 필요한 경우, NeMo를 활용해 베이스 모델을 도메인 데이터로 파인튜닝하거나 RAG 파이프라인을 구성한다. NTT DATA가 보유한 도메인 데이터와 NVIDIA NeMo의 파인튜닝 인프라가 결합되면, 일반 목적 LLM보다 특정 도메인에서 훨씬 높은 성능을 보이는 전문 AI 모델을 효율적으로 구축할 수 있다.

금융·제조·헬스케어에서 확인된 성과

일본의 대형 금융 그룹은 NTT DATA의 AI 팩토리를 통해 여신 리스크 분석 시스템을 구축했다. 기존에는 심사 담당자가 수십 개의 데이터 소스를 수동으로 취합해 리스크 보고서를 작성하는 데 평균 3일이 걸렸다. AI 팩토리 솔루션 도입 후 데이터 수집부터 초안 보고서 생성까지 4시간으로 단축되었으며, 심사 담당자는 AI가 제시한 분석 결과를 검토·판단하는 역할에 집중할 수 있게 되었다.

유럽의 자동차 부품 제조사는 생산 라인 장비의 예측 정비(Predictive Maintenance) AI를 도입했다. 센서 데이터 분석으로 장비 고장을 평균 72시간 전에 예측해 계획되지 않은 가동 중단을 68% 감소시켰다. NVIDIA의 Edge AI 솔루션을 공장 현장에 배포함으로써, 민감한 생산 데이터를 외부 클라우드로 전송하지 않고 현장에서 처리하는 온프레미스 구성을 실현했다.

싱가포르의 대형 병원 그룹은 방사선 영상 분석 AI를 도입해 응급 진단 속도를 개선했다. NTT DATA의 의료 데이터 처리 경험과 NVIDIA의 Clara 의료 AI 플랫폼을 결합한 솔루션으로, 뇌졸중 의심 CT 영상을 10분 이내에 자동 분류하는 시스템을 구축했다. 전담 방사선과 의사가 없는 야간·주말 시간대의 응급 대응 능력이 크게 향상되었다.

구독 모델과 산업별 확장 전략

AI 팩토리는 단순한 프로젝트 납품이 아니라 지속적인 서비스 관계를 기반으로 한 구독 모델로 운영된다. 고객은 초기 구축 비용을 최소화하고 월정액 또는 사용량 기반으로 AI 솔루션을 이용한다. NTT DATA는 지속적인 운영과 최적화 서비스를 제공하면서 안정적인 반복 매출을 확보하는 구조다.

현재 금융·제조·헬스케어·리테일을 중심으로 운영 중인 AI 팩토리는 공공행정, 통신, 에너지 분야로 확장 계획이 수립돼 있다. 각 산업별로 규제 요건, 데이터 특성, 일반적인 AI 활용 사례가 다르기 때문에, 수직 산업별로 특화된 모듈 라이브러리와 템플릿을 구축하는 전략을 취한다.

NTT DATA와 NVIDIA의 AI 팩토리 파트너십은 엔터프라이즈 AI 구축의 패러다임을 맞춤 개발에서 표준화된 양산 체제로 전환하는 실질적인 시도다. NTT DATA의 글로벌 시스템 통합 전문성과 도메인 지식이 NVIDIA의 AI 컴퓨팅 인프라·소프트웨어 스택과 결합함으로써, PoC에서 프로덕션으로의 이행 속도와 성공률이 크게 향상된다. 금융·제조·헬스케어에서 이미 확인된 구체적 성과들은 AI 팩토리 모델이 이론이 아닌 실제 비즈니스 가치를 창출하고 있음을 보여준다. 수직 산업별 확장과 구독 기반 서비스 모델의 결합으로, 이 파트너십은 글로벌 엔터프라이즈 AI 시장에서 중요한 위치를 차지할 것으로 전망된다.