SageMaker·Vertex AI·Azure ML로 MLOps 플랫폼 선택하기

클라우드 MLOps는 학습 이후까지 이어진다

클라우드 ML 플랫폼은 데이터 수집, 전처리, 학습, 튜닝, 등록, 배포, 모니터링을 관리형 서비스로 연결하는 엔드투엔드 MLOps 시스템이다. AWS SageMaker, Google Vertex AI, Azure ML Studio는 같은 흐름을 다루지만 데이터 플랫폼과 가속기, 거버넌스 도구의 결합 방식이 다르다.

• AWS SageMaker는 학습·배포·모니터링 전 단계를 위한 완전관리형 서비스 집합이다.
• Google Vertex AI는 데이터, 학습, 파이프라인, 서빙을 단일 콘솔과 API로 묶는다.
• Azure ML Studio는 Azure 생태계와 결합한 실험, 파이프라인, 레지스트리, 엔드포인트 기반 MLOps 플랫폼이다.

각 플랫폼의 세부 사양은 출시 주기 변화가 빠르므로 최신 정보 확인이 필요하다.

데이터부터 감사 로그까지의 운영 범위

데이터와 피처를 다루는 계층에서는 SageMaker Feature Store와 Data Wrangler를 S3·Glue에 연결해 배치와 온라인 처리를 함께 지원하고 데이터 라인리지를 추적할 수 있다. Vertex AI는 Vertex Feature Store를 Dataform, Dataplex, BigQuery와 통합해 SQL 우선 분석 워크로드에 맞춘다. Azure ML Studio는 Azure Feature Store의 프리뷰 여부를 확인해야 하며, Data Factory·Synapse와 ADLS Gen2를 통해 거버넌스의 일관성을 유지한다.

학습과 튜닝에서도 차이가 난다. SageMaker는 Training, Processing, Distributed와 HPO(Tuner)를 제공하며 Spot과 Managed Warm Pools를 비용 최적화에 활용한다. Vertex AI는 Custom Training, TPU, Vizier 기반 HPO를 제공하고 Prebuilt 컨테이너와 Custom 컨테이너를 선택할 수 있다. Azure ML은 Command·Sweep Jobs, MPI·DeepSpeed 기반 분산 학습, Arc를 통한 온프레미스·하이브리드 연계에 강점이 있다.

서빙 단계에서 SageMaker는 Realtime·Serverless 엔드포인트, Multi-Model, Inference Recommender와 Batch Transform을 제공한다. Vertex AI는 Online Prediction, Batch Prediction, VPC-SC 통합을 지원하며 모델 리비전과 롤백을 단순화한다. Azure ML은 Online·Batch Endpoint와 AKS·ACI 선택 배포를 제공하고 ONNX·DirectML 등 MS 생태계 최적화와 연결된다.

관측과 거버넌스는 모델을 운영 가능한 상태로 유지하는 기반이다. SageMaker는 Model Registry, Clarify, Model Monitor로 데이터 드리프트와 바이어스 탐지를 자동화한다. Vertex AI는 Model Registry, Monitoring, Explainable AI를 통해 데이터·모델 라인리지를 일원화한다. Azure ML은 Model Registry, Responsible AI Dashboard, Monitoring을 Purview와 연결해 데이터 카탈로그와 감사 로그를 강화한다.

플랫폼별 결합 지점

플랫폼	성능	확장성	일관성	안정성	운영 편의
AWS SageMaker	GPU 최적화 인스턴스(p4d/p5), Inferentia/Trn1 가속	멀티-노드 분산, 서버리스 엔드포인트	AWS 스택(S3/Glue/IAM)과 강결합	VPC, PrivateLink, BYOK 암호화	Studio/Projects, 자동 스케일·A/B 내장
Google Vertex AI	TPU v5e/v5p, BigQuery 통합 쿼리 기반 ETL	Dataflow/Dataproc 연계 무제한 스케일	단일 콘솔·리소스 모델 일관성	VPC-SC, CMEK, 조직 정책	Pipeline/Registry 일체화, SQL 친화
Azure ML Studio	NDv5(A100/H100) 등 폭넓은 SKU	Arc로 하이브리드·엣지 확장	Azure AD·Purview·Policy로 표준화	Private Link, 관리형 ID, 규정 준수	Studio UI 직관, DevOps·GitHub Actions 연계

세부 SKU와 기능은 리전·시점에 따라 다르므로 최신 정보 확인이 필요하다.

워크로드에 맞춰 연결하는 패턴

대규모 파인튜닝과 분산 학습에서는 데이터 스냅샷을 고정하고 체크포인트 주기를 설정한 뒤 NCCL·DeepSpeed 분산 전략을 적용한다. 비용은 Spot·Preemptible 자원으로 조정할 수 있다. SageMaker p5 + SM Distributed, Vertex TPU + CustomJob, Azure NDv5 + DeepSpeed 조합이 이 흐름에 해당한다.

실시간 추천·랭킹 서비스에서는 피처 스토어의 온라인·오프라인 일관성을 확보하고, 멀티모델 엔드포인트로 캐싱과 콜드스타트를 완화한다. 배포는 Canary 또는 Blue-Green 방식으로 운영한다.

배치 예측에는 Batch Transform, Batch Prediction, Batch Endpoint를 사용할 수 있다. 스트리밍 흐름은 Kinesis→SageMaker, Pub/Sub→Vertex, Event Hub→Azure ML + Functions로 연결한다.

책임 있는 AI와 감사 추적이 필요한 경우에는 Clarify, Explainable AI, Responsible AI Dashboard로 설명가능성과 바이어스를 점검하고, Model Registry 기반으로 재현성을 보장하며 조직 보안정책을 연동한다.

데이터에서 재학습까지 이어지는 경로

⤢✕

SDK로 학습과 엔드포인트를 연결하는 최소 흐름

전제조건은 Python 3.10, 클라우드 CLI 인증 완료, 해당 SDK 설치다.

AWS SageMaker에서 학습 후 배포

전제: pip install sagemaker boto3, IAM 권한 준비

# python >=3.10
import sagemaker
from sagemaker.sklearn.estimator import SKLearn
from sagemaker import Session
from sagemaker.inputs import TrainingInput

sess = Session()
role = sagemaker.get_execution_role()  # 노트북/Studio 환경 권장

est = SKLearn(
    entry_point="train.py",  # 사용자 스크립트
    framework_version="1.2-1",
    instance_type="ml.m5.xlarge",
    role=role,
)
est.fit({"train": TrainingInput("s3://bucket/path/train/")})
predictor = est.deploy(instance_type="ml.m5.large", initial_instance_count=1)
print(predictor.predict({"x": [1,2,3]}))

Google Vertex AI에서 CustomJob과 엔드포인트 구성

전제: pip install google-cloud-aiplatform, gcloud auth application-default login

from google.cloud import aiplatform

aiplatform.init(project="my-proj", location="us-central1")
job = aiplatform.CustomJob(
    display_name="train-job",
    worker_pool_specs=[{
      "machine_spec": {"machine_type": "n1-standard-4"},
      "replica_count": 1,
      "container_spec": {"image_uri": "gcr.io/my-proj/train:latest"}
    }],
)
model = job.run(sync=True).get_model()
endpoint = aiplatform.Endpoint.create(display_name="ep")
model.deploy(endpoint=endpoint, machine_type="n1-standard-4", traffic_percentage=100)

Azure ML Studio에서 Command Job과 온라인 엔드포인트 구성

전제: pip install azure-ai-ml, az login, 워크스페이스 구성

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
from azure.ai.ml.entities import CommandJob, Environment, ManagedOnlineEndpoint, ManagedOnlineDeployment

mlc = MLClient(DefaultAzureCredential(), "sub-id", "rg", "ws")
job = CommandJob(
    code="./src",
    command="python train.py",
    environment=Environment(image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04"),
    compute="cpu-cluster",
    display_name="train-job",
)
returned = mlc.jobs.create_or_update(job)
model = mlc.models.create_or_update(returned.outputs["model"])  # train.py에서 아웃풋 등록 전제

ep = ManagedOnlineEndpoint(name="ep-name")
mlc.begin_create_or_update(ep).result()
dep = ManagedOnlineDeployment(name="blue", endpoint_name=ep.name, model=model.id, instance_type="Standard_DS3_v2", instance_count=1)
mlc.begin_create_or_update(dep).result()
mlc.online_endpoints.begin_traffic_update(ep.name, {"blue": 100}).result()

사설화와 이식성 사이의 운영 비용

네트워킹과 접근제어에서는 전 구간 사설 통신(VPC, PrivateLink/VPC-SC), 서비스 전용 엔드포인트, 최소권한 IAM/AD, CMK/CMEK 기반 키 관리를 적용할 수 있다. 사설화 수준이 높아질수록 운영 복잡도와 비용도 커진다.

데이터 거버넌스는 레지스트리, 피처 스토어, 데이터 카탈로그를 Purview·Dataplex·Glue와 연결하고 모델 카드와 승인 워크플로를 두는 방식으로 구성한다. 승인 절차를 엄격하게 만들수록 배포 리드타임은 증가한다.

비용 최적화에는 Spot·Preemptible, 자동 스케일, 모델 압축·양자화, 서버리스 엔드포인트를 사용한다. 선점형 인스턴스의 중단 위험이 있으므로 체크포인트와 재시작 전략이 필요하다.

멀티클라우드 이식성이 필요하면 컨테이너를 표준화하고 MLflow, Feast, Kubeflow, KServe를 활용하며 Terraform 기반 IaC로 재현성을 확보한다. 다만 공통분모를 중심으로 설계하면 각 클라우드 고유 최적화 기능의 활용도는 낮아진다.

자동화가 만드는 운영 변화

파이프라인 자동화와 템플릿화는 배포 리드타임을 3070% 단축한다. Spot, 서버리스, 오토스케일을 활용하면 인프라 비용은 2040% 절감할 수 있다. 데이터·모델 모니터링은 드리프트 탐지 시간을 80% 단축하고 재학습 주기를 안정화한다.

라인리지와 감사 로그를 통합하면 규정 준수와 감사 대응도 강화된다. 수치는 워크로드·조직 성숙도에 따라 변동한다.

기존 데이터 스택과 보안정책을 먼저 확인한 뒤 데이터 근접성, 실시간·배치 서빙 패턴, 비용·가속기 가용성, 운영팀 역량을 함께 평가하는 편이 적합하다. 초기에는 단일 클라우드에서 깊게 운영하고, 필요할 때 컨테이너와 MLflow 기반 이식성을 확보하는 전략을 적용할 수 있다.