지속 가능 AI를 위한 탄소 발자국 측정과 카본 어웨어 MLOps

모델 운영의 비용은 전력 사용량만으로 끝나지 않는다

AI 확산과 대규모 모델 학습이 늘면서 에너지 사용과 환경 영향이 운영 문제로 떠올랐다. 지속 가능 AI와 그린 컴퓨팅은 ML 모델의 탄소 발자국을 측정하고, 최적화하며, 거버넌스 체계 안에서 관리하려는 접근이다.

대상은 데이터 수집, 학습, 배포, 운영으로 이어지는 전 생애주기다. 에너지 효율뿐 아니라 하드웨어 선택, 지역 전력의 탄소집약도(Carbon Intensity), 조직 차원의 의사결정 체계까지 함께 다룬다.

탄소 발자국은 모델 운영으로 발생한 온실가스 배출량을 CO2e로 환산한 지표다. 전력 사용에 따른 운영 탄소(Scope 2)와 하드웨어 제조·물류에 따른 내재 탄소(Scope 3)를 구분해 볼 수 있다.

CO2e = 전력소비량(kWh) × 전력 탄소집약도(gCO2e/kWh) × PUE(데이터센터 전력효율)

운영에서는 kWh, gCO2e/kWh, PUE, GPU/TPU 효율(TFLOPS/W), 시간당 CO2e, 작업당 CO2e를 함께 본다. 지역·시간대별 전력 탄소집약도는 변동성이 있으므로 최신 정보 확인이 필요하다.

측정부터 보고까지 연결하는 운영 체계

전력 계측은 노드와 가속기 수준에서 시작한다. Driver API, nvidia-smi, RAPL 같은 계측 수단과 codecarbon 등의 런타임 계측 에이전트를 조합할 수 있다. 여기에 지역별 탄소집약도 데이터나 cloud carbon API, PUE를 연결하면 CO2e를 실시간으로 산출하는 체계를 만들 수 있다.

모델과 하드웨어 효율화도 같은 흐름에 속한다. 혼합정밀도(FP16/BF16), 8-bit 옵티마이저, 양자화(INT8/FP8), 프루닝, 지식증류는 FLOPs와 메모리 사용량을 줄이는 선택지다. 고효율 가속기와 적정 사이징으로 성능/W를 높이고 유휴 리소스를 줄이는 일도 필요하다.

스케줄러는 지역·시간대별 탄소집약도와 SLA를 함께 입력받아 학습·추론 작업의 위치와 시점을 정한다. 프리엠션, 체크포인팅, 큐 우선순위 정책은 마감 조건을 지키는 장치가 된다.

데이터와 실험에는 규모, 에폭, 탐색 반복 횟수의 가드레일을 둘 수 있다. 조기종료(Early Stopping)와 샘플 효율을 강화하고, 실험 단위의 CO2e·비용·메트릭을 MLflow/Weights & Biases 등과 통합해 버전 관리한다.

보고 체계는 대시보드, 월간 배출 리포트, 목표 대비 추이 관리, 내부 탄소 가격을 활용한 의사결정을 포괄한다. CSRD, ISSB 등 표준·규제 대응도 고려해야 하며, 벤더 데이터의 신뢰성을 검증하는 절차가 필요하다. 최신 정보 확인도 필요하다.

탄소집약도와 SLA를 함께 다루는 실행 흐름

⤢✕

효율화 방식은 운영 조건에 따라 다르게 작동한다

전략	성능	확장성	일관성	안정성	운영 편의
혼합정밀도(BF16/FP16)	높음	높음	중간	높음	높음
양자화(INT8/FP8)	중~높음	높음	중간	중간	중간
프루닝/지식증류	중~높음	높음	중간	중간	중간
카본 어웨어 스케줄링	중간	높음	높음	높음	중간
리전/인스턴스 선택 최적화	중간	높음	높음	중간	높음

여기서 성능은 지연과 처리량, 확장성은 클러스터 확장 대응을 뜻한다. 일관성은 결과 변동성과 재현성, 안정성은 에러와 프리엠션 내성, 운영 편의는 도입 난이도와 자동화 용이성을 기준으로 한다.

파인튜닝과 추론, 실험 거버넌스에 적용하는 방식

LLM 파인튜닝의 에너지 절감

사내 도메인 데이터 50GB와 13B 파라미터 모델을 사용하고 QPS 요구가 낮은 조건에서는 LoRA와 8-bit 옵티마이저를 적용하고, 시퀀스 길이와 배치를 자동 튜닝할 수 있다. BF16 혼합정밀을 사용하고 체크포인트 간격을 30분으로 두며 학습률 스케줄을 축소한다. 카본 어웨어 스케줄링으로 야간 저탄소 시간대에 실행하고 재시도 정책을 설정한다.

이 조건에서 에너지 사용은 kWh 기준 4560% 감소하고, 동일 벤치마크 성능은 ±0.5%p 내에서 유지되며, 비용은 3050% 절감 가능성이 있다.

카본 어웨어 추론 인프라

변동형 트래픽, 지연 허용 150ms, 멀티 리전 배포 환경에서는 Distil 모델이나 스몰 모델을 우선 라우팅하고, 고QPS 시 대형 모델을 활성화한다. 동적 배칭과 서버당 전력 한계치를 적용하며, 저탄소 리전을 우선으로 오토스케일한다. SLA가 임박하면 탄소 정책을 일시 완화하고 사후 상쇄 크레딧을 계산한다.

평균 CO2e/요청은 30~70% 감소하면서 P95 지연 목표를 충족하는 구성이 가능하다.

실험 추적에 CO2e 거버넌스 결합

실험 메타데이터, 성능 메트릭, 계측 로그를 바탕으로 MLflow에 kWh·CO2e·비용을 기록하고 실험별 탄소 예산을 설정한다. 임곗값을 넘긴 실험은 조기 종료하고 데이터 서브샘플링을 자동 제안한다. 월간 리포트로 팀과 프로젝트별 배출량을 할당한 뒤 개선 목표를 갱신한다.

이 방식은 실험 반복 낭비를 20~40% 줄이고 재현성과 책임성을 강화한다.

CodeCarbon으로 CO2e를 계측하는 예시

전제조건은 Python 3.10+, codecarbon>=2.3, NVIDIA 드라이버 및 nvidia-smi 사용 가능 환경이며, 클라우드 메타데이터 접근을 권장한다.

# python -m pip install codecarbon==2.3.5 torch==2.4.0
import time
import torch
from codecarbon import EmissionsTracker

def train_step(model, data):
    # 예시용 더미 연산
    loss = model(data).sum()
    loss.backward()
    return float(loss)

def dummy_model():
    return torch.nn.Sequential(
        torch.nn.Linear(1024, 1024),
        torch.nn.ReLU(),
        torch.nn.Linear(1024, 1024),
    ).to("cuda" if torch.cuda.is_available() else "cpu")

def dummy_data(bs=64, dim=1024):
    device = "cuda" if torch.cuda.is_available() else "cpu"
    return torch.randn(bs, dim, device=device)

if __name__ == "__main__":
    # location="auto"는 클라우드/지역 정보를 자동 추론, 실패 시 기본 값 사용
    tracker = EmissionsTracker(measure_power_secs=1, log_level="info", save_to_file=True, output_dir="carbon_logs")
    tracker.start()

    model = dummy_model()
    opt = torch.optim.AdamW(model.parameters(), lr=1e-3)
    for _ in range(200):
        opt.zero_grad(set_to_none=True)
        loss = train_step(model, dummy_data())
        opt.step()
        time.sleep(0.01)  # 실측 간격 확보

    emissions = tracker.stop()
    print(f"총 배출량(kg CO2e): {emissions:.6f}")

BF16/FP16 활성화(torch.autocast), 채널 마지막 메모리 정렬, 배치 크기 자동 탐색을 적용하고 로그에는 region, PUE, carbon intensity를 남긴다. 지역별 탄소집약도 API 또는 데이터셋의 업데이트 주기와 신뢰도도 확인해야 한다. 최신 정보 확인이 필요하다.

측정 우선의 운영 규율

에너지 사용량은 2080% 절감 범위를 달성할 수 있으며, 동일 성능 기준 CO2e는 선형 감소한다. 클라우드 비용은 전력과 가속기 사용시간 감소, 저비용 리전 활용을 근거로 1560% 절감할 수 있다.

ESG 목표와의 정렬, 컴플라이언스 대응 용이성, 내부 탄소 가격 기반 의사결정 고도화도 기대할 수 있다. 측정 우선, 재현성, 표준화라는 엔지니어링 규율을 강화하고 조직 학습과 문화를 내재화하는 효과도 따른다.

CodeCarbon과 MLflow 통합, 혼합정밀 기본화에서 출발해 리전·시간 스케줄링을 점진적으로 도입할 수 있다. 이 과정은 표준화된 리포트와 팀별 목표 관리 체계로 이어져야 한다.