AutoML에서 HPO와 NAS로 모델 탐색 자동화하기
AutoML의 HPO와 NAS를 중심으로 검색 공간, 평가 전략, 분산 실행, 모델 레지스트리 연계까지 모델 개발 자동화 체계를 정리한다.
2026-08-14 · 최초 발행 2024-04-29
탐색 대상과 제약을 함께 다루는 AutoML
데이터 규모와 모델 복잡성이 커질수록 모델 선택과 튜닝을 반복하는 비용도 커진다. AutoML(Automated Machine Learning)은 모델, 피처, 하이퍼파라미터, 아키텍처, 훈련 스케줄을 자동으로 탐색하고 최적화하는 체계다. 정확도나 AUC뿐 아니라 지연과 비용을 목표 함수에 포함할 수 있으며, 메모리·파워·모델 크기 같은 제약 안에서 최적 해를 추정한다.
이 체계의 핵심 축은 HPO(Hyperparameter Optimization)와 NAS(Neural Architecture Search)다. HPO는 학습률, 정규화 강도, 트리 깊이처럼 학습 외부에서 정하는 파라미터를 탐색한다. 검색 공간, Bayesian/TPE 같은 탐색 전략, 교차검증과 조기중지로 구성되는 평가 전략이 함께 작동한다.
NAS는 연산, 연결, 반복 블록처럼 신경망의 구조 자체를 대상으로 한다. 셀과 마이크로·매크로 아키텍처로 후보 공간을 정하고, RL·진화·미분 기반 알고리즘으로 후보를 찾는다. 프록시 평가와 weight-sharing은 후보의 성능을 추정하는 데 사용된다.
두 접근 모두 다음과 같은 구조로 운영된다.
- Search Space
- Search Strategy
- Evaluation Strategy
- Scheduler/Orchestrator
- Logging/Registry
최적화 대상은 하나일 수도 있고 여러 개일 수도 있다. 평가 역시 단일 fidelity뿐 아니라 서브샘플이나 epochs 축소를 활용하는 다중 fidelity 방식으로 구성할 수 있다.
검색 공간이 탐색의 범위를 결정한다
HPO에서는 연속·이산·범주형 변수를 정의하고, 조건부 공간도 포함한다. 예를 들어 booster=xgboost일 때만 colsample을 탐색하도록 구성할 수 있다.
NAS의 검색 공간에는 conv3x3, MBConv, attention 같은 연산 프리미티브와 DAG 연결성, 반복 횟수, 채널 폭의 범위가 들어간다. 지연, 메모리, 파라미터 수, FLOPs 상한을 명시해 제약 기반으로 공간을 줄일 수도 있다.
공간을 줄이면 탐색 난이도는 낮아지지만, 지나친 축소는 글로벌 최적을 놓칠 위험이 있다. 문제 도메인의 priors를 반영하고 불필요한 축을 제거하는 균형이 필요하다.
후보를 찾고 걸러내는 방식
HPO에는 Random/Grid Search, Bayesian Optimization(TPE/GP), Hyperband/ASHA 같은 Multi-fidelity 방식, BOHB, PBT를 적용할 수 있다. NAS에서는 진화 알고리즘, 강화학습, 미분 가능 NAS(DARTS), ENAS의 weight-sharing이 대표적인 선택지다.
정확도만으로 후보를 고르기 어려운 환경에서는 NSGA-II 등을 사용해 정확도·지연·크기를 동시에 최적화한다. 평가 단계에서는 ASHA나 Median Stopping으로 저성능 후보를 일찍 중단하고 리소스를 회수한다.
성능을 빠르게 가늠하기 위해 작은 입력 크기, 짧은 epochs, subset 데이터, 그라디언트 신호를 사용하는 zero-cost proxy를 활용할 수 있다. 다만 프록시 평가와 실제 평가 사이에는 갭이 있을 수 있으므로, 최종 후보는 재학습과 검증이 필요하다.
재현성을 확보하려면 고정 시드, 데이터·코드 해시, 고정된 교차검증 분할을 관리해야 한다. 전처리 파이프라인 안에서 CV를 수행해 데이터 누설도 방지한다.
분산 자원과 운영 흐름을 연결하는 방법
Ray Tune, Kubernetes, Slurm을 이용하면 분산 실행과 GPU/TPU 할당을 자동화할 수 있다. 가중치 공유, 체크포인트, 재시작, 실패 재시도(backoff), 스팟 인스턴스 친화적 스케줄링도 이 계층에서 다룬다.
분산 환경에서는 중복 실행을 막는 분산 락, 아티팩트 캐싱, 이전 실험을 재활용하는 warm-start가 필요하다. 프리엠티브 자원을 활용하면 자원 선택 폭이 넓어지지만, 프리엠션에 대응하기 위한 체크포인트 비용은 증가한다.
실험 결과는 MLflow/W&B 등에 메트릭, 하이퍼파라미터, 환경 메타데이터와 함께 남긴다. 최적 후보는 재학습(retrain)한 뒤 모델 레지스트리에 등록하고, 온-디바이스 또는 서빙 환경에 맞춰 패키징한다. 이후 성능 드리프트와 리소스 비용을 모니터링해 자동 재탐색 트리거를 설정한다.
적용 대상에 따라 달라지는 탐색 변수
표형 데이터 예측에서는 XGBoost/LightGBM의 학습률, 깊이, 정규화, 컬럼 샘플링을 함께 최적화할 수 있다. 비용과 지연 제약까지 포함한 다목적 최적화는 온라인 스코어링 SLA를 맞추는 데 사용된다.
엣지 비전 모델에서는 모바일·임베디드 기기용 CNN 또는 비전 트랜스포머 공간에서 정확도와 지연을 함께 탐색한다. HW-aware NAS는 SoC별 커널 효율을 반영한다.
LLM 파인튜닝에서는 LoRA 랭크, 알파, 학습률, 배치, 스케줄러를 메모리 제약 안에서 최적화한다. 샘플 효율을 높이기 위해 ASHA와 PBT를 병행할 수 있다.
시계열 예측 파이프라인에서는 윈도우 크기, 라그·롤링 피처링, ETS·Prophet·CatBoost 모델군을 자동 선택한다. 계층적 시계열과 그룹별 메타러닝은 콜드스타트 성능 안정화에 활용된다.
탐색 실행부터 재탐색까지의 흐름
실패한 트라이얼은 지수 백오프와 최대 시도 횟수 제한을 둔 재시도 정책으로 처리한다. 체크포인트와 캐시를 복원하고, 실패 원인을 기록해 불량 구성을 자동 블랙리스트에 넣는다. 데이터·코드·환경 해시와 시드를 고정하고 분산 락을 사용하면 일관성과 재현성을 유지할 수 있다.
탐색 기법별 선택 기준
| 방법 | 성능 | 확장성 | 일관성 | 안정성 | 운영 편의 |
|---|---|---|---|---|---|
| Grid/Random Search | 중 | 높음 | 중 | 높음 | 높음 |
| Bayesian(TPE/GP) | 높음(저비용 효율) | 중(고차원/이산에 약함) | 중 | 중 | 중 |
| Hyperband/ASHA | 높음(조기중지) | 높음 | 중 | 중 | 높음 |
| BOHB | 높음 | 높음 | 중 | 중 | 중 |
| PBT | 높음(동적 스케줄) | 높음 | 중 | 중 | 중 |
| Evolutionary NAS | 높음 | 중 | 중 | 중 | 낮음 |
| RL-based NAS | 중~높음(고비용) | 낮음 | 중 | 중 | 낮음 |
| Differentiable NAS(DARTS) | 중~높음 | 높음 | 낮음(아키텍처 붕괴 이슈) | 중 | 중 |
| ENAS(Weight-sharing) | 중 | 높음 | 중 | 중 | 중 |
주: 최신 NAS/프록시 기법은 급변 중, 특정 벤치마크 우열은 최신 정보 확인 필요.
자동화의 효과와 남는 제약
조기중지와 다중 fidelity를 적용하면 탐색 비용은 3070% 절감되고, 벤치마크 기준 시간은 210배 단축된다. 데이터와 문제 복잡도에 따라 베이스라인 대비 메이저 메트릭은 1~5%p 개선될 수 있다.
재현 가능한 파이프라인을 도입하면 릴리즈 리드타임은 30~60% 단축되고 회귀 리스크가 감소한다. 예산과 시간 상한을 두고 스팟 인스턴스를 활용하면 훈련 비용의 변동성도 완화할 수 있다.
다만 실험 추적, 모델 레지스트리, 승급 게이트, 모니터링과 재탐색 자동화를 연결할수록 파이프라인 복잡도와 플랫폼 종속성은 커진다. 편향·공정성 메트릭까지 다목적 최적화에 포함하면 탐색 공간과 시간이 늘어나 비용도 상승한다. 파일럿으로 시작해 표준 파이프라인으로 정착시키고, 이후 모니터링과 재탐색을 자동화하는 순서가 적합하다.