AutoML 실무 체계 — Featuretools 특성공학부터 H2O·NAS·하이퍼파라미터 최적화까지
Featuretools 자동 특성공학, H2O AutoML 모델 탐색, NAS 아키텍처 탐색, 베이지안·밴딧 기반 HPO를 결합한 AutoML 파이프라인 구성을 정리한다.
2026-08-12 · 최초 발행 2025-12-11
데이터가 늘어나는 속도와 모델 릴리스 주기가 빨라지는 속도는 사람 손으로 특성을 설계하고 모델을 골라 튜닝하는 속도를 이미 앞질렀다. Featuretools(자동 특성공학), H2O AutoML(모델 탐색), Neural Architecture Search(NAS, 아키텍처 탐색), Hyperparameter Optimization(HPO, 하이퍼파라미터 최적화) 네 가지를 엮으면 데이터 준비부터 모델 선택·튜닝·검증·배포까지 자동화하면서도 목표 적합도(AUC/MAE 등)와 비용 제약(시간/자원)을 동시에 만족시키는 실무형 체계를 만들 수 있다.
각 요소가 맡는 역할
Featuretools는 Deep Feature Synthesis 기반의 자동 특성공학 프레임워크다. EntitySet과 Relationship으로 스키마를 정의하고, 변환·집계 프리미티브를 조합해 고차원 파생 특성을 만든다. 스키마 기반 DFS는 일관된 특성 생성과 재현성을 보장하지만, 데이터 누수를 막으려면 시계열·관계 기준의 cutoff를 반드시 적용해야 한다. 도메인 프리미티브를 확장하면 산업별 규칙을 반영할 수 있고, 고차 상호작용 특성도 자동으로 탐색된다.
H2O AutoML은 GBM, GLM, DRF, XGBoost 같은 다양한 알고리즘과 스태킹·블렌딩을 자동으로 수행하는 모델 탐색 엔진이다. 리더보드 기반으로 최적 모델을 선별하고, 조기중단과 교차검증이 내장돼 있다. 시간·모델 수 예산을 설정할 수 있어 강력한 기본선을 빠르게 구축하는 데 강점이 있다.
NAS(Neural Architecture Search)는 신경망의 구조 — 연산 셀, 연결, 깊이 — 를 자동으로 탐색하는 기법이다. 강화학습, 진화전략, 미분가능 NAS(DARTS) 등으로 탐색 효율을 높이며, 검색공간(연산 집합·셀 토폴로지·깊이/너비)과 탐색전략을 분리해서 설계한다. 가중치 공유와 프록시 태스크로 탐색 비용을 줄이지만, 자원 제약·지연(latency)·메모리 한계를 목적함수에 포함시켜야 실무에서 쓸 수 있는 결과가 나온다. GPU/TPU 예산 제약은 항상 따라붙는 전제다.
HPO(Hyperparameter Optimization)는 베이지안 최적화(TPE/SMBO), 밴딧(Hyperband/ASHA), 진화 탐색 등으로 하이퍼파라미터를 자동 최적화한다. TPE/SMBO는 샘플 효율적인 탐색을, Hyperband/ASHA는 비유망한 실험의 조기중단을 담당하고, 중간중단과 분산 병렬화로 비용 대비 성능을 최대화한다. 분산 실행과 재개(resume)·체크포인트 기능은 실패 내성과 시간예산 준수를 함께 잡아준다.
이 네 요소를 하나로 묶으려면 데이터·특성·모델 아티팩트를 버전 관리(DVC/MLflow)하고, 시드 고정·환경 스냅샷·스키마 고정으로 재현성을 지켜야 한다. 모델 레지스트리는 승격 단일성을 잠그고 승인 워크플로를 거치도록 해야 변경관리가 무너지지 않는다.
파이프라인이 도는 순서
SLA나 예산을 초과하면 체크포인트를 저장하고 베이스라인 모델로 폴백하며, 배포 후 성능이 저하되면 경보와 함께 특성공학 단계부터 재학습 파이프라인이 다시 돈다.
실무 시나리오
신용평가 정형 데이터 파이프라인에서는 원장·거래 로그의 관계를 정의한 뒤 Featuretools DFS를 돌리고 H2O AutoML 리더보드를 거쳐 HPO로 상위 모델을 정밀 튜닝한다. 운영 단계에서는 데이터 버전과 특성 레시피를 고정하고 AUC를 모니터링하며 드리프트를 탐지해 성능 저하 시 자동으로 재학습을 트리거한다.
수요예측(시계열)에서는 캘린더·프로모션·날씨 데이터를 조인하고 시간 윈도우 집계 특성을 자동화한 뒤 LightGBM이나 H2O로 모델을 탐색하고 예산 기반 ASHA로 튜닝한다. 예측 지연 SLA를 목표함수에 포함시키고 배치 예측과 에지 캐시를 병행하는 구성이 흔하다.
문서 분류(NLP, 소형 리소스)에서는 토큰·통계 특성에 사전학습 임베딩을 결합한 하이브리드 특성을 만들고, NAS로 얕은 CNN·RNN 아키텍처를 탐색한 뒤 HPO로 학습률·규제를 최적화한다. GPU 예산과 지연 제약을 포함시켜 모델 크기와 지연을 다목적으로 최적화하는 방식이다.
넷을 저울질하면
| 항목 | Featuretools | H2O AutoML | NAS | HPO |
|---|---|---|---|---|
| 성능 | 중~상(탭/시계열에서 이득) | 상(스태킹/블렌딩) | 상(아키텍처 최적화) | 중~상(튜닝 효과) |
| 확장성 | 중(단일 노드 중심) | 상(분산 H2O 클러스터) | 중(GPU/TPU 예산 영향) | 상(분산/ASHA 병렬) |
| 일관성 | 상(DFS 결정적, 시드 고정) | 중(랜덤성 존재) | 중(변동성 높음) | 상(재개·시드 고정) |
| 안정성 | 상(단계적 에러 핸들링) | 상(조기중단·CV 내장) | 중(탐색 실패 가능) | 상(예산·중단 정책) |
| 운영 편의 | 중(스키마 의존) | 상(원클릭·리더보드) | 하(복잡 설정) | 중~상(API 다양) |
도입하면 무엇이 달라지는가
피처 설계·모델 탐색·튜닝을 자동화하면 개발 리드타임이 3070% 단축되고, 데이터 규모가 늘어나도 운영비 증가는 선형에 가깝게 억제된다. 성능 측면에서는 정형 데이터 기준 AUC가 210%p, 시계열 sMAPE가 5~15% 개선되는 것으로 추정되지만 데이터·도메인에 따라 편차가 크므로 보수적으로 잡아야 한다. 거버넌스 측면에서는 재현성과 형상관리가 강화되고 모델 승격이 단일 경로로 고정되며, 실험 자산이 쌓이면서 조직의 학습 곡선도 단축된다.
Featuretools·H2O·NAS·HPO를 결합한 체계는 일관된 특성공학, 폭넓은 모델 탐색, 아키텍처 최적화, 비용 효율적 튜닝을 하나로 묶는 구조다. 초기에는 정형 데이터 중심으로 H2O AutoML과 HPO를 먼저 도입하고, GPU 예산과 이득이 명확한 경우에 한해 NAS를 점진적으로 들이는 순서가 현실적이다. 데이터·자원·SLA를 목적함수에 함께 설계하고, 레지스트리·모니터링·드리프트 대응까지 포함한 운영 관점의 자동화 체계를 갖춰야 이 효과가 실제로 유지된다.