에지 AI와 TinyML로 구현하는 온디바이스 학습
에지 AI와 TinyML의 온디바이스 학습 구조, 모델 경량화, 안전한 업데이트, 연합학습 운영 방식을 정리한다.
2026-08-14 · 최초 발행 2024-04-29
센서 곁에서 추론하고, 필요할 때 학습하는 구조
에지 AI는 AI 모델의 추론과 학습을 클라우드가 아니라 디바이스에서 수행하는 컴퓨팅 패러다임이다. 초저전력, 저지연, 개인정보 보호 요구가 커지면서 센서 데이터가 발생하는 End Device로 처리 위치를 옮기는 방식이 늘고 있다. 이 구조는 지연 시간과 대역폭 부담을 줄이고, 네트워크가 끊겨도 동작을 이어갈 수 있게 한다.
TinyML은 수십 KB~수 MB 메모리 범위의 마이크로컨트롤러(MCU)와 초저전력 SoC에서 ML을 실행하기 위한 기술 집합이다. 정수 양자화, 연산 최적화, 경량 런타임이 기반이 된다.
온디바이스 학습은 사용자 또는 환경 데이터를 이용해 기기 안에서 모델을 부분 학습하거나 미세조정하는 방식이다. 온라인·연속 학습, 전이학습, 경량 미니배치 업데이트가 여기에 포함된다.
입력부터 모델 배포까지 이어지는 처리 경로
센서는 오디오, IMU, 카메라, 전류·진동 스트림을 수집한다. 입력은 노이즈 필터링과 정규화를 거치며, 이후 MFCC, FFT, 시계열 통계 같은 특징을 추출한다. 경량 모델은 TFLite Micro 또는 CMSIS-NN으로 추론하고, 결과의 신뢰도를 평가한다.
추론 결과는 즉시 제어 동작으로 이어질 수 있다. 로컬 로그와 요약 통계는 업링크하고, 필요한 경우 글로벌 모델과 동기화한다.
학습을 시작하는 조건은 신뢰도·오차율을 기준으로 한 임계치, 간헐 학습 윈도를 쓰는 주기, 환경 변화 감지 같은 이벤트로 정할 수 있다. 새 모델은 섀도우 모델로 병행 추론해 성능 회귀를 확인한 뒤 A/B 슬롯에 커밋한다. 검증에 실패하면 자동으로 롤백한다.
기기별 업데이트에서는 그라디언트나 가중치의 요약만 업로드하고, 서버가 보안 집계한 뒤 글로벌 모델을 다시 배포하는 연합학습 방식을 쓸 수 있다.
제약된 하드웨어에서 모델을 운영하는 방법
모델은 INT8 정수 양자화, 구조적 프루닝, 지연양자화(Post-Training Quantization)로 줄여 MCU의 SRAM·Flash 제약에 맞춘다. CMSIS-NN, Ethos-U NPU 같은 커널 최적화와 메모리 아레나 사전 할당은 실시간성을 확보하는 수단이다.
인터럽트 우선순위와 협력형 스케줄링은 추론 지연을 예측 가능하게 만들고, DMA는 I/O와 연산을 겹칠 수 있게 한다. Active, Doze, Deep Sleep 상태를 포함한 전력 상태 머신과 배치 추론 윈도는 mWh 수준의 소비 전력을 목표로 구성한다.
온디바이스 학습에는 최종층 미세조정 형태의 전이학습, 8-bit states를 쓰는 SGD·AdamW, 지식증류 기반 부분 재훈련을 적용할 수 있다. 리플레이 버퍼와 EWC, L2 가중치 정규화는 망각을 줄이며, 학습 스텝과 클립 기준은 안정성을 제어한다.
통신은 이벤트 기반 업링크와 정확도·신뢰도 이중 지표 전송으로 대역폭을 아낄 수 있다. MQTT와 CoAP 같은 경량 프로토콜을 활용하며, OTA에는 A/B 슬롯, 점진적 롤아웃, 헬스 체크를 결합한다.
모델과 펌웨어에는 서명 검증, 안전부트, 실행 이미지 해시 검증을 적용한다. 원시 데이터는 전송하지 않고 차등프라이버시, 양자화 노이즈, 보안 집계를 사용한다. 전원 불안정 상황에는 저널링 스토리지와 체크포인트 재개를 두고, 열·전력 스로틀링 정책으로 실행 상태를 관리한다.
현장 데이터가 달라질 때의 적용 모습
설비 예지보전에서는 3축 가속도계의 100–400 Hz 스트림에서 스펙트럼 특징을 얻고 경량 CNN으로 추론한다. 임계값을 넘으면 온디바이스 미세조정을 수행하며, 대역폭을 90% 이상 줄이면서 네트워크가 불안정한 현장에서도 오프라인 경보를 유지할 수 있다.
키워드 스포팅과 웨이크워드 처리는 16 kHz 오디오를 MFCC로 변환한 뒤 DS-CNN 또는 TinyConv 모델에 입력한다. 마지막 층을 사용자 발화 특성에 맞춰 미세조정하면 오탐·미탐을 줄일 수 있으며, >128 KB SRAM 마이크로컨트롤러에서 10 ms 이내 반응 시간을 구현한다.
비전 경량 감지와 점유 분석에서는 96×96 그레이스케일 입력에 Tiny-YOLO, pp-YOLO-tiny 변형 또는 MobileNetV1-0.25 + SSD 헤드를 적용한다. 조명과 각도 변화는 온라인 보정으로 대응한다.
웨어러블에서는 심박·활동 인식 모델을 사용자별 기준선에 맞추고, 프라이버시 제약을 지키면서 개인별 정확도를 개선한다. 배터리 일수를 유지하기 위해 미니배치 야간 학습 윈도를 운영한다.
스마트 미터는 전류 파형에 Non-Intrusive Load Monitoring(NILM) 간소 모델을 적용하고 이상 이벤트만 업링크한다. 현장 펌웨어 OTA와 모델 업데이트를 분리해 운영할 수 있다.
지연과 운영 방식에 따른 선택
| 지표 | 클라우드 중심 | 에지 중심 | 하이브리드 |
|---|---|---|---|
| 성능(지연) | 100–1000 ms, 네트워크 지배 | 1–20 ms, 결정적 지연 | 20–100 ms, 서비스별 분리 |
| 확장성(대역폭) | 대역폭 병목 발생 | 원시 데이터 무전송, 고효율 | 요약·이벤트 전송, 균형 |
| 일관성(모델 버전) | 중앙 일괄 배포 용이 | 기기별 편차 발생 가능 | 중앙 제어+로컬 적응 |
| 안정성(오프라인) | 연결 의존 높음 | 오프라인 동작 보장 | 부분 보장 |
| 운영 편의 | 로그 풍부, 단일 스택 | OTA·A/B 필요, 현장 고려 | 툴링·파이프라인 복합 |
에지 중심 구조는 디바이스 내 추론 지연을 1–20 ms 범위로 두고, 클라우드 대비 10–100배 단축할 수 있다. 오디오나 모터 제어처럼 하드 실시간 제약이 있는 경우에도 응답을 보장하는 데 적합하다.
원시 데이터를 보내지 않으면 대역폭을 90–99% 절감하고 셀룰러 데이터 요금을 줄일 수 있다. 클라우드 인퍼런스 비용을 크게 낮추면서 엣지와 클라우드의 역할을 나누면 TCO 최적화도 가능하다. 현장 도메인 시프트에는 온디바이스 미세조정으로 대응하며, F1/Recall 최대 5–15%p 개선 사례를 기대할 수 있다. 연속 학습은 장기 드리프트를 억제하고, 데이터 지역성은 규제 준수와 민감 데이터 외부 송신 최소화에 도움이 된다.
파일럿에서 운영 체계로 옮길 때
도입 전에는 지연, 전력, 프라이버시, 현장 환경의 제약을 정의하고 SLA/SLO 목표를 세운다. 후보 모델을 벤치마크한 뒤 양자화와 프루닝을 적용하고, 런타임 커널 선택 및 SRAM·Flash 예산 검증으로 이어간다.
운영 단계에서는 온디바이스 학습 트리거와 스텝·시간·전력 리소스 한도를 정책화한다. A/B 검증, 롤백, 헬스 체크 파이프라인을 함께 구현하고, 서명·암호화·키관리·차등프라이버시와 데이터 계보·감사 로그를 마련한다.
제한된 현장 파일럿으로 시작해 하이브리드 전략을 확정하고 OTA를 점진적으로 롤아웃하는 흐름이 적합하다. 경량화, 스케줄링, 안전한 업데이트, 연합학습을 따로 다루지 않고 하나의 운영 구조로 묶어야 현장 적응성과 총소유비용 절감을 함께 노릴 수 있다.