EfficientNet·EfficientDet의 복합 스케일링 설계

CNN 모델의 성능을 끌어올리기 위한 아키텍처 연구는 꾸준히 이어져왔지만, Google Research팀이 2019년과 2020년에 각각 발표한 EfficientNet과 EfficientDet은 조금 다른 질문을 던졌다. 정확도를 더 올리는 대신, 같은 정확도를 더 적은 연산량과 파라미터로 달성할 수는 없을까 하는 질문이다. 두 모델 모두 모바일 디바이스나 임베디드 시스템처럼 리소스가 제한된 환경에서 활용 가치가 높다.

깊이·너비·해상도를 함께 조절하는 Compound Scaling

기존 CNN 모델들은 성능을 높이기 위해 네트워크 깊이(depth), 너비(width), 해상도(resolution) 중 한 가지 차원만 스케일링하는 경향이 있었다. EfficientNet은 이 세 차원을 모두 균형 있게 확장하는 'Compound Scaling' 방법을 도입해 모델 크기와 계산 비용을 효율적으로 제어하면서 성능을 끌어올린다.

⤢✕

수식으로는 깊이(d) = α^φ, 너비(w) = β^φ, 해상도(r) = γ^φ로 표현되며, 여기서 α, β, γ는 상수이고 φ는 스케일링 계수다. 그리드 서치를 통해 최적의 α, β, γ 값을 결정하는데(약 α = 1.2, β = 1.1, γ = 1.15) 이 방법론으로 세 차원이 균형 있게 성장하며 EfficientNet-B0부터 B7까지 다양한 규모의 모델을 만들어낼 수 있다.

구조적으로는 MobileNetV2의 MBConv(Mobile Inverted Bottleneck Convolution) 블록을 기반으로 한다. Depthwise Separable Convolution과 Inverted Residual 구조를 결합하고, Squeeze-and-Excitation(SE) 최적화 기법을 통합해 특성 표현력을 높였다. 활성화 함수로는 기존 ReLU 대신 Swish를 써서 성능을 개선했다.

⤢✕

ImageNet 데이터셋에서 EfficientNet-B7은 Top-1 정확도 84.3%를 달성했다. 기존 ConvNet 대비 최대 8.4배 작은 모델 크기와 최대 6.1배 빠른 추론 속도를 보이며, B0부터 B7까지 다양한 크기의 모델을 제공해 상황에 맞는 선택이 가능하다.

모델	매개변수 수	ImageNet Top-1 정확도
EfficientNet-B0	5.3M	77.1%
EfficientNet-B3	12M	81.6%
EfficientNet-B7	66M	84.3%

BiFPN으로 확장한 객체 탐지, EfficientDet

EfficientDet은 EfficientNet을 백본(backbone) 네트워크로 활용한 객체 탐지 모델이다. 특징 네트워크로는 BiFPN(Bi-directional Feature Pyramid Network)을 도입했고, 효율적인 스케일링 방법을 적용해 D0부터 D7까지 다양한 크기의 모델을 제공한다. 목표는 최소한의 계산 리소스로 최고의 객체 탐지 성능을 내는 것이다.

BiFPN은 기존 FPN, PANet 등 특징 융합 네트워크의 단점을 보완한다. 양방향(top-down, bottom-up)으로 특징 정보를 흘려보내고, 불필요한 에지(edge)는 제거하면서 필요한 연결은 추가해 정보 흐름을 최적화한다.

⤢✕

서로 다른 해상도의 특징 맵을 융합할 때는 각 입력의 중요도가 다를 수 있다는 점에 착안해, 학습 가능한 가중치(w)를 도입한 가중치 있는 특징 융합(Weighted Feature Fusion)을 쓴다. 가중치 정규화에는 소프트맥스 또는 Fast 정규화를 사용하며, 특징 맵 융합은 O = ∑(wi * Ii) / ∑wi (Ii는 입력 특징 맵, wi는 해당 가중치) 식으로 이뤄진다.

EfficientNet의 복합 스케일링 방법론은 객체 탐지에도 그대로 확장된다. 백본 네트워크, BiFPN 네트워크, 박스/클래스 예측 네트워크, 입력 해상도 등 모든 구성요소를 균형 있게 스케일링해 EfficientDet-D0부터 D7까지 만들어내며, 리소스 제약에 따라 최적의 모델을 고를 수 있다.

COCO 데이터셋에서 EfficientDet-D7은 51.0 mAP(Mean Average Precision)를 달성했다. 기존 YOLOv3, RetinaNet, Faster R-CNN 등과 비교해 성능·효율성 면에서 우수하며, 최소 4배 적은 파라미터로 동등하거나 더 높은 정확도를 낸다. 추론 속도도 기존 모델 대비 크게 향상돼 모바일 디바이스에 적합하다.

모델	매개변수 수	COCO mAP	지연시간(ms)
EfficientDet-D0	3.9M	33.8	32
EfficientDet-D3	12M	45.8	95
EfficientDet-D7	52M	51.0	325

모바일부터 의료 영상까지, 실제 적용 사례

리소스가 제한된 환경일수록 두 모델의 강점이 두드러진다. 스마트폰 카메라의 실시간 객체 인식·분류, 드론이나 자율주행차량의 제한된 연산 환경에서의 고성능 비전 처리, 웨어러블 디바이스의 이미지 인식 기능, 에지 컴퓨팅 환경의 AI 비전 서비스가 대표적이다.

클라우드 서비스에서는 대규모 이미지 처리 시스템의 서버 자원 사용을 효율화하는 데 쓰인다. 추론 서버 한 대당 처리 가능한 요청 수가 늘어나 TCO(Total Cost of Ownership)가 줄고, 실시간 영상 처리 서비스의 지연 시간도 줄어든다. AWS, GCP, Azure 등 클라우드 AI 서비스에 통합돼 비용 효율적인 AI 서비스를 제공하기도 한다.

의료 영상 분석에서는 X-레이, CT, MRI 등에서 병변을 탐지하는 데 쓰이며, 제한된 의료 장비 환경에서도 고품질 AI 진단을 지원한다. 모바일 의료 기기에 탑재돼 현장 진단을 돕거나, 희귀질환 탐지를 위한 효율적 영상 스크리닝 시스템을 구축하는 데도 활용된다.

감시·보안 시스템에서는 실시간 CCTV 모니터링과 객체 추적, 얼굴 인식 기반 출입 통제, 이상 행동 탐지 등에 쓰이며, 공항·기차역 같은 공공장소의 보안 시스템 강화에 기여한다.

사전 훈련 모델 불러와 전이 학습으로 쓰기

TensorFlow나 PyTorch에서는 사전 훈련된 모델을 바로 불러와 쓸 수 있다.

# TensorFlow 구현 예시 (EfficientNet)
import tensorflow as tf
from tensorflow.keras.applications import EfficientNetB0

# 사전 훈련된 EfficientNet 모델 로드
model = EfficientNetB0(weights='imagenet', include_top=True)

# 이미지 분류 예측
img = tf.keras.preprocessing.image.load_img('sample.jpg', target_size=(224, 224))
x = tf.keras.preprocessing.image.img_to_array(img)
x = tf.keras.applications.efficientnet.preprocess_input(x)
x = tf.expand_dims(x, 0)

predictions = model.predict(x)

사전 훈련된 EfficientNet을 백본으로 활용해 커스텀 데이터셋에 전이 학습을 적용하면, 일부 계층만 미세 조정(Fine-tuning)해도 학습 시간과 필요 데이터양을 줄일 수 있다. 작은 규모의 데이터셋에서도 준수한 성능을 낼 수 있으며, 이미지 분류·객체 탐지·세그멘테이션 등 다양한 비전 작업으로 확장 적용이 가능하다.

모바일·임베디드 환경에 배포하려면 TensorFlow Lite나 ONNX로 변환한다. 양자화(Quantization)를 거치면 모델 크기가 추가로 줄고 추론 속도가 빨라지며, 다양한 하드웨어 플랫폼에 최적화해 에지 디바이스에서도 실시간 추론이 가능한 환경을 구성할 수 있다.