Few-shot Learning: 적은 데이터로 학습하는 접근법들

딥러닝의 성공적인 모델들은 대부분 방대한 양의 데이터를 필요로 한다. 하지만 현실에서는 항상 충분한 데이터를 수집하기 어렵고, 데이터의 라벨링은 많은 시간과 비용을 요구한다. Few-shot Learning은 이러한 문제를 해결하기 위해 등장한 학습 패러다임으로, 소량의 데이터만으로도 효과적인 학습을 가능하게 한다.

기존 딥러닝이 부딪히는 벽

기존 딥러닝 모델은 몇 가지 한계를 안고 있다.

방대한 양의 학습 데이터가 필요하다
대량 데이터에 대한 라벨링 작업의 부담이 크다
학습을 위한 대규모 컴퓨팅 리소스를 요구한다
새로운 클래스가 추가되면 전체 재학습이 필요하다

이런 상황에서 Few-shot Learning은 인간이 소수의 예시만으로도 새로운 개념을 학습할 수 있는 능력에서 영감을 받아 개발됐다.

Support와 Query, 그리고 N-way K-shot

Few-shot Learning은 데이터셋을 다음과 같이 구성한다.

서포트 데이터(Support Data): 모델 훈련에 사용되는 소량의 데이터
쿼리 데이터(Query Data): 모델 테스트에 사용되는 데이터

Few-shot Learning 태스크는 일반적으로 N-way K-shot 문제 형태로 정의된다. N은 분류해야 할 범주(클래스)의 수, K는 각 범주별 학습에 사용되는 서포트 데이터의 수다. K값에 따라 K=1인 경우를 One-shot Learning(각 클래스당 하나의 예시만으로 학습), K=0인 경우를 Zero-shot Learning(예시 없이도 새로운 클래스 예측)이라 부른다.

실제 예제로 보면, 1-Way 1-Shot은 고양이 사진 하나만 보여주고 다양한 동물 이미지 중에서 고양이를 분류하는 문제고, 2-Way 1-Shot은 고양이·호랑이 사진을 하나씩 보여주고 동물 이미지 중에서 둘을 구분하는 문제이며, 3-Way 2-Shot은 고양이·호랑이·사자 사진을 각각 두 개씩 보여주고 해당 동물들을 분류하는 문제다. 실무에서는 생산 라인에서 결함 제품 탐지 시스템을 구축할 때, 정상 제품은 많지만 결함 제품의 사례가 적은 경우에 Few-shot Learning이 효과적이다.

사전학습 모델을 빌려오는 전이 학습

전이 학습은 Few-shot Learning의 기본적인 접근법이다.

방대한 데이터로 사전 학습된 모델을 활용한다
타겟 도메인의 소량 데이터로 미세 조정(Fine-tuning)한다
특히 ImageNet과 같은 대규모 데이터셋으로 사전 학습된 CNN 모델을 활용한다

⤢✕

한계도 있다. 파인 튜닝 과정에서도 상당한 양의 데이터와 시간이 소요되고, 너무 적은 데이터로 학습하면 과적합 문제가 발생하며, 소스 도메인과 타겟 도메인 간 격차가 클 경우 성능이 저하된다.

'학습하는 법'을 학습하는 메타 러닝

메타 러닝은 '학습하는 방법을 학습'하는 접근법이다. "Learn to Learn" 방식을 채택해 다양한 작업(task)에서의 경험을 통해 새로운 작업에 빠르게 적응하며, 인간의 메타인지 과정을 모방한다.

주요 메타 러닝 방법으로는 다양한 태스크에 빠르게 적응할 수 있는 초기 파라미터를 학습하는 Model-Agnostic Meta-Learning(MAML), 지원 세트와의 유사성을 기반으로 쿼리 샘플을 분류하는 Matching Networks, 각 클래스의 프로토타입(평균 임베딩)을 계산해 분류하는 Prototypical Networks가 있다.

로봇 제어(새로운 환경에 빠르게 적응하는 로봇 시스템), 약물 개발(적은 임상 데이터로 약물 효과 예측), 이미지 인식(소수의 예제로 새로운 객체 분류) 분야에서 활용된다.

임베딩 공간에서 거리를 재는 학습

거리 기반 학습은 유사성 측정을 통한 분류에 중점을 둔다. 고차원 데이터를 유용한 저차원 임베딩 공간으로 변환하고, 이 공간에서 샘플 간 거리·유사도를 측정한 뒤 그 유사도를 기반으로 쿼리 데이터를 분류한다.

주요 기법으로는 쌍을 이루는 입력의 유사성을 학습하는 Siamese Networks, 샘플 쌍 간의 관계성을 모델링하는 Relation Networks, 앵커·긍정·부정 샘플 간의 상대적 거리를 학습하는 Triplet Networks가 있다. 복잡한 이미지 인식 작업에서는 강력한 CNN 백본을 활용한 거리 기반 모델이 효과적이다.

불확실한 샘플만 골라 묻는 액티브 러닝

액티브 러닝은 라벨링 비용을 최소화하는 전략이다. 소량의 레이블 데이터로 초기 모델을 학습하고, 모델이 불확실한 샘플을 선택해 레이블링을 요청하며, 사람과 기계의 협업을 통해 효율적으로 레이블링한다.

⤢✕

금융 사기 탐지와 같은 도메인에서 새로운 패턴을 빠르게 학습하는 데 유용하다.

데이터를 직접 만들어내는 생성 모델

생성 모델을 활용한 데이터 증강도 접근법 중 하나다. GAN(Generative Adversarial Networks)을 활용해 합성 데이터를 생성하고, 소량의 실제 데이터를 기반으로 다양한 변형을 만들며, 데이터 분포를 모델링해 클래스별 특성을 학습한다. 의료 영상 분석에서 희귀 질병 케이스에 대한 샘플 생성에 효과적으로 활용된다.

실제로 어디에 쓰이는가

의료 영상 분석: 희귀 질환 진단(충분한 샘플이 없는 질병 탐지)
얼굴 인식 시스템: 적은 사진으로도 개인 식별
신약 개발: 제한된 화합물 데이터로 신약 후보 예측
이상 탐지(Anomaly Detection): 제조업에서 희귀한 결함 패턴 식별
개인화 서비스: 사용자별 선호도 학습(초기 데이터 부족 시)

아직 풀리지 않은 문제들

도메인 격차: 사전 학습과 타겟 도메인 간의 큰 차이를 극복해야 한다
불확실성 추정: 적은 데이터로 학습 시 모델 예측의 신뢰도를 평가해야 한다
클래스 불균형: 일부 클래스의 데이터가 극히 적은 경우를 처리해야 한다
연속 학습: 새로운 클래스가 지속적으로 추가될 때 효율적으로 학습해야 한다

앞으로는 텍스트·이미지·오디오 등 여러 모달리티를 결합하는 멀티모달 Few-shot Learning, 레이블 없는 데이터를 활용한 사전 학습을 강화하는 자기 지도 학습과의 통합, 심볼릭 규칙과 신경망을 결합하는 뉴로심볼릭 접근법, 리소스 제약 환경에서 효율적으로 구현하는 Edge 기기에서의 Few-shot Learning이 전망된다.

Few-shot Learning은 데이터 부족 문제를 해결하기 위한 유망한 접근법이다. 전이 학습, 메타 러닝, 거리 기반 학습, 액티브 러닝, 생성 모델 등 다양한 기법을 통해 적은 데이터로도 효과적인 학습이 가능하며, 특히 데이터 수집과 라벨링이 비용과 시간이 많이 드는 도메인에서 큰 가치를 제공한다. 실무 적용 시에는 태스크의 특성과 가용 데이터를 고려해 적절한 접근법을 선택하는 것이 중요하다.