트랜스퍼 러닝 실무 선택: 도메인 적응, 파인튜닝, 퓨샷 러닝
트랜스퍼 러닝에서 도메인 적응, 파인튜닝, 퓨샷 러닝을 선택하는 기준과 데이터·평가·운영 전략을 정리한다.
2026-08-14 · 최초 발행 2025-10-14
사전학습 모델을 새 도메인에 옮길 때의 판단 기준
트랜스퍼 러닝은 소스 태스크 또는 도메인에서 얻은 지식을 타깃 태스크 또는 도메인으로 이전하는 학습 패러다임이다. 이미 학습된 모델을 활용해 데이터와 연산 비용을 줄이고, 학습 수렴을 안정화하는 데 목적이 있다.
선택지는 타깃 데이터의 상태에 따라 갈린다. 태스크는 같지만 도메인 분포 차이가 크고 타깃 라벨이 부족하다면 Domain Adaptation이 대상이다. 사전학습 가중치를 초기값으로 삼아 타깃 데이터로 재학습하는 Fine-Tuning은 라벨이 충분할 때 활용한다. Few-Shot Learning은 수샷의 라벨만으로 일반화 성능을 확보하려는 방식이며, 메타러닝이나 대규모 언어모델의 프롬프트·어댑터 기반 적응을 포함한다.
모델과 데이터를 함께 설계해야 하는 이유
사전학습 모델은 도메인 근접성, 파라미터 규모, 라이선스와 배포 제약을 기준으로 고른다. 백본의 표현력은 추론 예산과 맞춰야 하며, PyTorch·Transformers 같은 프레임워크와 CUDA, ROCm 가속기 지원 여부도 확인 대상이다.
데이터는 소스와 타깃을 분리하고 라벨 신뢰도와 표본 추출 편향을 관리한다. 약라벨링과 의사라벨링을 병행할 수 있으며, 증강·필터링·샘플 가중치로 도메인 갭을 완화한다. 이때 데이터 시그널과 노이즈의 비율이 흔들리지 않도록 관리해야 한다.
학습 단계에서는 동결 범위와 학습률 스케줄, L2/WD·가중치 정규화를 조절한다. EWC와 L2-SP는 catastrophic forgetting 완화 방안으로 검토할 수 있다. 조기종료, EMA, 샘플 리밸런싱은 안정성 확보에 사용된다.
평가는 오프라인과 온라인으로 나뉜다. 오프라인에서는 정확도/F1, Calibration(ECT/ACE), 분포 거리(MMD, FID 유사), 공정성 지표를 본다. 운영 중에는 PSI와 KL 기반 드리프트 모니터링, A/B 테스트, 롤백과 그레이드 릴리스 체계를 둔다.
적응 방식이 갈리는 흐름
입력은 사전학습 모델, 소스·타깃 데이터, 지연·메모리·라이선스 같은 제약이다. 도메인 분석 후 전처리와 증강을 수행하고 기법을 골라 학습·튜닝·검증·해석으로 이어간다. 결과물은 적응된 모델, 성능·안정성 리포트, 배포 아티팩트다.
데이터 스키마가 맞지 않으면 전처리 단계를 중단하고 스키마 자동 정렬이나 매핑을 실행한다. 분포 드리프트가 과도하면 표본을 재구성하거나 도메인 가중 샘플링을 적용한다. 과적합이 감지된 경우에는 조기종료를 강화하고 정규화 가중치를 높이며 동결 범위를 넓힌다.
라벨 부족과 도메인 차이에 대응하는 Domain Adaptation
Domain Adaptation은 태스크는 같지만 타깃 라벨이 희소하거나 없고, 소스와 타깃의 분포 차이가 큰 경우에 적합하다. 특징 공간을 MMD나 CORAL로 정렬하거나, DANN의 적대적 도메인 분류기를 사용하고, 의사라벨 기반 자기훈련을 적용할 수 있다.
의사라벨이 부정확하면 오류가 전파될 수 있다. 모드 붕괴와 라벨 시프트도 보정 대상이다.
간단 코드 예시: DANN 스켈레톤 (PyTorch, CUDA 권장)
- 환경: Python 3.10+, PyTorch >=2.1 (최신 정보 확인 필요)
# DANN minimal skeleton (feature extractor + label head + domain head)
import torch, torch.nn as nn, torch.nn.functional as F
class GradReverse(torch.autograd.Function):
@staticmethod
def forward(ctx, x, lambd): ctx.lambd=lambd; return x.view_as(x)
@staticmethod
def backward(ctx, grad_output): return -ctx.lambd*grad_output, None
class Feature(nn.Module):
def __init__(self, d_in=784, d_h=256): super().__init__();
self.net=nn.Sequential(nn.Linear(d_in,d_h), nn.ReLU(), nn.Linear(d_h,d_h), nn.ReLU())
def forward(self,x): return self.net(x)
class LabelHead(nn.Module):
def __init__(self, d_h=256, n_cls=10): super().__init__(); self.fc=nn.Linear(d_h,n_cls)
def forward(self,f): return self.fc(f)
class DomainHead(nn.Module):
def __init__(self, d_h=256): super().__init__(); self.fc=nn.Linear(d_h,2)
def forward(self,f, lambd=1.0): f = GradReverse.apply(f, lambd); return self.fc(f)
feat, lab, dom = Feature(), LabelHead(), DomainHead()
opt = torch.optim.Adam(list(feat.parameters())+list(lab.parameters())+list(dom.parameters()), lr=1e-3)
for epoch in range(5):
for xs, ys in src_loader: # labeled source
xt, _ = next(iter(tgt_loader)) # unlabeled target
fs = feat(xs.view(xs.size(0), -1)); ft = feat(xt.view(xt.size(0), -1))
# task loss
yhat = lab(fs); loss_y = F.cross_entropy(yhat, ys)
# domain loss (source=0, target=1)
ds = dom(fs, lambd=0.1); dt = dom(ft, lambd=0.1)
ld = F.cross_entropy(ds, torch.zeros(len(ds), dtype=torch.long)) + \
F.cross_entropy(dt, torch.ones(len(dt), dtype=torch.long))
loss = loss_y + ld
opt.zero_grad(); loss.backward(); opt.step()충분한 타깃 라벨을 활용하는 Fine-Tuning
Fine-Tuning은 타깃 라벨이 충분하고 높은 성능이 필요하며 모델과 도메인이 가까울 때 선택한다. 전층 또는 일부 층을 미세조정하고, 차별적 학습률을 적용하거나 Adapters·LoRA 같은 파라미터 효율 기법을 사용할 수 있다.
과적합과 망각을 막기 위해 EWC/L2-SP, 스케줄링, 정규화, 데이터 균형을 함께 다룬다.
예시: LoRA 기반 경량 파인튜닝 (Transformers + PEFT)
- 환경: Python 3.10+, transformers >=4.41, peft >=0.10, PyTorch >=2.1 (최신 정보 확인 필요)
from transformers import AutoModelForSequenceClassification, AutoTokenizer, Trainer, TrainingArguments
from peft import LoraConfig, get_peft_model
import datasets
model_id = "bert-base-uncased"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id, num_labels=2)
peft_cfg = LoraConfig(r=8, lora_alpha=16, target_modules=["query","value","key"], lora_dropout=0.1)
model = get_peft_model(model, peft_cfg)
dataset = datasets.load_dataset("imdb")
def tok_fn(ex): return tok(ex["text"], truncation=True, padding="max_length", max_length=256)
ds = dataset.map(tok_fn, batched=True).rename_column("label","labels")
ds = ds.remove_columns([c for c in ds["train"].column_names if c not in ("input_ids","attention_mask","labels")])
args = TrainingArguments(output_dir="./out", per_device_train_batch_size=16, num_train_epochs=2,
learning_rate=2e-4, fp16=True, logging_steps=50)
trainer = Trainer(model=model, args=args, train_dataset=ds["train"].shuffle(seed=42).select(range(20000)),
eval_dataset=ds["test"].select(range(2000)))
trainer.train()
model.save_pretrained("./out-lora")수샷 라벨로 시작하는 Few-Shot Learning
Few-Shot Learning은 클래스당 1~20개처럼 라벨이 수샷인 상황에서 빠른 도입이 필요할 때 사용한다. ProtoNet의 프로토타입 기반 최근접 거리 방식, MAML의 최적화 기반 방식, LLM의 프롬프트·어댑터 최소 튜닝이 여기에 속한다.
에피소드 학습 설계, 클래스 불균형, 임베딩 품질이 결과에 영향을 준다.
간단 코드 예시: 프로토타입 분류기 (임베딩 제공 가정)
- 환경: Python 3.10+, PyTorch >=2.1
import torch, torch.nn.functional as F
def compute_proto(embeds, labels):
# embeds: [N, D], labels: [N]
protos = []
for c in torch.unique(labels):
protos.append(embeds[labels==c].mean(dim=0))
return torch.stack(protos), torch.unique(labels)
def proto_logits(query_emb, protos):
# query_emb: [M, D], protos: [C, D]
dists = torch.cdist(query_emb, protos) # [M, C]
return -dists # higher is closer
# support set
support_emb = torch.randn(20, 128); support_y = torch.tensor([0]*10 + [1]*10)
protos, proto_labels = compute_proto(support_emb, support_y)
# query
query_emb = torch.randn(5, 128)
logits = proto_logits(query_emb, protos)
pred = proto_labels[logits.argmax(dim=1)]선택지별 성능과 운영 부담
| 기법 | 성능(최대치) | 확장성(데이터/파라미터) | 일관성(도메인 변화) | 안정성(과적합/망각) | 운영 편의 |
|---|---|---|---|---|---|
| Domain Adaptation | 중~고 | 높음(라벨 적음) | 높음(갭 정렬) | 중간(의사라벨 위험) | 중 |
| Fine-Tuning | 최고(라벨 충분) | 중(학습 비용 존재) | 중(드리프트 민감) | 중~낮음(망각 위험) | 중 |
| Few-Shot | 중(빠른 도입) | 매우 높음(데이터 최소) | 낮음(도메인 변동 민감) | 중~높음(불안정) | 높음(빠른 배포) |
구체 성능은 데이터, 모델, 리소스에 따라 달라진다.
업무 데이터에서의 적용 모습
영수증 OCR을 인보이스 전표로 옮길 때는 일반 영수증을 소스로, 라벨이 제한된 인보이스를 타깃으로 둘 수 있다. DANN과 텍스트 라인 증강을 적용하고 날짜·금액 정합을 위한 포스트프로세스 규칙을 결합한다.
고객문의 분류에는 한국어 분류 50개 클래스와 라벨 5만 건을 사용해 13B LLM을 어댑터 튜닝할 수 있다. 차별적 학습률과 클래스 밸런싱을 적용하며, 지연 예산 안에서 배포한다.
제조 설비 이상 탐지에서는 신규 설비의 초기 로그가 소량일 때 ProtoNet 임베딩과 사전경고 임계 최적화를 활용한다. PSI 기반 드리프트 감지로 주기적인 재샘플 업데이트를 수행한다.
비용 절감과 성능 개선의 범위
의사라벨과 어댑터 활용을 기준으로 데이터 라벨링 비용은 5090% 절감할 수 있다. 학습 시간은 520배 단축되고 전력·클라우드 비용은 60%+ 절감 가능하다.
초기 정확도 베이스라인 대비 3~15pp 개선될 수 있으며, 미세조정 반복으로 추가 향상을 기대할 수 있다. 온라인 드리프트에 대응하면 SLA 위반률이 30% 이상 감소한 사례도 다수다. 수치는 도메인, 데이터 품질, 모델 규모에 따라 변동한다.
배포 이후까지 이어지는 통제
개인정보와 민감정보를 마스킹하고 라벨링 벤더의 보안을 점검하며 데이터 이동을 최소화한다. 사전학습 모델과 데이터셋의 라이선스, 상업적 이용 제한도 검토한다.
중복·시간 누수에 따른 데이터 누수를 막고 평가 리그를 설계한다. 도메인 시프트 모니터링은 자동화하며, EWC·L2-SP·rehearsal과 체크포인트 롤백으로 catastrophic forgetting 위험을 낮춘다.
모델 카드와 데이터 카드를 작성하고 오디트 로그를 남긴다. A/B 테스트에서 그레이드 릴리스를 거쳐 전면 전환하는 단계 배포를 적용하며, 성능·드리프트·비용 대시보드와 주기적 재튜닝 윈도우를 운영한다.
도메인 갭이 크고 라벨이 부족하면 Domain Adaptation을 먼저 검토한다. 라벨이 충분하면 Fine-Tuning이 기본 선택지이며, 데이터가 극소량이고 빠른 도입이 필요하면 Few-Shot Learning이 맞는다. Adapters와 LoRA 같은 파라미터 효율 기법은 비용, 속도, 유지보수성에 영향을 주고, 드리프트 모니터링과 재튜닝 파이프라인은 운영 체계의 일부가 된다.