MLP·CNN·LSTM으로 보는 딥러닝 아키텍처와 TensorFlow·PyTorch

데이터 구조가 아키텍처 선택을 결정한다

딥러닝은 다층 신경망으로 표현 학습을 수행하는 기계학습 기법이다. 대규모 데이터와 병렬 연산을 바탕으로 비선형 패턴을 학습하며, 입력 데이터가 어떤 구조를 갖는지에 따라 적합한 모델도 달라진다.

MLP는 완전연결 계층으로 이뤄진 기본 구조다. 벡터 형태의 입력에 잘 맞고, 비선형 활성화를 통해 표현력을 확보한다. CNN은 합성곱과 풀링을 이용해 지역적 특징을 추출하고 이를 계층적으로 쌓는다. RNN과 LSTM은 순서가 있는 데이터에서 이전 상태를 반영하며 시간 의존성을 다룬다. LSTM은 게이트 메커니즘으로 장기 의존성 학습을 안정화한다.

TensorFlow와 PyTorch는 자동미분, GPU 가속, 모델 배포 도구를 제공해 연구와 프로덕션 워크플로우를 표준화하는 데 쓰인다.

모델별 강점과 학습 방식

MLP는 FC 계층을 기반으로 하며 구조가 단순하다. 탭형 피처나 벡터 입력에 적합하고 구현과 추론이 비교적 가볍다. 반면 고차원 공간 패턴이나 시간적 구조를 직접 학습하는 데는 제약이 있다.

CNN은 합성곱 커널로 지역 특징을 학습하고 파라미터 공유를 통해 효율을 높인다. VGG는 3×3 합성곱과 최대풀링을 반복하는 단순하고 균일한 구조지만 파라미터 수와 메모리 부담이 크다. ResNet은 잔차 연결을 사용해 기울기 소실을 완화하고 깊이 확장성을 높인다. 동일 깊이에서 수렴 안정성과 정확도가 향상되는 경향이 있으며, 전이학습용 백본을 교체하거나 프루닝·양자화와 결합하기에도 유리하다.

RNN은 현재 상태가 이전 상태에 의존하는 순환 구조다. 긴 시퀀스에서는 기울기 소실이나 폭주 문제가 발생할 수 있다. LSTM은 입력·망각·출력 게이트로 정보 흐름을 제어해 장기 의존성 학습을 안정화하지만 계산량이 늘어난다. 시계열, 음성, 고정 길이 인코딩 뒤의 분류 작업에서는 패딩과 마스킹 처리가 필요하다.

학습에서는 분류에 Cross-Entropy, 회귀에 MSE, 시퀀스 작업에 CTC 등을 선택할 수 있다. 최적화에는 SGD나 Adam, 러닝레이트 스케줄러, 모멘텀과 가중치 감쇠가 쓰인다. 드롭아웃, 배치정규화, 데이터 증강은 과적합을 줄이는 수단이다.

입력은 스케일링과 정규화를 거치고, 시퀀스 데이터에는 패딩과 토크나이징을 적용한다. 이미지에서는 Flip, Crop, ColorJitter 증강으로 불변성 학습을 지원한다. 배치 구성, 셔플, 시퀀스 마스킹도 데이터 처리의 일관성에 영향을 준다.

구조별 운영 특성

기준	MLP	CNN (VGG/ResNet)	RNN/LSTM	비고
표현력/성능	중간, 구조 단순	고, 공간 패턴 강점	시퀀스 문맥 강점	데이터 특성 의존
확장성	깊이/너비 선형 확장	ResNet으로 깊이 확장 용이	길이 증가 시 비용 급증	병렬화 난이도 차이
일관성/수렴	수렴 빠름, 안정성 높음	ResNet 수렴 안정, VGG 파라미터 큼	장기 의존성에서 LSTM 안정	초기화/정규화 중요
안정성(오버핏)	데이터 적으면 과적합 쉬움	증강 효과 큼	드롭아웃/정규화 필요	검증 모니터링 필수
운영 편의	추론 경량	전이학습·백본 교체 용이	Batch 처리·패딩 필요	배포 경로 상이

학습에서 재학습까지 이어지는 흐름

⤢✕

데이터 수집, 전처리와 증강, 모델 학습과 평가, 배포, 모니터링은 분리된 작업이 아니라 이어진 루프다. 데이터 품질 검증에 실패하면 전처리를 다시 수행하고, 성능 기준을 충족하지 못하면 하이퍼파라미터나 아키텍처를 다시 탐색한다.

랜덤시드와 데이터 분할을 고정하고 환경 의존 패키지 버전을 고정해야 재현성을 확보할 수 있다. TensorFlow는 Keras 고수준 API, SavedModel/TF-Serving, TFLite 배포 경로를 제공한다. PyTorch는 Eager 중심 개발 방식과 TorchScript/ONNX, TorchServe 운영 경로를 제공한다. 분산 학습에는 DDP와 MultiWorkerMirroredStrategy를 사용할 수 있으며, 프로파일링과 시드 고정도 운영 과정에 포함된다.

현장에서 만나는 적용 장면

이미지 분류와 검사에서는 ResNet 전이학습으로 소량의 레이블 데이터에 대응할 수 있다. 증강과 클래스 불균형 가중치를 적용해 생산 라인 불량 검출의 정밀도를 개선하는 방식이다.

문서나 로그를 분류할 때는 토큰 임베딩과 MLP를 조합해 경량 분류기를 구성할 수 있다. 시퀀스 문맥이 필요한 경우 LSTM을 적용해 오탐을 줄일 수 있다.

다변량 센서 시계열은 LSTM으로 예측하고, 예측값과 관측값의 잔차를 이상 점수로 산출해 경보에 사용할 수 있다. 온디바이스 추론에서는 CNN 백본에 프루닝과 INT8 양자화를 적용하고 TensorRT 또는 TFLite 경로로 지연시간과 전력을 최적화한다.

실험 속도와 배포 경로의 균형

PyTorch는 연구와 실험 속도, 디버깅 편의성 측면에서 강점이 있다. TensorFlow는 서빙과 모바일 배포 경로가 성숙해 있다. 어느 쪽이 적합한지는 팀의 역량과 배포 대상에 따라 달라진다.

데이터가 적으면 전이학습을 우선 고려할 수 있다. 도메인 편차가 크다면 하위 블록의 동결을 해제하고 미세튜닝을 단계적으로 적용한다. 배치 크기와 정밀도는 FP32에서 FP16 또는 INT8로 조정할 수 있지만, 정확도 손실과 지연시간·비용 절감 사이의 균형을 함께 설계해야 한다.

ResNet 계열을 도입하면 동일 데이터에서 VGG 대비 파라미터 수가 수천만→수천만/수천만 중하로 대폭 감소하고, 수렴 안정성 향상으로 학습 에폭 단축을 기대할 수 있다. FP16/INT8 최적화에서는 모델과 하드웨어에 따라 추론 지연시간 30~70% 단축 사례를 기대할 수 있다. 전이학습은 데이터 라벨링 비용 절감에, 표준화된 파이프라인과 재현성 관리는 운영 리스크 감소에 연결된다.

TensorFlow로 MNIST MLP 학습하기

전제조건은 Python 3.10+, CUDA 선택사항, TensorFlow 2.14+ 또는 PyTorch 2.3+다. 예시는 단일 GPU/CPU 환경을 기준으로 하며 재현성을 위해 시드 고정을 권장한다.

# pip install tensorflow==2.14.*
import tensorflow as tf

(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
x_train = (x_train.reshape(-1, 28*28) / 255.0).astype("float32")
x_test = (x_test.reshape(-1, 28*28) / 255.0).astype("float32")

model = tf.keras.Sequential([
    tf.keras.layers.Input(shape=(784,)),
    tf.keras.layers.Dense(256, activation="relu"),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(10, activation="softmax"),
])

model.compile(optimizer="adam",
              loss="sparse_categorical_crossentropy",
              metrics=["accuracy"])

model.fit(x_train, y_train, epochs=3, batch_size=128, validation_split=0.1)
print("Test:", model.evaluate(x_test, y_test, verbose=0))
# 저장 및 배포
model.save("mnist_mlp.keras")  # SavedModel 변환 가능

PyTorch로 CIFAR-10 CNN 학습하기

# pip install torch==2.3.* torchvision==0.18.*
import torch, torch.nn as nn, torch.optim as optim
from torchvision import datasets, transforms

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
torch.manual_seed(42)

tfm = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize((0.4914,0.4822,0.4465), (0.247,0.243,0.261)),
])

train_ds = datasets.CIFAR10(root="./data", train=True, download=True, transform=tfm)
test_ds = datasets.CIFAR10(root="./data", train=False, download=True, transform=tfm)
train_dl = torch.utils.data.DataLoader(train_ds, batch_size=128, shuffle=True, num_workers=2)
test_dl = torch.utils.data.DataLoader(test_ds, batch_size=256, shuffle=False, num_workers=2)

class SmallCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = nn.Sequential(
            nn.Conv2d(3, 32, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
            nn.Conv2d(32, 64, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
            nn.Flatten(),
            nn.Linear(64*8*8, 256), nn.ReLU(), nn.Dropout(0.3),
            nn.Linear(256, 10)
        )
    def forward(self, x): return self.net(x)

model = SmallCNN().to(device)
opt = optim.Adam(model.parameters(), lr=1e-3)
criterion = nn.CrossEntropyLoss()

def eval_acc(dl):
    model.eval(); correct = total = 0
    with torch.no_grad():
        for x, y in dl:
            x, y = x.to(device), y.to(device)
            pred = model(x).argmax(1)
            correct += (pred == y).sum().item()
            total += y.size(0)
    return correct/total

for epoch in range(3):
    model.train()
    for x, y in train_dl:
        x, y = x.to(device), y.to(device)
        opt.zero_grad()
        loss = criterion(model(x), y)
        loss.backward(); opt.step()
    print(f"epoch {epoch+1}, test_acc={eval_acc(test_dl):.3f}")

torch.save(model.state_dict(), "cifar10_smallcnn.pt")

ResNet 전이학습은 torchvision.models.resnet18(weights="DEFAULT")로 백본을 교체할 수 있다. 배포 시에는 TorchScript 또는 ONNX로 추출하고 TensorRT 최적화 경로를 적용할 수 있다.

모델 선택은 성능만의 문제가 아니다. CNN은 이미지, LSTM은 시퀀스, MLP는 탭형 데이터에 강점이 있으며, 전이학습과 경량화는 운영 효율에도 영향을 준다. 프로토타입에서는 PyTorch로 실험하고, 배포 대상에 따라 TF-Serving, TorchServe, ONNX Runtime을 선택할 수 있다. 재현성·모니터링·자동 재학습 루프를 포함한 엔드투엔드 파이프라인이 운영의 기준이 된다.