RNN에서 BERT까지, 자연어처리 모델은 서로의 한계를 어떻게 물려받았나
RNN의 기울기 소실 문제부터 LSTM, Seq2Seq, Attention, Transformer, BERT까지 자연어처리 딥러닝 모델이 이전 모델의 한계를 해결하며 이어진 계보를 정리한다.
2026-08-14 · 최초 발행 2025-05-23
RNN이 자연어처리에 순환 구조를 들여온 뒤, 그 구조가 가진 한계를 다음 모델이 하나씩 물려받아 풀어나가는 방식으로 지금의 자연어처리 아키텍처가 만들어졌다. 기울기 소실을 게이트가 막고, 인코더-디코더의 압축 병목을 Attention이 풀고, 그 Attention만 남긴 구조가 Transformer가 됐다.
RNN, 순환 구조의 시작과 발목을 잡은 기울기 소실
RNN(Recurrent Neural Network)은 순차적 데이터 처리에 특화된 최초의 딥러닝 아키텍처다. 이전 시점의 정보를 현재 계산에 반영하는 순환 구조를 채택해, 문장처럼 순서가 의미를 만드는 데이터를 다룰 수 있게 했다.
하지만 RNN에는 기울기 소실 문제(Vanishing Gradient Problem)라는 한계가 있었다. 긴 시퀀스에서는 초기 정보가 후반부까지 전달되지 못했고, 시퀀스가 길어질수록 학습 효율이 급격히 떨어졌다.
LSTM, 게이트로 기억을 관리하다
LSTM(Long Short-Term Memory)은 RNN의 기울기 소실 문제를 풀기 위해 개발됐다. 기억 셀(Cell State)과 게이트 메커니즘을 도입해, 불필요한 정보를 제거하는 잊기 게이트(Forget Gate), 새로운 정보를 저장하는 입력 게이트(Input Gate), 필요한 정보를 출력하는 출력 게이트(Output Gate)가 함께 작동한다.
이 구조 덕분에 장기 의존성 처리 능력이 개선됐지만, 전체 입력을 완전히 반영하지 못하고 주로 이전 출력에만 의존하는 경향은 여전히 한계로 남았다.
Seq2Seq, 인코더-디코더로 번역을 열다
Seq2Seq(Sequence-to-Sequence)는 인코더-디코더 구조를 기반으로 한 모델로, 기계번역이나 텍스트 요약에 효과적이었다. 인코더는 입력 시퀀스를 고정 크기 벡터로 압축하고, 디코더는 이 압축된 벡터에서 출력 시퀀스를 생성한다.
문제는 문장이 길어질수록 하나의 고정 크기 벡터에 정보를 압축하는 과정에서 정확도가 떨어진다는 점이었다. 인코더가 아무리 좋은 정보를 갖고 있어도, 디코더는 그 압축된 벡터 하나만 넘겨받았다.
Attention, 압축을 우회하다
이 압축 병목을 푼 것이 2014년 Bahdanau 등이 제안한 Attention 메커니즘이다. 디코더가 인코더의 마지막 압축 벡터 하나가 아니라 모든 은닉 상태에 접근할 수 있게 되면서, 중요한 단어에 "집중(Attention)"하는 방식으로 문맥 정보를 포착할 수 있게 됐다. Attention Layer는 인코더 출력값을 디코더 계산에 직접 활용하고, 입력 시퀀스의 모든 부분을 참조할 수 있게 한다.
Transformer, 순환 구조를 걷어내다
2017년 "Attention is All You Need" 논문으로 등장한 Transformer는 LSTM 등 순환 구조를 완전히 제거하고 오직 어텐션 메커니즘만으로 인코더-디코더를 구현한 아키텍처다. 핵심은 Self-Attention으로, 시퀀스 내 모든 위치 간의 상호작용을 계산하며 병렬 처리가 가능해 학습 속도가 크게 향상됐다. 순환 구조가 없어진 만큼 위치 정보는 Positional Encoding으로 별도 처리하고, Multi-Head Attention으로 여러 관점에서 정보를 추출한다.
BERT, 양방향으로 문맥을 읽다
BERT(Bidirectional Encoder Representations from Transformers)는 2018년 구글이 발표한, Transformer의 인코더 부분만 활용한 양방향 모델이다. 대규모 코퍼스로 언어 이해 능력을 기르는 사전훈련(Pre-training)과 특정 태스크에 맞춰 조정하는 미세조정(Fine-tuning) 방식을 채택해 전이학습(Transfer Learning)의 대표 사례가 됐고, 이 덕분에 다양한 NLP 태스크에 적용할 수 있었다.
구조적으로 BERT-Base는 12개 Transformer Block에 110M 파라미터를, BERT-Large는 24개 Transformer Block에 340M 파라미터를 갖는다. 사전학습에는 약 8억 단어 규모의 BooksCorpus와 약 25억 단어 규모의 Wikipedia가 쓰였다. 이전 모델들이 왼쪽→오른쪽 또는 오른쪽→왼쪽 단방향으로 문맥을 처리했던 것과 달리, BERT는 문맥 전체를 양방향으로 고려해 정확도를 끌어올렸다.
계보가 만든 실제 서비스
이 계보를 따라 텍스트 처리 능력은 단계적으로 향상됐다. 기계번역에서는 구글 번역·파파고 같은 서비스의 품질이 올라갔고, 감정분석은 소셜미디어 모니터링과 고객 리뷰 분석에, 질의응답은 챗봇과 Siri·Alexa 같은 가상 비서 서비스에 쓰인다. 텍스트 요약은 뉴스·문서 자동 요약에, 정보 추출은 비정형 데이터에서 구조화된 정보를 뽑아내는 데 활용되며, GPT 계열 모델의 콘텐츠 생성 능력도 이 계보의 연장선에 있다.
RNN의 기울기 소실 문제에서 시작해 LSTM이 이를 완화하고, Seq2Seq의 압축 손실을 Attention이 풀고, Transformer가 순환 구조 자체를 걷어내고, BERT가 양방향 사전학습으로 이어받는 흐름은 각 모델이 앞선 모델의 한계를 물려받아 해결한 과정이다. 모델 경량화로 모바일 기기에서 효율적으로 구동하고, 저자원 언어에 대한 처리 능력을 개선하고, 편향성을 줄이고 공정성을 높이며, 텍스트·이미지·오디오를 통합 처리하는 멀티모달 접근과 법률·의료 등 전문 분야에 특화된 모델로 나아가는 것이 이 계보의 다음 단계로 꼽힌다.