자연어 처리 핵심 아키텍처 — Word2Vec부터 BERT, Transformer-XL, Seq2Seq 번역까지

검색 쿼리 매칭에는 Word2Vec 하나로 충분한데, 고객 문의 분류에 같은 모델을 쓰면 다의어 앞에서 바로 막힌다. NLP 모델을 고른다는 건 결국 "이 과제가 문맥을 얼마나 필요로 하는가"를 묻는 일이고, Word2Vec·BERT·Transformer-XL·Seq2Seq는 그 질문에 각기 다른 답을 내놓는 아키텍처다.

정적 임베딩과 문맥 임베딩은 다른 문제를 푼다

Word2Vec은 CBOW나 Skip-gram으로 학습한 뒤 고정되는 분산 표현이다. 네거티브 샘플링과 히에라키컬 소프트맥스로 대규모 코퍼스에서도 효율적으로 학습되지만, 한 단어는 문장이 달라져도 항상 같은 벡터를 갖는다. 그래서 의미 유사도 계산에는 강하지만 다의어를 구분하지 못하고, 학습 때 못 본 단어(OOV)에는 서브워드 보완 기법이 따로 필요하다.

BERT는 이 한계를 정반대 방식으로 푼다. 트랜스포머 인코더 기반의 양방향 문맥 언어모델로, 마스크드 언어모델링(MLM)과 문장 관계 예측(NSP, 최신 사양에서는 대체 가능)으로 사전학습한 뒤 WordPiece 토크나이저로 다운스트림 태스크에 파인튜닝한다. 같은 단어라도 문맥에 따라 임베딩이 달라지기 때문에 다의어 구분과 문맥적 의미 분해가 가능하다.

Transformer-XL은 길이 문제를 정면으로 다룬다. 상대적 위치 인코딩과 세그먼트 단위 재귀 메모리로 긴 의존성을 모델링하고, 세그먼트 간 메모리를 재사용해 길이 제한을 완화하면서 언어모델 퍼플렉시티를 개선한다. Self-Attention 자체는 문장 내 토큰 간 상호작용을 병렬로 계산해 긴 거리 의존성을 처리하지만, Transformer-XL은 여기에 재귀 메모리를 더해 세그먼트를 넘나드는 일반화를 강화한 구조다.

Seq2Seq는 인코더-디코더 아키텍처로 소스 시퀀스를 타깃 시퀀스로 변환하는 기계번역의 근간이다. RNN/LSTM 기반에서 Transformer 기반으로 주류가 넘어갔고, 디코딩 단계에서 빔서치·길이/커버리지 보정·제약 디코딩으로 번역 품질을 제어한다. 토크나이저 정렬, 특수토큰 보호, 대소문·숫자·단위에 대한 포스트프로세싱은 품질을 갈라놓는 세부사항이다.

텍스트가 들어와서 결과가 나가기까지

네 모델의 추론 경로는 입력 텍스트 수신 이후 모델 선택 시점에서 갈라진다.

⤢✕

학습·추론 파이프라인 관점에서는 정규화·언어 감지·토크나이즈·샘플링/버킷팅·패딩이 공통 전처리 단계이고, 학습 목표는 MLM/CLM에 교차엔트로피와 라벨 스무딩을 얹어 AdamW와 LR 스케줄러로 최적화하는 구성이 일반적이다. 운영 단계로 넘어가면 지연시간·처리량 목표에 따라 양자화, 지연 로딩, 캐시, 배치 추론을 조합하고, BLEU/F1 같은 품질 지표와 드리프트, 금칙어·정책 룰, 피드백 루프를 함께 모니터링해야 한다.

넷 중 무엇을 고를 것인가

모델	성능(정확도·BLEU 등)	확장성(스루풋)	일관성(문맥 유지)	안정성(에러·OOV)	운영 편의
Word2Vec	의미 유사도 우수, 문맥 구분 제한	매우 높음, CPU도 충분	문장 길이와 무관, 정적 표현	OOV 민감, 서브워드로 보완	경량, 구축 용이
BERT(Encoder)	분류/추출 SOTA급, F1 개선 폭 큼	중간, 배치 병렬 유리	512 토큰 한계, 문맥 충실	OOV 낮음(WordPiece), 안정	생태계 풍부, 파인튜닝 필요
Transformer-XL	언어모델 perplexity 우수, 장문 강점	중간, 메모리 캐시 필요	세그먼트 재귀로 장기 일관성	캐시 관리 필요, 안정적	장문 QA/LM 특화
Seq2Seq(번역)	BLEU 5~10p↑(RNN→Transformer 전환 기준, 환경 의존)	낮음~중간, 디코딩 병목	길이·커버리지 제어 필요	반복/누락 리스크, 보정 가능	사전·룰·용어집 연계 필수

수치는 벤치마크·환경에 따라 달라지므로 최신 정보를 확인해야 한다는 전제는 항상 붙는다.

실무에서는 이렇게 조합한다

검색·추천을 강화할 때는 쿼리와 문서를 임베딩해 ANN으로 인덱싱하고 유사도 검색 후 재순위 모델을 얹는다. 이 흐름에서는 동의어·스펠링 변형, 금칙어 필터, 실시간 캐시가 함께 고려 대상이다.

고객 응대 자동화는 BERT 기반 의도 분류·슬롯 추출을 룰·시스템과 연계해 응답 템플릿을 생성하는 구조가 흔하다. 도메인 파인튜닝과 라벨 불균형 보정, 데이터 드리프트 모니터링이 뒤따른다.

문서 요약이나 질의응답은 장문을 분할한 뒤 Transformer-XL이나 BERT 임베딩으로 리트리벌하고 생성형 요약·답변을 붙이는 구조다. 장문 컨텍스트를 유지하면서도 인용·출처를 표기하고 민감정보를 마스킹해야 한다.

번역(로컬라이제이션)은 번역 메모리(TM)·용어집을 먼저 적용하고 토크나이즈 후 Transformer Seq2Seq로 빔서치 디코딩을 돌린 뒤 포스트에디팅을 거친다. 도메인 적응과 숫자·단위·고유명사 보호, 품질 샘플링이 핵심 관리 포인트다.

도입 효과와 트레이드오프

BERT를 분류에 도입하면 전통 피처 대비 텍스트 분류 F1이 315%p 개선되고(데이터·도메인 의존), Transformer 기반 번역은 RNN 기반 대비 BLEU가 510p 개선된다(코퍼스 의존). 추론 최적화(INT8 양자화, 배치, 캐시)를 적용하면 지연시간이 3070% 줄고, 서빙 인스턴스 축소와 토크나이저 병렬화로 비용이 2050% 절감되는 것으로 나타난다(환경 의존). OOV·철자 변형은 서브워드와 정규화로 처리율이 개선되고, 정책·금칙어 검증 단계를 넣으면 위반률도 유의미하게 줄어든다.

이 효과를 얻으려면 데이터·토크나이즈 단계에서 언어 감지, 정규화, 서브워드 기반 토크나이즈, 커스텀 사전 병합을 갖춰야 하는데, 서브워드 단위가 늘어나면 디코딩 지연도 함께 늘어나는 트레이드오프가 있다. 모델 쪽은 BERT-base 같은 사전학습 모델로 시작해 도메인 파인튜닝과 지식증류·양자화를 적용하는 게 일반적이지만, 양자화는 미세한 성능 저하를, 증류는 추가 학습 비용을 요구한다. 번역 디코딩에서는 빔서치에 길이 보정·커버리지 패널티·제약 디코딩(용어 고정)을 더할수록 품질은 올라가지만 빔이 커질수록 지연이 늘고 과잉 탐색이 자연스러움을 해칠 수 있다. 마지막으로 온라인 품질 계측(BLEU proxy, A/B), 드리프트 탐지, 금칙어·PII 룰을 운영에 박아 넣어야 하는데, 규칙을 강화할수록 리콜이 떨어지고 운영 복잡도가 올라가는 부담도 함께 커진다.

경량 유사도에는 Word2Vec, 문맥 이해에는 BERT, 장문에는 Transformer-XL, 번역에는 Transformer 기반 Seq2Seq — 과제 중심으로 모델을 고르고 토크나이즈·디코딩·품질 검증·모니터링을 체계화하는 쪽이 성능과 안정성을 함께 잡는 길이다. 프레임워크와 모델은 계속 갱신되므로 성능·비용 가정은 정기적으로 재검증할 필요가 있다.