언어모델은 어떻게 다음 단어를 예측하는가: 통계 모델에서 Transformer까지
n-gram 같은 통계 기반 언어모델의 한계와, 이를 극복한 신경망·Transformer 기반 언어모델의 구조·평가지표·과제를 정리한다.
2026-08-14 · 최초 발행 2026-04-09
챗GPT가 다음 단어를 그럴듯하게 이어 쓰는 것도, 검색창의 자동완성이 그럴듯한 문장을 제안하는 것도 결국 같은 질문에서 출발한다 — 이 문장이 자연스러운가, 아닌가를 어떻게 확률로 판단할 것인가. 언어모델은 이 질문에 답하기 위해 단어 시퀀스에 확률을 할당하는 기술이다.
언어모델이 하는 일
언어모델은 단어 시퀀스(문장)에 확률을 할당하는 모델이다. 문장이나 단어 시퀀스가 얼마나 자연스러운지 확률적으로 평가하고, 실생활에서 쓰이는 언어의 확률 분포를 근사해 모델링한다. 주어진 단어들로부터 다음에 등장할 단어를 예측하는 능력을 갖추고 있어, 기계가 "이 문장은 적절하다" 또는 "이 문장은 말이 안 된다"를 판단하는 기준을 제공한다.
통계로 확률을 계산하던 시절: n-gram
언어모델은 통계 기반 방법론에서 신경망 기반 방법론으로 발전해 왔다. 통계 기반 언어모델(Statistical Language Model, SLM)은 카운트 기반의 확률 모델로, 조건부 확률을 기반으로 단어 시퀀스의 등장 가능성을 계산한다. 주요 수식은 P(b|a) = P(a,b)/P(a)이고, 문장 전체의 확률은 P(a,b,c,d) = P(a)P(b|a)P(c|a,b)P(d|a,b,c)로 이어진다.
통계 기반 언어모델 중 가장 널리 쓰인 방식이 n-gram 모델이다. n-gram은 n개의 연속적인 단어 나열을 뜻하며, 이전에 등장한 모든 단어를 고려하지 않고 직전 n-1개의 단어만 고려해 계산 복잡성을 줄이고 효율을 높인다.
n-gram 모델에서 다음 단어의 확률은 P(w|boy is spreading) = count(boy is spreading w) / count(boy is spreading)처럼 계산한다.
n-gram 모델은 두 가지 한계에 부딪힌다. 첫째는 희소 문제(Sparsity Problem)로, 코퍼스에 특정 n-gram이 등장하지 않으면 확률이 0이 되어 실제로는 가능한 표현이라도 학습 데이터에 없으면 인식하지 못한다. 둘째는 n 선택의 트레이드오프로, n이 크면 더 긴 컨텍스트를 고려할 수 있지만 희소 문제가 심해지고, n이 작으면 데이터 부족 문제는 줄지만 컨텍스트를 잃는다 — 일반적으로 n은 최대 5를 넘지 않도록 권장된다. 라플라스 스무딩, 굿-튜링 스무딩, 백오프(Backoff) 같은 스무딩 기법으로 이 한계를 일부 보완한다.
신경망이 희소 문제를 우회한 방식
통계 기반 언어모델의 한계를 극복하기 위해 인공신경망 기반 언어모델이 등장했다. 2003년 NNLM(Neural Network Language Model)을 시작으로 2010년 RNN 기반 언어모델, 2014년 LSTM·GRU 적용 언어모델, 2017년 Transformer 아키텍처, 2018년 BERT·GPT 등 사전학습 모델, 2022년 GPT-4·LLaMA 등 대규모 언어모델로 이어졌다.
신경망 기반 언어모델은 단어의 분산 표현(Distributed Representation)을 학습하고, 단어 임베딩으로 의미적 유사성을 포착한다. 희소 문제를 완화하고 긴 문맥 정보를 효과적으로 포착할 수 있으며, 전이 학습(Transfer Learning)을 통해 성능을 끌어올린다.
Transformer 이후의 구조
현대의 언어모델은 대부분 Transformer 아키텍처를 기반으로 하며, 자기회귀적(Autoregressive) 또는 마스킹(Masking) 접근법을 쓴다.
모델 유형은 세 갈래로 나뉜다. GPT 계열의 자기회귀적 모델은 이전 토큰들로부터 다음 토큰을 예측하며 텍스트 생성에 강점을 보인다. BERT 계열의 마스킹 기반 모델은 문장 내 일부 토큰을 마스킹하고 원래 토큰을 예측하는 방식으로 문맥 이해와 분류 작업에 강하다. T5·BART 등 하이브리드 모델은 인코더-디코더 구조를 결합해 번역·요약 같은 작업에 강점을 갖는다.
응용 분야와 평가 지표
언어모델은 이메일 작성 지원·검색어 자동완성·코드 자동완성(GitHub Copilot) 같은 텍스트 생성 및 자동완성, Google Translate·DeepL 같은 기계 번역, 검색 시스템·고객 지원 챗봇·가상 비서 같은 질의응답 시스템, 소셜 미디어 모니터링·리뷰 분석·콘텐츠 필터링 같은 감성 분석 및 텍스트 분류, 뉴스·보고서·회의록 요약 같은 문서 요약, 코드 생성·버그 수정·코드 설명 생성 같은 프로그래밍 지원까지 다양한 분야에서 쓰인다.
성능은 몇 가지 지표로 평가한다. 퍼플렉시티(Perplexity)는 언어모델이 테스트 데이터를 얼마나 잘 예측하는지 측정하며 낮을수록 좋은 성능이다. BLEU·ROUGE 스코어는 생성된 텍스트와 참조 텍스트 간의 유사도를 측정해 기계 번역·요약 평가에 쓰인다. GLUE·SuperGLUE·SQuAD 같은 벤치마크 데이터셋은 다양한 NLP 작업에 대한 모델 성능을 표준화된 방식으로 비교한다.
아직 풀지 못한 문제들
대규모 모델은 훈련과 추론에 막대한 컴퓨팅 자원을 요구해 모델 경량화와 지식 증류(Knowledge Distillation) 연구가 계속되고 있다. 훈련 데이터의 편향성이 모델에 반영되고 유해한 콘텐츠를 생성할 가능성도 있어 책임있는 AI 개발의 필요성이 커지는 중이다. 영어 외 언어, 특히 데이터가 부족한 언어에 대한 성능 향상도 과제로 남아 있고, 긴 문서를 일관성 있게 처리하고 멀리 떨어진 정보 간의 관계를 파악하는 장기 문맥 이해도 아직 완전히 풀리지 않았다.
앞으로는 텍스트·이미지·오디오·비디오 등 다양한 모달리티를 함께 처리하는 멀티모달 통합(CLIP, DALL-E, GPT-4V 등), 파라미터 효율적 학습과 추론 최적화를 통한 모델 효율성 향상, 의학·법률·금융 등 특정 분야에 최적화된 도메인 특화 모델, 새로운 지식을 계속 습득하면서도 기존 지식을 잊지 않는 지속적 학습 쪽으로 발전할 것으로 보인다.