길리랩blog

LLM 아키텍처, 논문 대신 다이어그램으로 이해하기: Raschka의 시각화 갤러리

Sebastian Raschka의 LLM Architecture Gallery가 Transformer·GPT-2·BERT·LLaMA·MoE를 어떻게 도식화하는지, 시각화가 학습에 주는 효과와 관련 학습 자료를 정리한다.

2026-08-14 · 최초 발행 2026-03-19

대규모 언어 모델(LLM)의 내부 구조를 논문과 코드만으로 파악하는 일은 생각보다 오래 걸린다. 수식은 정확하지만 직관을 주지 않고, 코드는 구체적이지만 전체 그림을 보여주지 않는다. Sebastian Raschka가 공개한 LLM Architecture Gallery는 GPT-2, BERT, LLaMA 등 대표적인 모델의 내부 구조를 고품질 다이어그램으로 정리해 이 간극을 메우는 학습 지름길을 제공한다. discuss.pytorch.kr 커뮤니티에서도 이 프로젝트가 활발히 소개되며 국내 AI 학습자들 사이에서 주목받고 있다.

Raschka는 왜 이 갤러리를 만들었나

Sebastian Raschka는 Wisconsin-Madison 대학교 통계학 교수이자 Lightning AI 수석 연구 과학자다. "Machine Learning with PyTorch and Scikit-Learn"과 "Build a Large Language Model (From Scratch)"의 저자로도 잘 알려져 있다. LLM Architecture Gallery는 GitHub 저장소 rasbt/LLMs-from-scratch에서 파생된 시각화 컬렉션으로, 복잡한 모델 구조를 단일 다이어그램으로 표현해 아키텍처 간 차이점을 명확히 전달하는 것을 목표로 한다. 오픈소스 방식으로 공개돼 커뮤니티 기여가 가능하며, 2023년부터 꾸준히 업데이트돼 2026년 3월 현재 10개 이상의 주요 모델을 커버한다.

Transformer의 뼈대를 그림 하나로

⤢✕예아니오입력 토큰 시퀀스토큰 임베딩 레이어포지셔널 인코딩 추가멀티헤드 어텐션 블록Add & LayerNorm피드포워드 네트워크 FFNAdd & LayerNorm다음 레이어 존재?최종 레이어 정규화언어 모델 헤드 출력소프트맥스 확률 분포

토큰 임베딩은 정수 인덱스를 고차원 벡터로 변환하는 첫 번째 단계이고, 포지셔널 인코딩은 순서 정보가 없는 어텐션 구조에 위치 정보를 주입하는 메커니즘이다. 멀티헤드 어텐션은 서로 다른 표현 부분 공간에서 병렬 어텐션을 수행하며, Add & LayerNorm은 잔차 연결과 레이어 정규화를 결합한 안정화 기법이다. 피드포워드 네트워크는 각 위치별로 독립적으로 적용되는 2층 MLP다. Raschka의 시각화는 이 각 요소 간 텐서 형태(shape)를 명시적으로 표기하는 것이 특징이다.

GPT-2를 뜯어보는 다이어그램

GPT-2는 OpenAI가 2019년 공개한 디코더 전용(Decoder-Only) 자기회귀 언어 모델로, 117M(소형)부터 1.5B(대형)까지 4가지 변형이 있다. 핵심 구조 특징은 다음과 같다.

구성 요소 GPT-2 Small GPT-2 Large
레이어 수 12 36
히든 차원 768 1280
어텐션 헤드 12 20
컨텍스트 길이 1024 1024

미래 토큰을 참조하지 못하도록 상삼각 마스크를 적용하는 Causal Masking과, 원래 Transformer와 달리 어텐션 이전에 정규화를 적용하는 Pre-LayerNorm 구조가 GPT-2의 특징이다. Raschka 시각화의 강점은 각 레이어 블록의 입출력 텐서 차원을 색상 코딩으로 구분한다는 점이며, "Build an LLM from Scratch" 도서와 연계해 코드와 다이어그램을 1:1로 매핑해 제공한다.

BERT는 어디가 다른가

BERT(Bidirectional Encoder Representations from Transformers)는 구글이 2018년 발표한 인코더 전용 모델로, GPT 계열과의 근본적 차이는 양방향 어텐션(Bidirectional Attention)을 쓴다는 점이다. 사전 학습 목표는 입력 토큰 15%를 마스킹 후 예측하는 Masked Language Modeling(MLM)과 두 문장의 연속성을 판별하는 Next Sentence Prediction(NSP) 두 가지다.

시각화에서 드러나는 구조적 특징으로는 분류 태스크용 특수 토큰이 시퀀스 맨 앞에 위치하는 [CLS] 토큰, 두 입력 구간을 구분하는 [SEP] 토큰, 문장 A와 문장 B를 구분하는 추가 임베딩 레이어인 세그먼트 임베딩이 있다. 파인튜닝 시에는 분류·NER·QA 등 다운스트림 태스크에 [CLS] 표현을 활용하며, RoBERTa·ALBERT·DeBERTa 등 후속 모델과의 아키텍처 변화도 비교할 수 있다.

LLaMA가 갈아 끼운 부품들

Meta AI가 2023년 공개한 오픈소스 기반 대형 언어 모델 시리즈 LLaMA는 GPT-2 대비 다음과 같은 아키텍처 개선을 도입했다.

기법 설명 적용 효과
RoPE 회전 위치 임베딩 긴 컨텍스트 외삽 성능 향상
SwiGLU 게이팅 선형 유닛 FFN 표현력 증가
RMSNorm Root Mean Square 정규화 LayerNorm 대비 연산 효율화
GQA 그룹 쿼리 어텐션 KV 캐시 메모리 절감

LLaMA-2에서 LLaMA-3로 넘어가면서 토크나이저의 BPE 어휘 크기가 32K에서 128K로 확장됐고, 컨텍스트 길이는 4K에서 8K(기본)·128K(파인튜닝)로 늘었으며, GQA 도입으로 추론 속도와 메모리 효율이 대폭 개선됐다. Raschka 시각화에서는 RoPE 적용 위치와 SwiGLU 게이팅 흐름을 별도 서브다이어그램으로 표현한다.

토큰마다 다른 전문가를 부르는 MoE

⤢✕입력 토큰 벡터게이팅 네트워크 RouterExpert 선택 Top-K 스코어링Expert 전문가 FFN-1Expert 전문가 FFN-2Expert 전문가 FFN-N가중 합산 레이어최종 출력 벡터로드 밸런싱 보조 손실학습 최적화 피드백

MoE의 핵심 원리는 모든 파라미터를 활성화하지 않고 토큰마다 소수의 전문가만 선택하는 것이다. Dense 모델(GPT-4 이전)이 모든 FFN 파라미터를 항상 활성화하는 반면, Sparse MoE는 전체 파라미터의 일부만 추론에 참여시켜 계산 효율을 극대화한다.

Mixtral 8x7B가 대표 사례다. 8개의 Expert FFN 중 토큰당 2개를 선택하며, 총 파라미터는 46.7B이지만 실제 활성 파라미터는 12.9B 수준에 그친다. 라우터는 소프트맥스 기반 Top-2 선택을 수행한다. 특정 Expert에 토큰이 몰리는 로드 밸런싱 문제는 보조 손실(Auxiliary Loss)로 균등 분포를 유도하고, Expert 용량(Capacity Factor) 파라미터로 버퍼를 제어해 완화한다. Raschka의 MoE 다이어그램은 이 라우팅 결정 과정과 Expert 병렬 처리 흐름을 단계별로 분해해 보여준다.

그림 한 장이 학습 속도를 바꾸는 이유

시각화는 추상적 수식을 구체적 데이터 흐름으로 바꿔 직관적 이해를 촉진하고, 모델 간 아키텍처 차이를 나란히 비교하는 "차이점 중심" 학습을 가능하게 한다. 입력부터 출력까지 텐서 형태 변환 과정을 시각적으로 추적할 수 있어 논문 재현(Replication) 시 구현 실수를 사전에 방지하는 체크포인트 역할도 한다. 복잡한 구조를 비전문가에게 설명하는 팀 내 공통 언어로도 쓰이며, 텍스트 설명만으로 처리하는 경우 대비 이해 속도가 40-60% 향상된다는 학습 과학 연구 기반의 인지 부하 감소 효과도 보고된다. 색상 코딩과 레이아웃 덕분에 핵심 구성 요소를 즉시 식별할 수 있고, 잘못 이해한 구조를 다이어그램과 대조해 스스로 오개념을 교정할 수도 있다.

더 파고들고 싶다면

Raschka 본인의 자료로는 코드와 시각화를 1:1로 연결한 실습 중심 저장소 GitHub rasbt/LLMs-from-scratch, 최신 아키텍처 트렌드를 주간으로 해설하는 Substack "Ahead of AI", 그리고 Manning Publications에서 2024년 나온 "Build a Large Language Model (From Scratch)"가 있다.

Transformer 원전과 파생 논문으로는 Transformer를 최초 제안한 Vaswani 외(2017)의 "Attention Is All You Need", GPT-3 아키텍처를 상세히 다룬 Brown 외(2020)의 "Language Models are Few-Shot Learners", Touvron 외(2023)의 "LLaMA: Open and Efficient Foundation Language Models"가 꼽힌다.

인터랙티브 학습 도구로는 최소 구현으로 GPT 구조를 파악할 수 있는 Andrej Karpathy의 minGPT/nanoGPT, 어텐션 메커니즘을 인터랙티브하게 설명하는 Lena Voita의 NLP 시각화 블로그, 애니메이션 기반으로 단계별 설명을 제공하는 Jay Alammar의 "The Illustrated Transformer"가 있다.

국내 학습 커뮤니티로는 한국어 LLM 구현 토론과 논문 리뷰가 이뤄지는 discuss.pytorch.kr, 아키텍처 발표 세션을 정기 운영하는 모두의연구소 DeepNLP 스터디가 있다.

Sebastian Raschka의 LLM Architecture Gallery는 GPT-2부터 MoE 기반 최신 모델까지 복잡한 언어 모델 구조를 체계적으로 시각화해 학습 진입 장벽을 낮추는 데 기여하고 있다. 단순한 다이어그램 모음을 넘어 코드와 수식, 시각화를 삼위일체로 연결한 이 프로젝트는 LLM 아키텍처를 실질적으로 이해하고 구현하려는 연구자와 개발자에게 필수 참고 자료로 자리매김하고 있다. discuss.pytorch.kr 커뮤니티를 통해 한국어 해설이 더해지면서 국내 AI 생태계에서도 그 활용 가치가 빠르게 확산되고 있다.

Sources

LLM아키텍처시각화학습SebastianRaschkaTransformerMoE