탐색적 데이터 분석(EDA): 데이터가 스스로 말하게 하는 법
선입견 없이 데이터를 들여다봐 패턴과 이상치를 찾는 EDA의 단계·기법·도구와 금융·의료·이커머스 적용 사례를 정리한다.
2026-08-13 · 최초 발행 2025-05-23
데이터를 미리 판단하지 않고 들여다보는 이유
데이터 분석 프로젝트는 보통 탐색적 데이터 분석(EDA, Exploratory Data Analysis)에서 시작한다. 데이터에 대한 선입견 없이 다양한 방법으로 데이터를 분석해 데이터의 특성, 패턴, 관계를 발견하는 과정이다. 데이터에 내재된 구조를 파악하고 중요 변수를 식별하며, 이상치와 특이점을 감지하고 데이터 품질 문제를 확인해 가설을 형성·검증할 기반을 마련하는 것이 목적이다. 1970년대 존 튜키(John Tukey)가 제안한 개념으로, 전통적 통계 분석의 한계를 극복하기 위한 방법론으로 발전했다.
정제에서 가설 형성까지 이어지는 흐름
다양한 소스에서 데이터를 모으고 결측치·중복값을 정리하며 데이터 형식을 변환·표준화하는 것에서 시작한다. 이어 평균·중앙값·최빈값 같은 중심 경향치와 분산·표준편차·사분위수를 계산해 데이터 분포 특성을 파악하는 기초 통계 분석으로 넘어간다. 단변량 분석은 히스토그램·박스플롯·바플롯으로, 이변량 분석은 산점도·상관관계 행렬로, 다변량 분석은 히트맵·병렬좌표 그래프로 시각화한다. 변수 간 상관관계, 군집 패턴, 시계열 트렌드를 분석해 패턴과 관계를 찾고, 마지막으로 발견된 패턴을 바탕으로 가설을 세우고 추가 분석 방향을 정한다.
변수 하나, 둘, 여러 개를 보는 방법
수치형 데이터는 히스토그램으로 분포를, 박스플롯으로 사분위수와 이상치를, 밀도 그래프로 연속 분포를 시각화한다. 범주형 데이터는 바플롯으로 범주별 빈도를, 파이 차트로 전체 대비 비율을, 카운트 플롯으로 범주별 발생 빈도를 비교한다.
수치-수치 관계는 산점도와 회귀선으로 표현하고, 상관계수 행렬로 다수 변수 간 상관관계를 확인한다. 범주-수치 관계는 그룹별 박스플롯이나 바이올린 플롯으로, 통계적으로는 ANOVA로 범주 간 평균 차이를 검증한다. 범주-범주 관계는 모자이크 플롯이나 열지도로 표현하고, 카이제곱 검정으로 독립성을 검정한다.
여러 변수를 동시에 다뤄야 할 때는 PCA(주성분 분석)로 고차원 데이터의 변동성을 포착하거나, t-SNE·UMAP 같은 비선형 차원 축소로 군집을 시각화한다. 군집 자체를 찾을 때는 K-means, 계층적 군집화, 밀도 기반의 DBSCAN을 쓴다.
도구는 목적에 따라 갈린다
프로그래밍 언어 기반으로는 Python의 Matplotlib·Seaborn·Plotly, R의 ggplot2·Shiny, Julia의 Plots·Gadfly가 있다. Tableau·KNIME·RapidMiner 같은 특화 소프트웨어도 있고, Power BI·Looker·QlikView 같은 BI 도구로도 EDA를 수행할 수 있다.
품질 문제를 만나면 다시 정제로 돌아간다
실제 워크플로우는 직선으로 흐르지 않는다. 기초 통계 분석 단계에서 데이터 품질 문제가 발견되면 정제 단계로 되돌아간 뒤 단변량→이변량→다변량 분석을 거쳐 패턴·이상점을 식별하고, 가설을 세워 추가 분석 방향을 정한다.
금융·의료·이커머스에서 확인된 효과
금융 분야에서는 고객 신용 점수 분포를 분석하고 연체율과 소득 수준 간 상관관계를 파악해 대출 승인·거절 패턴을 살핀다. A은행은 EDA로 특정 지역 고객의 신용 위험이 시간대별로 변동하는 패턴을 발견해 대출 심사 프로세스를 개선했고, 부실율을 12% 감소시켰다.
의료 분야에서는 임상 데이터의 분포를 파악하고 증상과 질병 간 관계, 치료 효과와 환자 특성 간 연관성을 탐색한다. B병원은 당뇨 환자 데이터 EDA로 HbA1c 수치와 BMI 간의 비선형 관계를 발견해 개인화된 치료 전략을 세웠고, 환자 예후를 개선했다.
전자상거래에서는 구매 패턴을 시각화하고 상품 카테고리별 판매 추이, 세션 시간과 전환율의 관계를 탐색한다. C쇼핑몰은 EDA로 특정 시간대 특정 제품군의 검색-구매 전환율 증가 패턴을 발견해 타겟 마케팅 시간을 최적화했고, ROI가 23% 증가했다.
EDA를 할 때 놓치기 쉬운 함정
결측치는 제거·대체·예측 중 어떤 전략을 쓸지 정해야 하고, 이상치 식별·처리 메커니즘과 데이터 일관성 검증도 필요하다. 데이터 수집 과정의 선택 편향을 인지하고 샘플링 방법론이 적절한지 검토하며, 다양한 관점에서 데이터를 해석해야 편향을 줄일 수 있다. 상관관계와 인과관계를 구분하고 통계적 유의성과 실질적 중요성의 균형을 고려하는 등 해석의 한계를 인식하는 것도 중요하다. 데이터 규모에 맞는 도구를 고르고 분석 목적에 맞는 시각화 방법을 쓰며, 반복 가능하고 문서화된 분석 워크플로우를 구축하는 것도 도구 선택에서 놓치기 쉬운 부분이다.
자동화·인터랙티브·설명 가능 방향으로 넓어지는 EDA
자동화된 EDA는 대규모 데이터셋을 효율적으로 처리하고 반복 작업을 줄이며 일관된 분석 프레임워크를 제공한다. Python의 Pandas Profiling·Sweetviz·AutoViz, R의 DataExplorer·SmartEDA, DataRobot·Alteryx 같은 상용 솔루션이 여기 속한다.
인터랙티브 EDA는 실시간 데이터 탐색과 신속한 가설 검증을 가능하게 하고 이해관계자의 참여를 유도한다. Python의 Plotly·Dash·Panel, R의 Shiny·Flexdashboard, Observable·D3.js 같은 웹 기반 도구를 쓴다.
설명 가능한 EDA는 데이터 패턴의 원인을 분석하고 특성 중요도를 정량화해 모델과 연계된 해석 프레임워크를 제공한다. SHAP(SHapley Additive exPlanations) 값 분석, 부분 의존성 그래프(Partial Dependence Plots), LIME(Local Interpretable Model-agnostic Explanations) 같은 방법론이 쓰인다.
데이터 과학 워크플로우 안에서의 자리
EDA는 데이터 수집 다음, 전처리 이전에 한 번만 거치는 단계가 아니다. 모델 평가 결과 성능이 충분하지 않거나 모델 해석에서 피드백이 나오면, 심지어 배포 후 모니터링 단계에서도 다시 EDA로 돌아간다.
다음 단계: AI·실시간·다중모달로 확장
머신러닝으로 패턴을 자동 감지하고 자연어 인터페이스로 데이터를 질의하며 맥락을 인식해 시각화를 추천하는 방향으로 AI 기반 EDA 자동화가 진행되고 있다. 스트리밍 데이터를 동적으로 분석하는 실시간 EDA는 점진적 계산 알고리즘의 발전과 함께 실시간 이상 탐지와 결합되는 흐름이다. 텍스트·이미지·시계열 등 다양한 데이터 유형을 통합 분석하는 다중모달 EDA도 크로스모달 패턴 발견과 멀티미디어 시각화 기법의 발전으로 이어질 것으로 보인다.