기술통계학으로 데이터를 요약하는 법 — 중심경향·분산·분포 측도

서버 로그를 앞에 두고 평균 응답시간 한 줄만 뽑아 보고서에 넣는다면, 그 뒤에 숨은 이상치와 분포의 모양은 사라진다. 기술통계학은 이렇게 흩어진 데이터를 몇 개의 수치와 그래프로 압축해, 다음 분석의 출발점을 만드는 도구다.

데이터를 압축해서 본다는 것

기술통계학(Descriptive Statistics)은 수집된 데이터의 주요 특성을 수치적으로 요약하고 시각적으로 표현하는 통계 분석 방법이다. 데이터의 중심 경향, 분산 정도, 분포 형태를 파악하는 데 필수적인 도구이며, 복잡한 데이터셋을 이해하기 쉬운 형태로 요약해 의사결정을 지원한다. 표본에서 모집단으로의 일반화를 목적으로 하는 추론 통계학과 달리, 기술통계학은 손에 쥔 데이터 자체의 특성을 설명하는 데 그친다. 그래서 데이터 분석의 첫 단계로, 심층 분석에 들어가기 전 데이터의 특성과 품질을 파악하는 용도로 쓰인다.

데이터가 어디로 몰려 있는가 — 중심경향 측도

평균(Mean)

모든 데이터 값의 합을 데이터 개수로 나눈 값이다. 수식으로는 모집단의 경우 μ = Σx / n, 표본의 경우 x̄ = Σx / n으로 쓴다. 모든 데이터 값을 반영하는 균형 잡힌 측도라는 장점이 있지만, 극단값(Outliers)에 민감하게 반응한다는 단점도 있다. 학생들의 평균 성적, 직원들의 평균 급여 계산처럼 흔히 쓰인다.

중앙값(Median)

데이터를 크기순으로 정렬했을 때 중앙에 위치하는 값이다. 데이터 개수가 짝수면 중앙 두 값의 평균을 쓴다. 극단값에 영향을 적게 받는 견고한(Robust) 측도라는 게 장점이지만, 데이터의 모든 값을 고려하지는 않는다. 소득 분포나 집값처럼 왜곡된 분포를 다룰 때 자주 쓰인다.

최빈값(Mode)

데이터에서 가장 자주 나타나는 값이다. 범주형 데이터에도 적용 가능한 유일한 중심 경향 측도라는 장점이 있는 반면, 여러 최빈값이 존재할 수 있고 연속 데이터에서는 의미가 제한적이다. 가장 인기 있는 제품, 가장 많이 선택된 설문 응답을 파악할 때 쓴다.

흩어진 정도를 재는 법 — 분산 측도

범위(Range)

최댓값과 최솟값의 차이로 계산한다. 계산이 매우 간단하고 직관적이라는 장점이 있지만, 두 극단값에만 의존해 데이터 전체 분포를 반영하지 못한다. 온도 변화 범위, 생산품의 품질 관리 범위를 설정할 때 쓰인다.

분산(Variance)

각 데이터 값이 평균으로부터 퍼져 있는 정도를 측정한다. 모집단은 σ² = Σ(x - μ)² / n, 표본은 s² = Σ(x - x̄)² / (n-1)로 계산한다. 모든 데이터 값을 고려한다는 장점이 있지만, 원래 데이터와 단위가 다르다(제곱 단위)는 단점이 있다. 투자 위험도 측정, 제조 공정의 안정성 평가에 쓰인다.

표준편차(Standard Deviation)

분산의 제곱근 값으로, 원 데이터와 동일한 단위를 갖는다. 모집단은 σ = √σ², 표본은 s = √s²다. 원 데이터와 같은 단위라 해석이 쉽지만, 극단값에는 여전히 민감하다. 품질 관리, 금융 리스크 분석, 학생 성적의 균일성 평가에 쓰인다.

사분위수 범위(Interquartile Range, IQR)

데이터를 4등분했을 때 제3사분위수(Q3)와 제1사분위수(Q1)의 차이다. 극단값에 영향을 받지 않는 견고한 분산 측도라는 장점이 있지만, 데이터의 중간 50%만 고려하고 나머지는 무시한다. 이상치 탐지, 박스플롯(Box Plot) 구성, 비대칭 분포 분석에 쓰인다.

분포의 생김새 — 왜도와 첨도

왜도(Skewness)는 분포의 비대칭성을 측정하는 지표다. 양의 왜도는 오른쪽으로 긴 꼬리(right-skewed)를 가지며 평균이 중앙값보다 크고, 음의 왜도는 왼쪽으로 긴 꼬리(left-skewed)를 가지며 평균이 중앙값보다 작다. 소득 분포 분석, 투자 수익률 분포 평가, 시험 난이도 분석에 활용된다.

첨도(Kurtosis)는 분포의 뾰족한 정도와 꼬리의 두께를 측정한다. 정규분포보다 첨도가 높으면(양의 첨도) 더 뾰족하고 두꺼운 꼬리를, 첨도가 낮으면(음의 첨도) 더 평평하고 얇은 꼬리를 가진다. 금융 시장 변동성 분석, 극단적 사건 발생 가능성 평가에 쓰인다.

숫자를 눈으로 확인하는 법 — 시각화 도구

히스토그램(Histogram)은 연속 데이터의 분포를 구간별로 나누어 빈도를 표시한다. 분포 형태, 중심 경향, 분산 등을 직관적으로 파악할 수 있다.

박스플롯(Box Plot)은 최솟값, Q1, 중앙값, Q3, 최댓값을 시각화해 데이터 분포를 요약한다. 이상치 식별에 유용하고 여러 데이터셋을 비교할 때 효과적이다.

산점도(Scatter Plot)는 두 변수 간의 관계를 시각화하는 그래프다. 상관관계의 존재 여부, 방향, 강도를 직관적으로 파악할 수 있다.

막대 그래프(Bar Chart)는 범주형 데이터의 빈도나 비율을 막대 높이로 표현한다. 범주 간 비교에 용이하고 이해하기 쉽다.

서버 로그부터 생산 라인까지, 실무에서 쓰는 곳

IT 서비스 성능 모니터링에서는 서버 응답 시간의 평균, 중앙값, 표준편차를 활용한다. 히스토그램으로 응답 시간 분포를 분석해 서비스 품질을 평가하고, 95번째 백분위수(95th percentile)를 SLA(Service Level Agreement) 지표로 쓴다.

⤢✕

금융 데이터 분석에서는 투자 수익률의 평균과 표준편차로 위험-수익 프로파일을 작성하고, 왜도와 첨도 분석으로 극단적 손실 가능성을 평가한다. VaR(Value at Risk) 계산에도 이런 분포 특성 파악이 필요하다.

제조업 품질 관리에서는 제품 측정치의 중심 경향과 분산 측도로 공정 안정성을 모니터링한다. 관리도(Control Chart)로 이상 패턴을 감지하고, 공정능력지수(Cpk) 계산에도 이 데이터 특성 분석이 쓰인다.

기술통계가 놓치는 것들

기술통계학만으로는 인과관계나 통계적 유의성을 판단할 수 없다. 극단값(Outliers) 처리 방법에 따라 결과가 크게 달라질 수 있고, 평균이나 표준편차 같은 측도는 정규분포를 가정하므로 비정규 분포에서는 해석에 주의해야 한다. 동일한 기술 통계량을 가진 전혀 다른 데이터셋이 존재할 수도 있다(Anscombe's quartet). 결국 데이터의 맥락과 함께 해석해야 의미 있는 통찰을 얻을 수 있다.

추론통계학으로 이어지는 다리

⤢✕

기술통계학은 데이터 분석의 출발점으로, 추론 통계학의 기반이 된다. 기술통계를 통해 데이터의 특성을 먼저 파악한 뒤에야 적절한 추론 통계 기법을 선택해 적용할 수 있다. 단순히 데이터를 요약하는 데 그치지 않고, 데이터가 가진 신호를 포착하고 의미 있는 패턴을 발견하는 첫 단계라는 점에서, 기술통계학은 빅데이터 환경에서도 여전히 유효하다. 오히려 복잡한 데이터셋을 이해하기 쉬운 형태로 요약해주는 역할이 더 중요해졌고, 정보관리 전문가에게는 그 원리와 한계를 정확히 이해하고 적재적소에 활용하는 능력이 필요하다.