혼합 효과 모델로 계층 데이터의 평균과 변이를 함께 추정하는 법

반복측정, 군집, 패널 데이터에서는 같은 집단에 속한 관측치가 서로 영향을 받는다. 혼합 효과 모델은 이 구조를 반영해 모집단 평균 효과와 집단 간 변이를 한 모형 안에서 추정한다. LMM(Linear Mixed Models)과 GLMM(Generalized Linear Mixed Models)은 반응변수의 형태에 따라 이 접근을 적용하는 대표적인 방법이다.

평균 효과와 집단별 변이를 나누어 다루기

고정 효과는 모집단 수준의 평균 효과를 추정할 때 사용한다. 특정 수준의 추정치 자체가 관심 대상일 때, 또는 설계 요인이 소수이고 정책·처치처럼 해석해야 할 대상일 때 적합하다.

랜덤 효과는 큰 모집단에서 무작위로 뽑힌 수준들의 변이를 표현한다. 집단 간 분산과 상관 구조를 추정하며, 군집 상관을 제어하고 일반화 및 예측 성능을 높이는 데 쓰인다.

이 구분은 단순한 명명 차이가 아니다. 어떤 요인을 고정 효과로 둘지, 랜덤 효과로 둘지에 따라 평균 효과의 해석과 불확실성 추정이 달라진다.

연속형 반응에는 LMM

LMM은 연속형 반응변수, 정규 오차, 항등 링크를 가정한다. 랜덤 절편과 랜덤 기울기, 공분산 구조를 이용해 군집 안의 상관을 모델링한다.

추정에는 ML 또는 REML을 쓴다. REML은 분산 성분 추정의 편향 감소에 유리하며, 모형 비교에는 ML을 사용한다. 수렴을 안정시키려면 변수 스케일링과 합리적인 초기값이 필요하다.

이진·카운트 반응에는 GLMM

GLMM은 이진·카운트처럼 정규분포로 다루기 어려운 반응에 링크 함수와 분포를 결합한다. 이항, 포아송, 음이항 등의 분포를 쓰고 랜덤 효과로 군집 상관을 반영한다.

추정 방법으로는 Laplace 근사와 적응적 가우스-에르미트 적분(AGHQ) 등이 있다. 과산포, 제로 인플레이션, 경계해 해인 싱귤러 핏은 반드시 확인할 진단 항목이다.

해석에 자주 쓰는 지표

ICC(군집내상관)는 집단 간 분산 비율을 나타낸다. 설계 효과, 표본 크기 보정, 예측 단위 설정에 활용할 수 있다.

조건 효과는 랜덤 효과를 조건으로 둔 추정치이고, 마진 효과는 이를 평균화한 효과다. 두 효과는 보고 맥락에 맞춰 구분해서 해석해야 한다.

데이터 구조가 모형의 형태를 결정한다

중첩된 랜덤 구조와 교차된 랜덤 구조는 구별해야 한다. 혼합 효과 모델은 불균형, 결측, 반복 간 간격이 고르지 않은 상황에도 강인하다. 다만 랜덤 효과 수준 수는 최소 5~6 이상을 권장하며, 수준 수가 부족하면 고정 효과 처리 또는 계층 축소를 검토한다.

랜덤 절편과 랜덤 기울기를 조합하면 집단별 기준선과 효과의 이질성을 함께 표현할 수 있다. 공분산 구조는 효과들 사이의 상관까지 추정하게 한다. ICC와 VPC(분산 비율)는 설계·전력 분석 및 예측 불확실성 분해에도 사용된다.

LMM에서는 REML을 권장하고, 모형 비교 시에는 ML을 사용한다. 스케일링, 공선성 완화, BFGS나 Nelder-Mead 같은 최적화 알고리즘의 선택도 수렴에 영향을 준다. GLMM은 Laplace를 기본으로 사용하며, 정확도가 더 필요할 때 AGHQ를 쓴다. 고차 랜덤 구조나 희소 사건에서는 계산 비용이 급격히 커질 수 있다.

모형 비교에는 AIC/BIC, 우도비 검정(LRT), 크로스 밸리데이션을 활용한다. 랜덤 구조 비교에서는 경계 제약을 고려해야 한다. 결과를 보고할 때는 추정치, 표준오차, 신뢰구간과 함께 조건 효과·마진 효과를 분리하고 ICC와 R2(marginal/conditional)를 병행 제시한다.

가정 점검도 반응분포에 맞춰 달라진다. LMM은 잔차 정규성, 등분산, 영향점을 확인한다. GLMM은 과산포, 제로 인플레이션, 링크 함수의 적합성을 진단한다. 수렴 실패나 싱귤러 핏이 나타나면 랜덤 구조를 단순화하거나 변수를 재스케일링하고, 분포 또는 링크를 다시 지정한다.

반복·군집 데이터에서의 적용 모습

임상 반복측정에서는 환자-방문 구조를 다룬다. LMM으로 연속 바이오마커의 추세를 추정하면서 환자의 랜덤 절편과 기울기를 반영할 수 있고, 반응률 같은 이항 결과는 GLMM으로 분석한다.

제조 공정 품질에서는 라인-배치-샘플의 중첩 구조가 대상이 된다. 배치 랜덤 효과를 두면 공정 변이를 분해하고 공정 개선 대상을 식별할 수 있다.

교육 효과 평가는 학생-반-학교의 3수준 구조를 갖는다. 교수법은 고정 효과로, 반과 학교의 변이 및 효과 이질성은 랜덤 효과로 추정한다.

온라인 A/B 테스트에서는 사용자-세션 관계를 고려한다. 사용자를 랜덤 효과로 모델링해 군집 상관을 제어하고, 전환처럼 이진인 결과에는 GLMM을 적용한다.

생태·보험 카운트 데이터에는 포아송 또는 음이항 GLMM을 사용한다. 사이트 랜덤 효과와 제로 인플레이션은 희소 이벤트 처리에 활용된다.

예측 성능과 불확실성을 함께 다루는 효과

군집 상관을 반영하면 데이터 구조에 따라 RMSE/MSE를 5~20% 개선할 수 있다. ICC와 분산 분해는 표준오차의 과소추정을 막고 95% 신뢰구간 충족률을 개선하는 데 기여한다. 랜덤 효과의 shrinkage는 과적합을 완화해 외부 집단 예측 정확도를 높인다.

평균 효과와 집단 수준 변이를 분리하면 해석도 명확해진다. 변이 원인을 추적해 자원 배분과 품질 관리 대상을 정할 수 있으며, ICC를 바탕으로 표본수와 집단수를 설계하면서 비용과 정확도의 균형을 잡을 수 있다.

추정부터 보고까지의 흐름

⤢✕

고정효과 회귀, LMM, GLMM의 선택 기준

구분	성능	확장성	일관성	안정성	운영 편의
고정효과 회귀(OLS/GLM)	군집 상관 무시 시 과신 위험	매우 높음	집단 효과 변이 미포착	단순, 수렴 안정	구현·해석 용이
LMM	연속형에서 높은 예측력	중간~높음(수준수 영향)	ICC·분산 성분 추정 일관	수렴 이슈 드물게 존재	도입 난이도 보통
GLMM	이산/한계분포에 적합	중간(복잡 랜덤 구조에 비용↑)	링크·분포 적합 시 일관	과산포·싱귤러 핏 주의	운영 난이도 중간~높음

lme4로 구현하는 LMM과 GLMM

전제조건은 R >= 4.2이며, 필요한 패키지는 lme4, performance, broom.mixed(선택)다.

예시 데이터프레임 df에는 반응 y, 연속 공변량 x1, 범주 집단 group, 이진 반응 bin_y가 있다고 가정한다.

연속 반응에 대한 LMM은 다음과 같다.

install.packages(c("lme4","performance","broom.mixed"))
library(lme4); library(performance)

# 랜덤 절편+기울기
m_lmm <- lmer(y ~ x1 + (1 + x1 | group), data = df, REML = TRUE)

summary(m_lmm)
icc(m_lmm)                 # 군집내상관
r2(m_lmm)                  # marginal/conditional R2
check_model(m_lmm)         # 잔차, 영향점, 가정 점검(시각화)

이진 반응에는 다음과 같이 GLMM을 적용한다.

library(lme4); library(performance)

m_glmm <- glmer(bin_y ~ x1 + (1 | group),
                data = df,
                family = binomial(link = "logit"),
                control = glmerControl(optimizer = "bobyqa"))

summary(m_glmm)
check_overdispersion(m_glmm)  # 과산포 점검
r2(m_glmm)

수렴에 실패하면 공변량을 표준화(scale)하고, 랜덤 구조를 기울기에서 절편으로 단순화하거나 optimizer를 bobyqa, Nelder_Mead로 바꾼다. 싱귤러 핏 경고는 랜덤 구조가 과도할 가능성을 뜻하며, 공분산이 0에 수렴하면 구조 축소를 검토한다.

과산포에는 음이항 또는 관측 수준 랜덤 효과(OLRE) 도입과 glmmTMB 검토가 필요하다. 결과 보고에서는 조건 효과와 마진 효과를 구분하고, 추정치·SE·95% CI, ICC·R2를 함께 제시하며 예측 단위를 명시한다.

랜덤 구조와 검증을 운영에 연결하기

랜덤 구조는 이론적으로 필요한 랜덤 기울기를 포함한 시작점에서 출발하고, 진단 결과를 바탕으로 단순화한다. “최대 랜덤 구조”는 과적합과 수렴 문제를 유발할 수 있으므로 데이터 정보량과 균형을 맞춰야 한다.

동일한 분산 구조에서는 ML 또는 제한된 비교로 LRT를 수행하고 AIC/BIC를 보조 지표로 쓴다. 크로스밸리데이션은 예측 목적에 적합하므로 가설 검정 목적과 혼용하지 않는다.

집단 간 변이와 개체 내 상관은 분리해 보고한다. 마진 효과와 조건 효과를 섞어 쓰지 않고, 의사결정 맥락에 맞는 척도를 선택한다.

대규모 데이터에서는 희소행렬, 병렬 적분(AGHQ), 변수 차원 축소를 고려한다. 반복 운영 환경이라면 전처리→모형추정→진단→리포팅을 파이프라인으로 만들고, 경고와 실패를 처리하는 자동 핸들링 룰을 내재화한다.