인지면접과 무응답 편향 보정으로 설문 데이터 품질 높이기

문항 오류와 표본 대표성은 별개의 문제다

정책이나 비즈니스 의사결정에 쓰이는 설문에서는 문항 자체의 결함과 응답자 구성의 왜곡이 함께 결과를 흔든다. Cognitive Interviewing은 응답자가 질문을 이해하고, 기억을 떠올리고, 판단한 뒤 답을 기록하는 과정에서 발생하는 오류를 수집 전에 찾는 방법이다. Non-Response Bias Adjustment는 응답률 저하로 특정 집단이 과대표 또는 소대표되는 문제를 사후 가중과 보정으로 완화한다.

인지면접에서는 think-aloud, probing, paraphrasing을 사용한다. 용어를 서로 다르게 이해하는 경우, 길거나 중첩된 개념, 맥락에 따라 달라지는 해석, 민감 문항 회피, 응답 범주(anchor)의 불명확성이 주요 점검 대상이다.

무응답 보정은 기본 가정과 사용 가능한 데이터에 따라 방법이 달라진다. 결측성은 MCAR(완전무작위 결측), MAR(관측 공변량 조건부 무작위), MNAR(관측 불가능 요인 의존)으로 구분한다. 실무에서는 MAR 가정 아래 성향점수, 래이킹, 사후층화를 병행하는 방식을 권장한다.

인지면접에서 문항의 인지 과정을 추적하는 법

표적집단은 연령, 교육, 언어권, 도메인 지식 같은 주요 하위집단을 고려해 층화 리크루팅한다. 세션당 6090분, 문항당 35분을 배정하는 기준을 둘 수 있다.

프로빙은 단순한 만족도 확인이 아니라 응답이 만들어지는 근거를 확인하는 데 초점을 둔다.

• 이해도: “이 문장을 어떻게 해석했는가”
• 회상: “어떤 정보로 떠올렸는가”
• 판단 기준: “경계값은 무엇인가”
• 응답매핑: “선택지 중 무엇이 더 적합했는가”

분석은 코딩 프레임을 먼저 정하고, 문항별 이슈 유형을 매핑한 다음 심각도와 빈도로 우선순위를 정하는 흐름으로 진행한다. 개정과 재시험을 반복하고 포화(saturation) 기준을 충족하면 종료한다.

비응답 보정은 가중치 사슬로 관리한다

먼저 추출확률의 역수로 기본가중을 계산한다. 이어 응답지표(응답=1/비응답=0)를 종속변수로 두고 프레임 변수와 파라데이터를 활용해 로지스틱 또는 머신러닝 응답성향 모형을 구축한다.

성향의 역수를 반영한 가중치에는 래이킹 또는 사후층화를 적용해 인구센서스, 레지스트리 같은 외부 벤치마크와 정합시킨다. 상위 1~3% 윈저라이즈 같은 극단 가중치 절단을 수행했다면 재보정이 뒤따라야 한다.

표준오차는 JK, BRR, bootstrap 복제가중치로 추정한다. 가중치 변동계수(CV), R-indicator, 가중 평균과 모집단 마진의 차이를 함께 보고 품질을 판단한다.

수집부터 검증까지 이어지는 흐름

입력에는 표본설계, 설문지 초안, 인구 통계와 행정 레지스트리 같은 프레임·보조 자료, click·연락시도·완료시간 등의 파라데이터가 포함된다. 인지면접으로 문항 결함을 제거한 뒤 현장수집과 파라데이터 축적, 응답성향 모델링과 가중 보정, 래이킹·사후층화·절단·재보정, 복제가중치 기반 추정과 검증을 순서대로 수행한다.

산출물은 편향을 완화한 추정치, 기본·비응답·래이킹·복제 가중치셋, 품질지표와 문서화다.

⤢✕

수렴에 실패하면 변수 축소, 정규화, 정벌회귀(Elastic Net), 교차검증 기반 튜닝을 적용한다. 벤치마크 마진 불일치가 2%p를 넘는 상태가 지속되면 래이킹 카테고리를 재그루핑하거나 보조변수를 확장할 필요가 있다. 극단 가중치가 발생하면 효율-편향 곡선 같은 절단 임계를 탐색한 뒤 재보정한다.

보정 방법별 선택 기준

방법	성능(편향완화)	확장성	일관성(가정 강도)	안정성(분산)	운영 편의
사후층화(Post-strat)	중	중	약~중	낮음	높음
래이킹 보정(Raking)	중~높음	높음	중	중	높음
성향점수 가중(PSW)	높음(공변량 풍부 시)	중	중~강(MAR)	중~높음	중
다중대치(MI)	중(항목결측 중심)	중	중	중	중
ML 기반 응답모형	잠재적 높음	높음	중	중	중

성능과 안정성은 데이터 품질 및 보조변수 가용성에 따라 변동한다.

조사 환경에 따른 적용 모습

공공 고용조사에서는 인지면접으로 직무용어와 비정형 고용형태의 정의를 명료화할 수 있다. 응답 누락 문항 15~25% 감소 관찰치 범위가 제시되며, 보험자격과 사업자등록 같은 행정자료를 매칭해 비응답 성향모형을 만들고 연령×성별×지역 마진을 래이킹으로 정합한다.

병원 환자경험 조사에서는 통증과 존중감처럼 민감한 문항의 응답범주 설명을 강화해 사회적 바람직성 편향을 완화한다. 콜로그와 완료시간 파라데이터로 응답성향을 추정하고, 극단가중치 절단 2%p 적용 후 BRR로 분산을 추정한다.

플랫폼 사용자 설문에서는 다국어 인지면접으로 UI 용어의 정합성을 점검하고 모바일 응답시간 임계를 도입한다. 웹로그의 접속기기와 세션깊이를 바탕으로 PSW를 적용하며 재방문 가중치를 관리한다.

R로 비응답 보정과 래이킹 적용하기

R >= 4.2, survey >= 4.2가 필요하며 rakeR과 data.table은 선택 사항이다. 연령×성별 인구 분포처럼 외부 벤치마크 마진도 준비한다.

# R 4.2+, survey 4.2
library(survey)

# 1) 데이터: base_w = 기본가중, resp = 응답여부(1/0), x1..xk = 공변량
# frame_margins: 벤치마크 분포 리스트
# 예시용 가짜데이터
set.seed(1)
n <- 5000
dat <- data.frame(
  base_w = runif(n, 0.5, 2),
  resp = rbinom(n, 1, 0.6),
  agegrp = sample(c("18-34","35-54","55+"), n, TRUE),
  sex = sample(c("M","F"), n, TRUE),
  region = sample(paste0("R",1:5), n, TRUE)
)

# 2) 응답성향 모형(로지스틱)
fit <- glm(resp ~ agegrp + sex + region, data=dat, family=binomial())
phat <- predict(fit, type="response")

# 3) 비응답 보정 가중치
nr_w <- dat$base_w / pmax(phat, 0.05)  # 안전 하한 적용

# 4) 래이킹 보정 대상 마진
pop_age <- c("18-34"=0.35, "35-54"=0.4, "55+"=0.25)
pop_sex <- c("M"=0.49, "F"=0.51)

# 5) 설계 객체
des0 <- svydesign(ids=~1, weights=~nr_w, data=dat)

# 6) 래이킹
rake_ctrl <- list(maxit=50, epsilon=1e-6)
des_rake <- rake(des0,
   sample.margins = list(~agegrp, ~sex),
   population.margins = list(pop_age, pop_sex),
   control = rake_ctrl)

# 7) 극단가중치 절단 후 재보정(선택)
w <- weights(des_rake)
cap <- quantile(w, 0.99)
w_trim <- pmin(w, cap)
des_trim <- update(des_rake, .weights=w_trim)

# 8) 복제가중치(bootstrap 예시)
des_rep <- as.svrepdesign(des_trim, type="bootstrap", replicates=80)

# 9) 추정
svymean(~I(resp), design=des_rep)  # 예시 목적

공변량은 비응답자까지 프레임에서 관측할 수 있는 변수를 우선한다. 절단 임계는 설계효과 증가와 편향완화의 트레이드오프를 시뮬레이션으로 검토해 정한다.

품질지표를 해석할 때 볼 것

가중치 CV와 최대/중앙 비율은 가중치 불안정성을 찾는 지표다. R-indicator는 응답확률의 이질성을 요약하며 01 범위에서 높을수록 대표성이 높아진다. 마진 갭은 가중 분포와 벤치마크의 절대%p 차이로, 12%p 이내를 목표로 둔다.

진단에서는 공변량 세트와 절단 임계를 바꾸고, PSW와 Raking 같은 대체 모형을 교차검증하는 민감도 분석을 수행한다. 지역 고용률 같은 외부 지표와 가중 평균을 비교해 소집단을 검증하고, 복제가중치 수를 변경했을 때 표준오차의 안정성도 확인한다.

반복조사에서 지켜야 할 균형

인지면접은 집단당 5~8명의 소규모 반복이 다수의 대규모 1회보다 효율적이며, 일정과 비용을 최적화하는 데 도움이 된다. 신뢰성 높은 레지스트리 또는 센서스 마진을 확보하면 래이킹 성능이 높아지지만, 미스매치가 있다면 PSW 의존도가 커진다.

가중치 절단에서는 편향 감소폭과 분산 증가폭의 균형을 잡아야 하며, 보고서에 임계값과 재보정 절차를 명시하는 편이 낫다. 머신러닝은 예측력을 높일 수 있지만 해석 가능성과 운영 복잡도도 늘어난다. 규제 환경에서는 설명 가능한 모형을 우선한다.

문제 문항을 재작성하면 항목무응답 1030% 상대적 감소가 기대된다. R-indicator가 개선되고 주요 마진 불일치는 13%p에서 0.51%p 수준으로 감소할 수 있다. 편향-분산 절충 이후 MSE가 줄어들면 동일 신뢰수준 달성을 위한 표본 규모를 515% 절감할 가능성도 있다. 가중 절차, 모수, 임계를 기록해 두면 반복조사 간 재현성과 감사 가능성을 확보할 수 있다.