소프트 레이블은 교사의 편향까지 그대로 넘겨준다

지식 증류는 대형 교사 모델의 소프트 레이블, 즉 각 토큰에 대한 확률 분포를 학생 모델의 훈련 신호로 활용한다. 하드 레이블(one-hot 정답)보다 풍부한 정보를 전달해 학생 모델의 일반화 성능을 높인다는 장점이 있지만, 이 소프트 레이블은 교사 모델의 편향된 확률 분포도 그대로 담고 있다.

압축이 편향을 지우지 않고 키운다

교사 모델이 특정 인구 집단·성별·인종에 대해 편향된 연관성을 학습했다면, 해당 편향은 소프트 레이블을 통해 학생 모델로 전달된다. 더 심각한 문제는 압축(compression) 과정에서 이 편향이 단순 전이를 넘어 증폭(amplification)될 수 있다는 점이다.

⤢✕

연구들은 압축이 지속적으로 소외된 보호 집단(protected subgroups)에 대한 불평등한 처우를 악화시킴을 보여준다. 이는 모델 크기를 줄이는 과정에서 학생 모델이 자주 등장하는 패턴을 우선적으로 학습하면서 소수 집단 관련 패턴을 상대적으로 소홀히 처리하기 때문이라는 설명이다.

편향이 갈라지는 전이 경로

편향이 증류 과정에서 전이되는 메커니즘은 세 경로로 분류된다. 교사 모델이 "의사(doctor)"와 남성 대명사를 높은 확률로 연결짓는다면 이 확률 분포가 소프트 레이블에 반영되어 학생 모델도 동일한 연관성을 강화하는 소프트 레이블 경유 직접 전이, 모델 내부 임베딩 공간에서 특정 개념들의 기하학적 거리 관계가 편향을 인코딩하고 있어 교사의 중간 레이어 표현을 학습 신호로 쓰는 피처 증류(feature distillation) 방식에서 이 편향된 기하학적 구조까지 전달되는 표현 공간(representation space) 편향 전이, 훈련 데이터 내 소수 집단이 과소표현(underrepresentation)돼 있을 때 압축 과정에서 학생 모델이 다수 집단 패턴을 더 효율적으로 학습하려는 경향을 보여 소수 집단에 대한 처리 품질이 교사 모델보다 저하되는 데이터 분포 증폭이다.

합성 데이터가 스스로를 증폭시킬 때

자기 증류(self-distillation)는 모델이 자신의 출력을 훈련 데이터로 재사용하는 방식으로, LLM이 생성한 합성 데이터로 다음 세대 모델을 훈련하는 패턴이 대표적이다. 연구에 따르면 자기 증류에서 안내(guidance)가 보정되지 않을 경우 모델 내재 편향이 반복적으로 강화된다.

⤢✕

각 세대의 모델이 생성하는 텍스트는 전 세대의 편향을 반영하고, 이를 다시 훈련 데이터로 사용하면 해당 편향이 통계적으로 더 강한 패턴으로 고착된다. 외부 다양성 있는 데이터가 투입되지 않는 한, 자기 증류는 편향의 에코 챔버(echo chamber) 역할을 한다는 것이 연구의 설명이다.

편향 말고도 지켜야 할 품질

합성 데이터 사용의 문제는 편향뿐만이 아니다. 품질, 사실 정확성, 다양성 결여도 훈련에 악영향을 미친다. 이를 방지하기 위한 품질 보증 방법론으로는, 합성 데이터가 생성되는 즉시 특정 인구 집단과 부정적 속성의 공출현(co-occurrence) 빈도·대명사-직업 연관성 등을 통계적으로 모니터링해 편향 패턴을 플래그하는 자동 편향 탐지기, "만약 주어의 성별을 바꾼다면 출력이 달라지는가?" 같은 반사실적 질의로 특정 집단에 불리한 고정관념 포함 여부를 확인하는 적대적 질문(Adversarial Questioning), 동일한 의미를 다른 표현으로 물었을 때 특정 집단에 대해서만 다른 답변이 나오는지 확인하는 일관성 검사, 교사의 소프트 레이블이 불확실한(high entropy) 예측에는 가중치를 낮추는 불확실성 인식 손실 함수가 제안된다. 교사 모델이 확신하지 못하는 예측은 편향의 가능성이 높다는 점을 반영한 설계다.

지표·데이터셋·완화 기법으로 보는 공정성

관련 연구는 LLM 편향 및 공정성을 체계적으로 분석하기 위한 분류체계(taxonomy)를 제시한다.

⤢✕

평가 지표에서 반사실적 공정성(counterfactual fairness)은 인구 통계적 속성 변경 시 모델 출력이 얼마나 변하는지 측정하고, 집단 간 성능 격차(performance gap)는 보호 집단별 정확도 차이를 정량화한다. 평가 데이터셋에서 WinoBias·WinoGender는 직업과 성별 고정관념을, BBQ(Bias Benchmark for QA)는 다양한 사회 집단에 대한 질의응답 편향을, StereoSet은 스테레오타입 일관성을 평가한다. 완화 기법은 훈련 데이터를 재균형화·증강하는 전처리(pre-processing), 공정성 제약을 손실 함수에 포함하는 훈련 중 개입(in-training), 출력을 재보정하는 후처리(post-processing)로 구분된다.

지식을 주입하고 레이블을 보정하다

편향 완화를 위한 통합 프레임워크는 두 구성 요소를 결합한다. 편향 없는 외부 지식 소스(사전, 온톨로지, 공정성 가이드라인)를 훈련 과정에 주입해 교사 모델의 편향된 지식을 희석시키는 지식 주입(Knowledge Infusion), 소프트 레이블에서 편향 성분을 탐지·제거하고 공정성 제약을 만족하도록 확률 분포를 재보정하는 레이블 보정(Label De-biasing)이다.

⤢✕

이 통합 접근은 교사 모델의 편향 전이를 최소화하면서도 학생 모델의 태스크 성능을 유지하는 이중 목표를 달성한다고 연구는 설명한다. 핵심은 편향 제거와 성능 보존이 상충 관계가 아님을 실증하는 데 있다.

사람의 판단이 에코 챔버를 끊는다

완전 자동화된 편향 완화는 아직 한계가 있어, 최소한의 인간 감독 신호를 통합하는 접근이 효과적임이 증명되고 있다. 전문 주석자(annotator)가 직접 편향 사례를 레이블링해 소규모 고품질 편향 데이터셋을 구성하고 학생 모델 훈련에 소량 포함하는 인간 주석 편향 신호, 인간 주석자 간 일치도(inter-annotator agreement)가 낮은 샘플은 편향이 주관적이거나 맥락 의존적임을 나타내므로 이런 샘플의 손실 기여를 낮춰 과적합을 방지하는 불확실성 인식 손실, 공정성 원칙을 명시적인 헌법적 규칙(constitutional rules)으로 정의하고 학생 모델의 출력을 이 규칙과 대조 평가해 위반 시 피드백을 주는 Constitutional AI 접근이다. 외부 감독의 핵심 가치는 자기 증류의 에코 챔버 문제를 깨는 데 있다. 아무리 소량이더라도 외부에서 주입된 공정성 신호는 편향 누적 증폭의 사이클을 끊는 닻(anchor) 역할을 한다.

편향을 지우면 성능도 함께 떨어질까

소프트 레이블 편향 제거가 학생 모델 성능에 미치는 영향은 연구자들이 가장 주목하는 실증 문제다. 직관적으로는 편향 제거가 정보 손실을 초래해 성능 저하로 이어질 것이라 예상할 수 있지만, 연구 결과는 더 복잡한 양상을 보인다. 편향 보정된 소프트 레이블로 훈련된 학생 모델은 다수 집단 태스크에서의 성능은 소폭 하락하더라도 소수 집단 태스크에서의 성능이 크게 향상돼 전체 집단 평균 성능이 상승하는 경우가 관찰되는 성능-공정성 트레이드오프의 부분적 해소, 편향 패턴은 특정 데이터 분포에 과적합된 패턴이라 이를 제거하면 모델이 더 보편적인 언어 패턴을 학습해 분포 외(out-of-distribution) 데이터에 대한 일반화 성능이 향상되는 일반화 향상, 편향이 없는 모델은 자신이 잘 모르는 것에 대해 더 솔직하게 불확실성을 표현하는 경향을 보여 신뢰성(reliability)이 향상되는 캘리브레이션 개선이 그것이다.

지식 증류 과정에서 발생하는 편향 전이 및 증폭 문제는 LLM 압축과 합성 데이터 기반 훈련이 보편화되는 현 시점에서 핵심적인 안전성 과제로 부상하고 있다. 지식 주입과 레이블 보정을 통합한 완화 프레임워크, 세 분류체계 기반 공정성 평가 체계, 최소한의 인간 감독 신호 도입이 편향 누적 증폭의 사이클을 끊는 실용적 해법임이 복수의 연구를 통해 확인되고 있다. 소프트 레이블 편향 제거가 성능 저하를 초래하지 않을 수 있다는 실증 결과는 공정성과 성능이 반드시 상충하지 않음을 시사한다.