MIT의 개념 기반 반사실적 설명(C-CE): LIME·SHAP 다음의 XAI

AI 모델이 내린 결정을 인간이 이해할 수 있어야 한다는 요구는 의료·금융·법률 등 고위험 도메인에서 갈수록 강해지고 있다. MIT 연구팀이 발표한 새로운 설명가능 AI(XAI) 연구는 기존 LIME과 SHAP의 근본적 한계를 극복하고, 모델 예측의 결정 과정을 더 직관적이고 신뢰할 수 있는 방식으로 설명하는 방법론을 제시한다. 이 연구는 단순히 학술적 기여에 그치지 않고, 실제 임상 의사결정 지원 시스템과 대출 심사 AI에 즉시 적용 가능한 실용적 프레임워크를 함께 제안한다는 점에서 주목받고 있다.

LIME과 SHAP이 부딪히는 벽

LIME(Local Interpretable Model-agnostic Explanations)은 복잡한 모델의 예측을 특정 입력 근방에서 단순한 선형 모델로 근사해 설명을 생성하는 방법이다. 직관적이고 구현이 쉬운 장점이 있지만 근본적인 불안정성 문제를 안고 있다. 동일한 입력에 대해 LIME을 여러 번 실행하면 설명이 달라지는 현상이 자주 발생하는데, 이는 LIME이 입력 근방에서 무작위로 샘플을 생성하고 이를 바탕으로 설명을 구성하기 때문이다. 의사가 환자의 진단 결과를 설명 받을 때 같은 질문에 매번 다른 답이 나온다면 신뢰할 수 없다. LIME이 고차원 데이터에서 "근방"을 정의하는 방식이 모호해 설명의 지역성(locality)이 보장되지 않는다는 비판도 있다.

SHAP(SHapley Additive exPlanations)은 게임 이론의 Shapley 값을 활용해 각 특성이 예측에 기여하는 정도를 수치로 표현한다. LIME보다 수학적으로 견고하고 일관된 설명을 제공하지만, 정확한 Shapley 값 계산은 지수적 계산 복잡도를 요구한다. 실제 환경에서는 근사 알고리즘을 쓰지만 이 경우에도 복잡한 딥러닝 모델에 적용할 때는 상당한 계산 시간이 필요하다. 실시간으로 수천 건의 대출 심사를 처리하면서 각각에 대해 SHAP 설명을 생성하는 것은 현실적으로 어렵다. SHAP은 특성 간 상호작용을 단순화하는 경향이 있어 복잡한 비선형 관계를 정확하게 반영하지 못하는 경우도 있다.

LIME과 SHAP 모두 상관관계에 기반한 설명을 제공하며 인과적 설명을 제공하지 못한다는 공통적인 한계가 있다. "나이가 많을수록 대출 거절 확률이 높다"는 설명은 상관관계일 뿐, 왜 그런지에 대한 인과적 이해를 제공하지 않는다. 규제 당국이나 피설명 당사자가 요구하는 것은 단순한 특성 중요도가 아니라 실질적인 의사결정 근거다.

개념 병목과 반사실적 설명을 합친 C-CE

MIT 연구팀이 제안한 방법론의 핵심은 개념 기반 반사실적 설명(Concept-based Counterfactual Explanations, C-CE)이다. 이 방법은 두 가지 기존 아이디어를 창의적으로 결합한다.

첫째는 개념 병목 모델(Concept Bottleneck Model)의 아이디어다. 중간 단계에서 인간이 이해할 수 있는 개념(예: "종양이 경계가 불규칙하다", "수입 대비 부채 비율이 높다")을 명시적으로 예측하고, 이 개념들을 바탕으로 최종 결정을 내리는 구조다.

둘째는 반사실적 설명(Counterfactual Explanation)의 아이디어다. "만약 X가 달랐다면 결과는 어떻게 달라졌을까?"라는 형태의 설명이다. 단순히 어떤 특성이 중요한지 나열하는 것이 아니라, 결과를 바꾸기 위해 실제로 무엇이 변해야 하는지를 알려준다.

C-CE는 이 두 아이디어를 결합해 인간 이해 가능한 개념 수준에서 반사실적 설명을 생성한다. "당신의 대출 신청이 거절되었습니다. 부채 비율이 40%에서 30% 이하로 낮아졌다면 승인되었을 것입니다"와 같은 실행 가능하고 이해하기 쉬운 설명이 가능해진다.

⤢✕

기술적 혁신 포인트는 세 가지다. 안정성 보장에서는 LIME과 달리 C-CE가 결정론적 알고리즘으로 설명을 생성해, 동일한 입력에 대해 항상 동일한 설명이 생성되므로 규제 감사(regulatory audit)에 적합하다. 계산 효율성에서는 SHAP의 지수적 복잡도 문제를 개념 공간에서의 최적화로 대체함으로써 해결했다 — 원시 특성 공간 대신 압축된 개념 공간에서 반사실적 탐색을 수행하기 때문에 계산 비용이 대폭 감소한다. 실행 가능성(Actionability) 내장에서는 반사실적 설명 생성 시 실제로 변경 가능한 요소만 탐색한다. 나이, 성별 같은 변경 불가능한 특성은 반사실적 탐색에서 제외하고, 부채 비율, 신용 거래 기간 같이 조정 가능한 요소에 집중한다.

기존 방법론과의 정량 비교

MIT 연구팀은 UCI Machine Learning Repository의 공개 데이터셋과 내부 의료 데이터셋을 활용해 C-CE를 LIME, SHAP, 기존 반사실적 설명 방법들과 비교 실험을 수행했다.

평가 지표	LIME	SHAP	기존 CF	C-CE (MIT)
설명 안정성 (재현율)	62%	91%	88%	98%
생성 시간 (건당)	0.3초	2.1초	1.8초	0.4초
사용자 이해도 (5점)	3.2	3.5	3.8	4.4
실행 가능성 비율	45%	N/A	71%	94%

특히 사용자 이해도와 실행 가능성에서 두드러진 개선을 보였다. 이는 C-CE가 단순히 기술적 지표만 개선한 것이 아니라, 실제 사용자가 설명을 이해하고 행동으로 옮기는 데 더 효과적임을 보여준다. 위 수치는 MIT 연구팀이 UCI 공개 데이터셋과 내부 의료 데이터셋으로 수행한 비교 실험 결과이며, 다른 데이터셋·환경에서는 달라질 수 있다.

의료: 방사선 판독과 약물 부작용 예측

의료 AI에서 설명가능성은 단순한 편의 기능이 아니라 법적·윤리적 요건이다. FDA는 의료 AI 시스템에 대해 결정 근거를 제공하도록 가이던스를 강화하고 있으며, 유럽 의료기기 규정(MDR)도 유사한 투명성 요건을 부과한다.

C-CE는 방사선 판독 AI에서 "이 종양이 악성으로 판단된 이유"를 영상의사가 이해할 수 있는 개념(경계 불규칙성, 음영 밀도, 크기)으로 설명할 수 있다. 더 나아가 "만약 경계가 더 규칙적이었다면 양성으로 판단되었을 것"이라는 반사실적 설명은 의사가 추가 검사 여부를 결정하는 데 실질적인 도움이 된다.

약물 부작용 예측 모델에 C-CE를 적용하면 어떤 환자 특성이 특정 부작용 위험을 높이는지를 의사가 이해할 수 있는 개념으로 설명할 수 있다. 단순히 "부작용 위험이 높습니다"가 아니라 "신기능 저하와 특정 유전자 변이가 함께 존재할 때 부작용 위험이 증가합니다. 신기능 수치가 개선된다면 위험이 낮아질 수 있습니다"는 방식의 설명이 가능해진다.

금융: 공정 대출과 사기 탐지 설명

미국의 Equal Credit Opportunity Act(ECOA)는 대출 거절 시 신청자에게 구체적인 이유를 제공하도록 요구한다. 현재 많은 금융기관이 이 요건을 충족하기 위해 SHAP 기반 설명을 사용하지만, 법적 기준을 완전히 충족하는지에 대한 논란이 있다.

C-CE의 실행 가능한 반사실적 설명은 이 요건을 훨씬 효과적으로 충족할 수 있다. "귀하의 신청이 거절되었습니다. 신용 카드 이용 한도 대비 사용률이 현재 78%에서 40% 이하로 낮아지고, 최근 신규 계좌 개설 횟수가 3건에서 1건으로 줄어든다면 승인될 가능성이 높습니다"라는 설명은 신청자가 실제로 개선 조치를 취할 수 있는 구체적 지침이 된다.

금융 사기 탐지 AI에서 설명가능성은 보안 분석가가 AI의 판단을 검증하는 데 필수적이다. C-CE를 통해 "이 거래가 사기로 탐지된 이유는 평소 거래 패턴과 다른 위치에서 발생했고, 금액이 평균의 5배를 초과했기 때문입니다. 둘 중 하나만 해당했다면 탐지되지 않았을 것입니다"라는 설명을 제공함으로써 분석가의 판단을 지원할 수 있다.

MIT의 C-CE 연구는 LIME의 불안정성과 SHAP의 계산 비용이라는 두 가지 핵심 한계를 동시에 극복하면서, 인간이 실제로 이해하고 행동할 수 있는 설명을 생성하는 방법론적 돌파구를 제시한다. 개념 병목 구조와 반사실적 탐색의 결합은 단순한 특성 중요도 나열을 넘어, 결과를 바꾸기 위해 무엇이 변해야 하는지를 구체적으로 알려주는 실행 가능한 설명을 가능하게 한다. 의료 AI의 규제 요건 충족과 금융 공정 대출 법규 준수라는 현실적 과제에 즉시 적용 가능하다는 점에서, 이 연구는 XAI 분야의 실용적 전환점으로 기억될 것이다.