OpenAI의 가중치 희소 트랜스포머: LLM 블랙박스를 여는 실험적 접근

AI 모델이 어떤 과정을 거쳐 결론에 도달하는지 알 수 없다는 블랙박스 문제는 AI 안전성 연구의 핵심 난제였다. 이 문제를 정면으로 돌파하기 위해 OpenAI가 2025년 11월 공개한 실험적 접근법인 가중치 희소 트랜스포머(Weight-Sparse Transformer)는 모델 내부 회로를 가시화함으로써 LLM의 작동 원리를 인간이 이해할 수 있는 수준으로 끌어내렸다. MIT Technology Review가 메커니즘적 해석 가능성(Mechanistic Interpretability)을 2026년 10대 혁신 기술로 선정하면서, 이 분야는 학술적 호기심을 넘어 AI 산업 전체의 핵심 과제로 부상하고 있다.

블랙박스가 만드는 실질적 문제들

현대 대형 언어 모델(LLM)은 수천억 개의 파라미터를 가지며, 입력에서 출력으로 이어지는 내부 연산 경로는 사실상 불투명하다. 이 불투명성은 모델이 유해한 응답을 생성하는 메커니즘을 모르면 사전 차단이 불가능한 안전성 검증 불가, 훈련 의도와 실제 행동 간 불일치를 배포 전에 식별할 수 없는 정렬(Alignment) 오류 감지 불가, 모델이 왜 사실과 다른 내용을 생성하는지 추적할 수 없는 환각(Hallucination) 원인 불명, 내부 구조 비가시성이 탈옥(jailbreak) 공격에 대한 내성을 체계적으로 강화하기 어렵게 만드는 취약점 공격이라는 실질적 문제를 낳는다.

OpenAI의 기계적 해석 가능성 팀 리더 Dan Mossing은 이를 이렇게 표현했다: "뉴럴 네트워크가 크고 복잡하게 얽혀 이해하기 극도로 어렵다면, 애초에 그렇게 얽히지 않도록 만들면 어떨까?"

학습 단계에서부터 희소성을 강제하다

OpenAI가 2025년 11월 발표한 논문 "Weight-sparse transformers have interpretable circuits"의 핵심은 학습 단계에서 가중치 희소성(weight sparsity)을 강제하는 것이다. 사후 가지치기(pruning) 방식이 아니라 AdamW 스텝마다 각 가중치 행렬과 편향에서 절댓값 상위 항목만 유지하고 나머지를 0으로 강제하는 학습 중 희소화가 핵심이며, 가장 희소한 모델은 전체 가중치의 약 1/1000만 비제로(non-zero) 값을 갖는 극단적 희소도를 보인다. 잔차 읽기/쓰기, 어텐션 채널, MLP 뉴런 등에서 약 1/4의 노드 활성화만 비제로로 유지하는 활성화 희소성도 병행된다. 실험 모델은 파이썬 코드 데이터로 학습된 GPT-2 스타일 디코더 전용 0.4B 파라미터 모델이다.

⤢✕

논문이 제시한 구체적 사례로, 문자열이 홑따옴표로 끝나는지 쌍따옴표로 끝나는지를 예측하는 회로를 분석하면 잔차 채널 5개, 레이어 0 MLP 뉴런 2개, 레이어 10 어텐션 쿼리-키 채널 1개 및 값 채널 1개만으로 구성된다. 레이어 0은 홑따옴표 감지 채널과 쌍따옴표 감지 채널로 분리 표현하고, MLP 레이어는 이를 "임의의 따옴표 감지" 채널과 "따옴표 종류 분류" 채널로 변환하며, 어텐션 레이어는 중간 토큰을 무시하고 이전 따옴표를 찾아 유형을 최종 토큰으로 복사해 대응하는 닫는 따옴표를 예측한다. 동일한 태스크를 dense 기준 모델에서 분석하면 16배 더 큰 회로가 필요했다.

여러 개념에 동시에 반응하는 뉴런을 푸는 SAE

가중치 희소 트랜스포머와 별개로, OpenAI는 기존 dense 모델을 해석하기 위한 Sparse Autoencoder 연구도 병행했다. LLM 내부 뉴런은 여러 서로 다른 맥락에서 활성화되는 폴리시맨틱(polysemantic) 특성을 보인다 — 하나의 뉴런이 "캘리포니아", "야구", "프로그래밍 언어"에 모두 반응한다면 인간이 해석하기 어렵다.

SAE는 모델 활성화를 희소 중간 표현으로 인코딩하고 복원하는 희소 병목층, 각 특징이 단일 개념에만 활성화되도록 유도하는 모노시맨틱 특징 학습, 직접 희소도를 제어해 튜닝을 단순화하고 재구성-희소성 프론티어를 개선하는 k-sparse autoencoder로 이 문제를 해결한다. OpenAI는 GPT-2의 307,200개 뉴런 전체에 대한 GPT-4 작성 설명 데이터셋과 시각화 도구를 오픈소스로 공개했다.

⤢✕

SAE는 안전성 응용에서도 쓰인다. SAE를 활용해 코딩 테스트에서 부정행위를 감지한 비정렬 탐지 사례가 실증됐고, 약 100개의 교정 훈련 샘플로 emergent misalignment를 탐지·역전할 수 있는 비정렬 수정, 모델 내부 표현을 검사해 내부 상태가 출력 내용과 일치하는지 확인하는 AI 거짓말 탐지기가 그것이다.

실험 모델의 발견을 실제 모델로 옮기는 다리

실험적 가중치 희소 모델이 아무리 해석 가능해도 실제 프로덕션 dense 모델에 적용할 수 없다면 의미가 제한된다. OpenAI의 circuit-sparsity 툴킷은 이 간극을 인코더-디코더 브리지(Activation Bridge)로 해결한다. 희소 모델 활성화를 표준 dense 트랜스포머 활성화로 변환하는 희소↔dense 활성화 매핑, 희소 모델에서 발견한 해석 가능한 회로의 개입 효과를 dense 모델에 이식하는 특징 개입 전이, 연구 결과를 실제 GPT-4급 모델 분석에 활용하는 체계를 마련하는 프로덕션 적용 경로가 그 구성이다.

아직 남은 정의·성능·스케일의 문제

MIT Technology Review의 2026년 10대 혁신 기술 선정은 이 분야의 성숙도를 반영하지만, 동시에 해결해야 할 과제도 명확하다. "특징" 개념조차 합의된 수학적 정의가 없고, 많은 해석 가능성 쿼리가 계산적으로 풀기 어렵다는 이론적 한계가 있으며, 희소 모델은 동급 dense 모델 대비 성능이 낮다는 성능-해석 가능성 트레이드오프가 있다. GPT-2급 소형 모델에서 검증된 기법이 GPT-4급 대형 모델에도 유효한지는 불확실하고, 현재 기법은 안전성 관련 태스크에서 단순 기준선보다 낮은 성능을 보이는 실용성 격차도 남아 있다.

OpenAI는 연구 재현성과 커뮤니티 기여를 위해 관련 자료를 전면 공개했다. 모델은 openai/circuit-sparsity(Hugging Face, Apache 2.0 라이선스, 0.4B 파라미터·GPT-2 스타일·파이썬 코드 학습, 논문 내 csp_yolo2 모델에 해당)이고, 코드베이스는 openai/circuit_sparsity(GitHub, Apache 2.0, 모델 체크포인트·태스크 정의·회로 시각화 UI 포함)이며, SAE 데이터셋은 GPT-2 전체 307,200개 뉴런에 대한 GPT-4 작성 설명 및 시각화 도구다.

Anthropic과 나란히 걸어온 길

OpenAI의 접근법은 Anthropic의 병행 연구와 함께 이 분야를 이끌고 있다. Anthropic은 2024년 Claude 내부 특징으로 "Michael Jordan", "Golden Gate Bridge" 등 인식 가능한 개념을 식별했고, 2025년에는 Claude 3.5 Haiku를 대상으로 회로 추적(circuit tracing)을 통해 멀티스텝 추론, 환각, 탈옥 저항 메커니즘을 가시화했다. 2025년 1월에는 18개 기관 29명 연구자가 Schmidt Sciences 후원으로 메커니즘적 해석 가능성의 공개 문제 목록을 발표하며 공동 연구 기반을 다졌다.

⤢✕

OpenAI의 가중치 희소 트랜스포머 연구는 LLM 블랙박스 문제를 해결하기 위한 가장 직접적인 시도로, 학습 단계에서부터 해석 가능성을 내재화하는 새로운 방향성을 제시했다. 현재는 소형 실험 모델에 국한되고 성능 트레이드오프라는 현실적 제약이 있지만, 브리지 메커니즘을 통해 프로덕션 모델로의 지식 이전 가능성을 열었다는 점에서 의의가 크다. OpenAI, Anthropic, 학계의 공동 연구가 가속화되는 지금, LLM의 내부를 인간이 완전히 이해할 수 있는 날이 가시화되고 있다.