길리랩blog

ICML 2026 서울과 Fisher Alignment: LLM 소스 선택의 이론과 기업 AI 채택

ICML 2026 서울 개최와 Fisher Alignment, FisherSketch의 어휘 규모 LLM 전이 가능성 진단 방식, 기업 AI 채택 동향을 정리한다.

2026-08-14 · 최초 발행 2026-08-02

서울에서 열리는 ICML 2026의 규모와 일정

ICML 2026은 2026년 7월 6일부터 11일까지 서울 코엑스(COEX Convention & Exhibition Center)에서 열린다. 제출 논문은 23,918편으로 역대 최대 규모이며, 이 가운데 6,352편이 채택돼 수락률은 26.6%다.

7월 6일은 Expo 및 Tutorial Day로 구성되고, 메인 컨퍼런스는 7월 7일부터 9일까지 진행된다. 7월 10일과 11일에는 워크숍이 이어진다. Oral 발표는 168편으로 전체 제출의 상위 0.7%에 해당하며, AI 에이전트 안전성, 정렬 이론, 추론 효율화가 주요 주제로 부상했다.

서울 개최는 AI 반도체(HBM), 로봇공학, LLM 서비스 분야에서 성장해 온 한국 연구 커뮤니티가 글로벌 연구자들과 만나는 자리이기도 하다.

어휘 규모에서 Fisher 정렬을 계산하기 어려운 이유

2026년 6월 25일 arXiv에 공개된 The Geometry of Updates: Fisher Alignment at Vocabulary Scale은 LLM 정렬 이론에서 다루기 까다로운 문제를 겨냥한다. 논문이 부르는 activation-dark regime에서는 표현 유사도 지표가 레이블 조건부 오류 기하(label-conditioned error geometry)에 대한 가정 없이는 정보를 제공하지 못한다. 동시에 기존 업데이트 기하(update geometry) 지표는 어휘 규모에서 계산 비용이 지나치게 커진다.

대형 언어 모델의 어휘는 수만~수십만 토큰으로 구성된다. 출력 헤드의 Fisher 정보 행렬 역시 어휘 크기에 비례하므로, 전통적 방식으로 Fisher 정렬을 계산하는 일은 메모리와 연산 비용 측면에서 실용적이지 않았다.

논문은 헤드 Fisher 정렬을 결합 활성화-오류 공간(joint activation-error space)의 커널 평균 임베딩(kernel mean embedding) 사이 코사인 유사도로 다시 표현한다. 이 표현은 다음 세 요소를 분리해 다룬다.

  • 활성화 인자(activation factor): 모델 내부 표현의 기하
  • 오류 인자(error factor): 태스크별 예측 오류 분포
  • 결합 인자(coupling factor): 활성화와 오류의 상호작용

이 분해 덕분에 Fisher 행렬 자체를 직접 계산하지 않고도 모델 간 전이 가능성을 정량화할 수 있다.

⤢✕표준 방법 불가새로운 접근법LLM 전이 학습 문제Activation-Dark Regime?Fisher 행렬 직접 계산(계산 비용 과다)커널 평균 임베딩 재형식화활성화 인자(Activation Factor)오류 인자(Error Factor)결합 인자(Coupling Factor)헤드 Fisher 정렬= 코사인 유사도FisherSketch(1-패스 스트리밍 추정)16 KB 태스크 서명+ 192 KB 스트리밍 상태실용적 전이 가능성 예측

이 방식은 SMILES(분자 구조), 단백질 서열, 게놈 데이터처럼 과학적 문자열을 다루는 도메인에서 유용하다. 공유 어휘를 사용하는 LLM 패밀리라면 Fisher 정렬을 소스 선택(source selection)에 적용하기 적합하다.

FisherSketch가 제공하는 스트리밍 추정

FisherSketch는 단일 패스 스트리밍 랜덤 피처 추정기(one-pass streaming random-feature estimator)다. 전체 계산 결과는 16 KB 태스크 서명(task signature)으로 압축하고, 태스크마다 192 KB의 스트리밍 상태(per-task streaming state)를 유지한다. 어휘 규모 처리를 위해 Subsampled Randomized Hadamard Transform(SRHT)을 사용하며, K=128, 256 헤드에서 Fisher 정렬을 현실적으로 추정하는 것이 목표다.

하나의 스트리밍 패스로 코사인 값을 직접 추정하기 때문에, K=128 또는 256 헤드 Fisher 정렬을 소형 모델 해시 크기의 16 KB 서명으로 다룬다. 논문은 이를 전통적 방법 대비 수십 배의 메모리 절감으로 설명한다.

특히 다음 상황에서 샘플 효율성이 높다.

  • GPT-4급 이상의 대규모 어휘 LLM에서 파인튜닝 전 전이 가능성을 평가할 때
  • 의료, 법률, 과학 도메인 파인튜닝을 위한 소스 모델을 고를 때
  • 동일 어휘를 공유하는 LLM 패밀리에서 태스크 적합도를 비교할 때

RLHF·DPO와 역할이 다른 Fisher Alignment

RLHF는 인간 평가자가 모델 응답에 선호도 레이블을 부여하고, 보상 모델(Reward Model)을 학습한 뒤 PPO(Proximal Policy Optimization)로 LLM을 최적화하는 방식이다. InstructGPT와 초기 ChatGPT에서 핵심 기술로 사용됐다. 구현이 복잡하고 하이퍼파라미터 튜닝이 어렵다는 점, 샘플 효율성이 낮고 보상 모델의 오류가 전파될 수 있다는 점이 한계로 제시된다.

DPO는 보상 함수와 최적 정책의 매핑을 수학적으로 도출해, 별도 보상 모델 없이 선호도 데이터로 LLM을 직접 최적화한다. 원문은 DPO가 단순하고 안정적이며 RLHF보다 적은 자원으로 유사한 정렬 품질을 달성한다고 설명한다. 2026년 기준 오픈소스 파인튜닝에서 사실상의 표준으로 자리잡았지만, 선호 데이터 품질에 크게 좌우되고 다중 차원 선호도(multi-dimensional preference)를 다루기 어렵다.

Fisher Alignment는 이 둘과 같은 정렬 최적화 기법이라기보다, 소스 선택과 전이 가능성 예측을 위한 진단 도구에 가깝다.

기준 RLHF DPO Fisher Alignment
역할 정렬 최적화 정렬 최적화 전이 가능성 진단
계산 비용 매우 높음 중간 낮음 (FisherSketch)
보상 모델 필요 예 아니오 아니오
샘플 효율성 낮음 중간 높음
적용 시점 파인튜닝 파인튜닝 파인튜닝 전 소스 선택
어휘 규모 대응 미지원 부분 전용 설계

세 접근은 경쟁 관계만으로 볼 필요가 없다. Fisher Alignment로 적합한 소스 모델을 먼저 고르고, 이후 DPO 또는 RLHF로 정렬 최적화를 수행하는 파이프라인이 가능하다.

기업 AI 채택 확대와 모델 선택 문제

2026년 기업 AI 채택 조사에서는 전 세계 기업의 88%가 적어도 한 영역에서 AI를 실무에 활용 중이며, 이는 전년 78%보다 10%p 오른 수치로 제시된다. 하나 이상의 AI 워크로드를 프로덕션 환경에서 운영하는 기업은 72%이고, 66%는 생산성과 효율성 향상을 AI 도입의 실질적 효과로 보고했다. 반면 79%는 AI 도입 과정에서 유의미한 과제를 경험했으며, 이는 전년 대비 두 자릿수 증가다.

채택 확대로는 OpenAI, Anthropic, Google의 LLM API 성숙, ChatGPT 엔터프라이즈·Claude for Business·Gemini for Workspace 같은 기업용 도구의 확산이 언급된다. n8n, Zapier AI, Microsoft Copilot Studio 같은 노코드·로우코드 AI 에이전트 플랫폼은 비개발자의 활용 장벽을 낮췄다. 고객 서비스 자동화, 코드 생성(GitHub Copilot 등), 문서 요약에서는 측정 가능한 ROI 사례도 축적됐다.

하지만 데이터 품질, 거버넌스와 규제 준수, 도메인별 모델 평가, 소스 모델 선택은 남아 있다. 파인튜닝과 RAG에 쓸 고품질 도메인 데이터를 확보하기 어렵고, EU AI Act 등 신규 규제에 대한 준비도 과제로 거론된다. 수십 개 오픈소스 모델 가운데 업무에 맞는 모델을 고르는 방법론이 부족하다는 점은 Fisher Alignment 같은 진단 도구가 겨냥하는 문제와 맞닿아 있다.

정렬 이론이 넓히는 연구 범위

ICML 2026에서는 단일 선호 함수에 정렬을 묶어 두지 않는 연구도 이어진다. Pluralistic Alignment @ ICML 2026 워크숍은 다양한 인간 가치와 선호도를 함께 다루며, 선호 정렬, 해석 가능성(interpretability), 가치 트레이드오프(value trade-offs)를 포괄한다.

Inference-Aware Meta-Alignment of LLMs via Non-Linear GRPO (Takakura et al.)는 추론 시점(inference-time)의 보상 활용 정렬을 다룬다. Besov 공간에서 특성 학습과 다단계 정책 업데이트가 갖는 이론적 이점도 증명한다.

Inference-time Alignment with Rewards in Besov Spaces: Provable Advantages of Feature Learning and Multi-Step Policy Updates (Nishikawa & Suzuki)는 함수 공간 관점에서 LLM 정렬 문제를 다시 해석하고, 다단계 정책 업데이트의 이론적으로 증명 가능한 이점을 제시한다.

가우시안 분포 가정 아래의 샘플 효율적 학습과 반공간(halfspace) 절단 하의 고속 학습 이론 역시 대규모 출력 공간 학습의 토대를 넓힌다. 이 연구 흐름은 파인튜닝 비용 절감, 소스 선택 자동화, 도메인 적합도 사전 평가라는 기업의 요구와 연결된다.

Sources

ICML 2026Fisher AlignmentLLM 정렬기업 AI전이 학습