Andrej Karpathy의 Anthropic 합류와 Claude 사전학습 전략

2026년 5월 19일, OpenAI 공동창업자이자 Tesla 자율주행 AI를 이끌었던 Andrej Karpathy가 Anthropic의 사전학습 팀에 합류했다. Nick Joseph가 이끄는 조직 안에서 Claude로 사전학습 연구를 가속하는 팀을 새로 꾸릴 예정이다.

프런티어 모델 경쟁은 컴퓨팅 자원의 규모만으로 설명되지 않는다. 어떤 데이터를 어떤 순서로 학습시키고, 장기간의 분산 학습을 얼마나 안정적으로 운영하며, 연구 반복을 어떻게 단축하는지도 모델 품질을 가른다. Karpathy의 합류는 Anthropic이 AI 지원 연구를 이런 경쟁의 핵심 축으로 삼았다는 신호에 가깝다.

연구와 제품 현장을 오간 경력

Karpathy의 경력은 딥러닝 연구와 대규모 제품 시스템을 번갈아 경험한 궤적이다. Stanford 박사 과정에서는 딥러닝과 컴퓨터 비전을 연구했고, 이후 OpenAI 공동창업 멤버로 참여해 2017년까지 활동했다.

Tesla에서는 Full Self-Driving과 오토파일럿 프로그램을 지휘했다. 수많은 실세계 데이터를 신경망 학습으로 연결하는 현장을 경험한 뒤 2022년 회사를 떠났고, 2023년 OpenAI에 잠시 복귀했다. 2024년에는 독립해 AI 교육 스타트업 Eureka Labs를 설립했다.

⤢✕

전 직장인 OpenAI가 아니라 경쟁사 Anthropic을 택했다는 사실도 눈에 띈다. 이는 현재 Anthropic의 연구 방향과 조직 문화가 프런티어 LLM 연구자에게 매력적인 선택지로 받아들여지고 있음을 보여준다. Anthropic으로서는 기초모델 연구 역량을 경쟁력의 중심에 놓겠다는 의지를 드러낸 인사이기도 하다.

사전학습 품질은 데이터 구성에서 시작된다

인터넷의 원시 텍스트를 그대로 투입하면 중복과 노이즈, 유해 콘텐츠가 함께 학습된다. 그래서 대규모 사전학습에서는 모델 아키텍처만큼 데이터 선별이 중요하다.

품질 필터링 단계에서는 규칙 기반·모델 기반 필터를 조합해 저품질 텍스트를 걸러낸다. 퍼플렉서티 기반 필터링과 언어 감지, MinHash 기반 near-deduplication을 이용한 중복 제거가 여기에 포함된다.

학습 데이터의 투입 순서도 조정할 수 있다. 커리큘럼 학습은 초반에 단순하고 정제된 데이터를 집중적으로 사용한 뒤, 학습이 진행될수록 복잡하고 다양한 데이터를 섞는 전략이다. 학습 안정성을 높이고 손실 급등을 줄이는 데 목적이 있다.

모든 도메인을 같은 비율로 다룰 필요도 없다. 수학과 코드, 과학 문헌처럼 추론 능력에 영향을 주는 영역의 가중치를 의도적으로 높일 수 있다. Chinchilla 법칙 이후의 연구가 보여주듯, 토큰을 단순히 늘리는 것보다 데이터의 구성 비율이 모델 품질에 더 큰 영향을 줄 수도 있다.

모델 크기와 토큰에 컴퓨팅을 어떻게 나눌 것인가

Chinchilla 스케일링 법칙은 모델 파라미터 수 N과 학습 토큰 수 D가 대략 1:20일 때 컴퓨팅 효율이 최적이라고 제시했다. 그러나 훈련 효율만이 유일한 기준은 아니다. Llama 시리즈처럼 Chinchilla 최적보다 작은 모델에 더 많은 토큰을 학습시키면 서빙 비용까지 포함한 실용적 선택이 될 수 있다.

⤢✕

고정된 FLOPs 안에서는 모델 크기와 배치 크기, 학습률 스케줄, 데이터 품질 개선에 각각 얼마를 쓸지 결정해야 한다. 합성 데이터 생성이나 고품질 필터링에 컴퓨팅 예산 일부를 배분하는 편이 원시 토큰의 처리량만 늘리는 것보다 효율적일 수 있다는 연구도 이어지고 있다.

수천 개 GPU에서 학습을 이어가는 방법

프런티어 모델은 단일 GPU에 담을 수 없다. 수천 개의 GPU를 동기화하는 환경에서는 텐서·파이프라인·데이터 병렬화를 결합한 3D 병렬화가 표준적인 분산 방식으로 쓰인다.

텐서 병렬화는 한 레이어의 연산을 여러 GPU에 나눈다. 파이프라인 병렬화는 레이어를 여러 스테이지로 분할하고, 데이터 병렬화는 복제된 모델마다 배치를 분산한다. 세 방식은 모델의 크기와 클러스터 구성에 맞춰 함께 조정해야 한다.

장애 복구 역시 학습 설계의 일부다. 수백 GPU 가운데 하나에서 문제가 생겨도 전체 작업이 멈출 수 있기 때문이다. 비동기 체크포인팅과 장애 허용 학습 재개, 섀도 체크포인트는 하드웨어 장애로 잃는 학습량을 줄이는 데 사용된다.

토큰화 결정은 학습 전체에 남는다

토크나이저는 입력을 모델이 처리할 단위로 바꾸며, 한번 정하면 사전학습 전반에 영향을 준다. BPE의 어휘 크기와 언어 커버리지, 숫자와 코드를 분할하는 방식은 같은 텍스트에서 모델이 받아들이는 정보 밀도를 바꾼다.

어휘가 크면 동일한 텍스트를 더 적은 토큰으로 나타낼 수 있다. 대신 임베딩 레이어가 커지고 소프트맥스 계산 비용도 늘어난다. 최근에는 다국어 효율과 코드 처리 능력 사이의 균형을 위해 100K~150K 토큰 어휘를 채택하는 흐름이 나타난다.

손실 급등을 제어하는 학습 운영

수십억 토큰을 처리하는 동안 그레이디언트가 갑자기 폭발하거나 소실되면 손실 급등이 발생하고, 장기간 진행한 학습 전체가 흔들릴 수 있다. 이를 막으려면 그레이디언트와 학습률, 체크포인트 복구 절차를 함께 다뤄야 한다.

⤢✕

그레이디언트 클리핑은 노름이 정해진 임계값을 넘을 때 전체 그레이디언트를 비례적으로 줄인다. Cosine Decay with Warmup은 불안정한 학습 초반에 낮은 학습률로 시작해 점차 높인 뒤, 후반에는 코사인 곡선을 따라 낮춘다.

Z-손실 정규화는 소프트맥스 온도가 낮아지면서 특정 토큰 예측에 과도하게 확신하는 현상을 억제한다. PaLM과 Gemini 등에서 사용됐으며 학습 안정성을 크게 개선하는 기법이다.

Claude를 사전학습 연구에 투입하는 방식

Karpathy가 구성할 팀의 방향에서 가장 두드러지는 대목은 Claude로 사전학습 연구 자체를 가속한다는 점이다. AI 지원 연구는 데이터 생성부터 실험 설계와 실패 분석까지 여러 단계에 적용할 수 있다.

합성 데이터 생성에서는 Claude가 수학 추론 문제와 코드 주석, 다국어 번역 쌍처럼 특정 도메인에 필요한 데이터를 만들고 이를 사전학습 파이프라인에 투입한다.

어블레이션과 하이퍼파라미터 탐색, 아키텍처 변형 실험의 설계와 분석도 지원 대상이다. 인간 연구자가 다음 실험을 고르는 데 드는 시간을 줄이는 접근이다.

학습 중간 체크포인트를 평가하는 역할도 가능하다. Claude가 특정 역량의 결함이나 편향을 일찍 찾아내고 데이터 보정이나 커리큘럼 조정을 제안하는 방식이다.

OpenAI와 Anthropic이 택한 경쟁 축

원본에서 제시된 비교에 따르면 OpenAI가 제품 다각화와 엔터프라이즈 영업에 집중하는 동안, Anthropic은 기초모델 연구에 높은 수준의 인재를 배치하고 있다. Karpathy 영입은 연구 역량 자체를 우선적인 경쟁 자원으로 보는 Anthropic의 선택을 드러낸다.

⤢✕

OpenAI는 Sora 종료 사례에서 나타나듯 수익성이 불분명한 연구 방향을 정리하고 제품 라인업의 효율화에 집중하는 모습이다. Anthropic은 이와 달리 Claude를 연구 도구로도 활용하면서 동일한 컴퓨팅 예산에서 더 나은 모델을 만드는 방법론에 무게를 싣는다.

두 접근의 경쟁은 향후 2~3년 동안 LLM 품질 경쟁의 분기점이 될 전망이다. 순수 컴퓨팅 투자로 규모를 키우는 전략과 AI 지원 연구로 연구 효율을 높이는 전략 가운데 어느 쪽이 앞서느냐에 따라 업계 구도도 달라질 수 있다.

Tesla의 데이터 경험이 Claude에 연결될 가능성

Karpathy가 Tesla에서 다룬 핵심 과제는 대규모 실세계 데이터 파이프라인이었다. Tesla FSD는 수백만 대의 차량에서 모은 주행 데이터를 계속 학습 파이프라인으로 보내는 시스템을 구축했다. 이 경험이 Claude의 사전학습 데이터 파이프라인에 어떤 방식으로 적용될지가 주목되는 이유다.

그는 karpathy.ai와 nanoGPT, llm.c 같은 딥러닝 교육 콘텐츠로도 알려져 있다. 이런 배경은 Anthropic 내부의 연구 문화와 지식 전파 방식에도 영향을 미칠 것으로 예상된다.

Karpathy의 합류는 기초모델 경쟁에서 연구 인력과 학습 방법론이 다시 핵심 변수로 부상했음을 보여준다. 커리큘럼 학습과 합성 데이터 생성, 실험 자동화를 Claude 사전학습에 연결하려는 시도가 차세대 모델의 품질에 어떤 변화를 만들지는 이후 결과로 확인해야 한다.