Arcee Trinity: 30명 팀이 2,000만 달러로 만든 Apache 2.0 추론 모델

399B 파라미터 중 토큰당 깨어나는 건 13B뿐이다. 그런데도 에이전트 벤치마크에서 Claude Opus 4.6과 정면으로 맞붙는다. 미국 스타트업 Arcee AI가 Apache 2.0 라이선스로 399B 파라미터 규모의 추론 특화 대형 언어 모델 Trinity-Large-Thinking을 공개했다. 오픈소스 진영에서 프로프라이어터리 모델에 정면 도전하는 의미 있는 사례다.

30명 팀이 2,000만 달러로 만든 프론티어 모델

Arcee AI는 미국 샌프란시스코에 본사를 둔 30인 규모의 AI 스타트업이다. 기업용 LLM 커스터마이징과 파인튜닝 도구로 시작해, 2026년 초 자체 프리트레이닝 모델 개발로 전환했다.

Trinity 모델 라인업은 세 단계다. 경량 에이전트·엣지 디바이스용 Trinity Mini(24B, 활성 ~3B), 범용 대화·도구 호출용 Trinity Large(399B, 활성 13B), 장기 추론·복합 에이전트용 Trinity-Large-Thinking(399B, 활성 13B)이다. 전 모델이 Apache 2.0 라이선스로 공개돼 Hugging Face에서 가중치를 다운로드할 수 있고, OpenRouter·Arcee API 등 추론 서비스도 즉시 이용 가능하며 262,144 토큰 컨텍스트 윈도우를 지원한다.

256개 전문가 중 4개만 깨운다

Trinity-Large-Thinking의 핵심은 256개 전문가(expert) 중 토큰당 4개만 활성화하는 초희소(ultra-sparse) MoE 구조다. 라우팅 비율은 1.56%로, 대부분의 경쟁 MoE 모델(Mixtral 8x7B의 25%, DeepSeek-V3의 6.25%)보다 훨씬 희소하다.

⤢✕

경쟁 모델과 나란히 놓으면 희소성 격차가 뚜렷하다. Mixtral 8x7B는 총 47B 중 활성 12B(25.0%), DeepSeek-V3는 총 671B 중 활성 37B(6.25%), Trinity Large는 총 399B 중 활성 13B(1.56%)다. 399B 전체 지식 용량을 확보하면서도 추론 시에는 13B 수준 연산량만 소비해, 동등 지식 용량의 Dense 모델 대비 2~3배 빠른 처리량을 낸다.

라우터가 무너지지 않게 만든 장치

MoE 모델 학습의 고질적 문제는 라우터 붕괴(router collapse)다. 특정 전문가에 토큰이 편중되면 나머지 전문가의 학습이 정체되고, 전체 모델 성능이 급격히 하락한다. 기존 로드 밸런싱은 두 갈래로 한계가 있었다. Auxiliary Loss 방식은 학습 목표와 밸런싱 목표가 상충해 성능 저하를 유발했고, Hard Capacity Factor는 전문가별 처리 토큰 수를 물리적으로 제한해 유연성이 부족했다.

Trinity는 SMEBU(Soft-clamped Momentum Expert Bias Updates)로 이 문제를 풀었다. 모멘텀 기반 바이어스 업데이트로 라우터 가중치를 부드럽게 조정하고, Soft-clamping으로 바이어스 값의 급격한 변동을 방지하며, 학습 목표 함수에 간섭하지 않으면서도 균등 분배를 달성한다. 33일간 17조 토큰 학습 전 과정에서 라우터 안정성을 유지한 것이 그 결과다.

33일, 2,000만 달러, 17조 토큰

Arcee는 시리즈 A 라운드에서 확보한 자금의 약 절반에 해당하는 2,000만 달러를 단일 학습 실행에 투입했다. 학습 스펙은 NVIDIA B300 Blackwell GPU 2,048장, 학습 기간 33일, 학습 데이터 17조 토큰, 옵티마이저는 SGD 기반의 메모리 효율적인 Muon이다.

⤢✕

30인 팀이 이 규모의 프리트레이닝을 성공적으로 수행했다는 점은, 소규모 조직도 적절한 인프라 접근성과 아키텍처 효율성을 확보하면 프론티어 모델 개발이 가능함을 입증한 사례다.

Opus급 성능, 비용은 4%

Trinity-Large-Thinking은 에이전트 태스크에서 특히 강점을 보인다. 범용 추론에서는 프로프라이어터리 모델에 다소 뒤지지만, 비용 대비 성능은 압도적이다.

에이전트 벤치마크에서는 Tau2-Airline 88.0(Claude Opus 4.6 85.2, 1위), PinchBench 91.9(Claude Opus 4.6 93.3, 2위), AIME25 96.3(Claude Opus 4.6 94.1, 수학 추론)을 기록했다. 범용 추론 벤치마크에서는 GPQA-Diamond 76.3(Claude Opus 4.6 89.2), MMLU-Pro 83.4(Claude Opus 4.6 89.1)로 격차가 있다. 비용 효율성에서는 출력 토큰 100만 개당 Trinity-Large-Thinking이 $0.90, Claude Opus 4.6이 $25.00로, 비용 비율이 3.6%에 불과하다.

에이전트 태스크에서 Opus 급 성능을 내면서도 비용이 96% 저렴하다는 점은, 대규모 에이전트 워크플로우를 운영하는 기업에 실질적 대안이 될 수 있음을 시사한다.

Apache 2.0을 고른 이유

오픈소스 LLM의 라이선스는 상용화 가능성을 좌우하는 핵심 요소다. Trinity가 Apache 2.0을 선택한 것은 명확한 전략적 판단이다. Trinity(Apache 2.0)는 상업 이용 무제한·파생물 배포 자유·변경 공개 의무 없음이고, Llama 3.1(Llama Community 라이선스)은 상업 이용이 MAU 제한 조건부이며 파생물 배포도 조건부다. Mistral Large(독자 라이선스)는 유료·제한적 배포이고, Qwen 2.5는 Trinity와 마찬가지로 Apache 2.0이다.

기업 도입 장벽을 최소화해 법무 검토 비용을 절감하고 즉시 상용 배포가 가능하며, 파인튜닝·양자화·디스틸레이션 파생 모델의 자유 배포로 커뮤니티 생태계가 확장된다. 수익 모델은 API 서비스(Arcee API)와 기업용 커스터마이징 컨설팅이고, 중국 기반 Qwen·DeepSeek과 차별화하는 미국산 오픈소스 모델이라는 지정학적 포지셔닝도 갖는다.

챗봇이 아니라 에이전트를 위해 설계됐다

Trinity-Large-Thinking이 일반 챗봇이 아닌 에이전트 워크플로우에 최적화되었다는 점은 설계 철학에서부터 드러난다. 핵심 에이전트 기능은 네 가지다. 여러 API를 연쇄적으로 호출하는 복합 태스크를 수행하는 멀티턴 도구 호출, 262K 토큰 윈도우로 확장된 워크플로우 전체를 하나의 세션에서 처리하는 장기 컨텍스트 유지, JSON·함수 호출 등 정형화된 응답 생성에 최적화된 구조화된 출력, Thinking 모드에서 중간 추론 과정을 명시적으로 생성해 오류 발생 시 자체 수정하는 자기 교정이다.

활용 시나리오로는 대규모 코드베이스 분석·리팩토링을 자동화하는 코드 에이전트, 다단계 ETL 워크플로우를 오케스트레이션하는 데이터 파이프라인, 논문 검색·요약·비교 분석을 자율 수행하는 연구 보조, 복잡한 이슈 해결을 위한 다단계 진단 에이전트인 고객 지원이 꼽힌다.

30인 팀이 2,000만 달러로 프론티어 모델을 만들어낸 사례는, LLM 개발이 더 이상 빅테크만의 영역이 아님을 보여준다. 비용 효율적인 에이전트 인프라를 구축하려는 기업이라면, Trinity는 프로프라이어터리 API 의존에서 벗어나는 현실적 대안이 될 수 있다.