BitNet: Microsoft의 1비트 LLM 추론 프레임워크, CPU에서 LLM을 돌리다

GPU 없이 CPU로 LLM을 돌린다는 발상

GPU 없이 일반 노트북 CPU만으로 대규모 언어 모델을 실행한다는 개념은 불과 2년 전만 해도 비현실적으로 들렸다. Microsoft Research가 개발한 BitNet은 모델 가중치를 단 세 가지 값(-1, 0, +1)으로 표현하는 1.58비트 양자화 기법을 통해 이 불가능해 보이는 목표를 현실로 만들었다. ARM CPU에서 최대 5.07배, x86 CPU에서 최대 6.17배의 추론 속도 향상과 함께 에너지 소비량을 82%까지 줄이는 BitNet은 에지 디바이스와 온디바이스 AI의 새로운 지평을 열고 있다.

가중치를 -1·0·+1로만 저장한다는 아이디어

BitNet(bitnet.cpp)은 Microsoft가 개발한 1비트 LLM 전용 공식 추론 프레임워크다. GitHub에서 오픈소스(MIT 라이선스)로 공개되어 있으며, 2026년 3월 기준 34,000개 이상의 별을 받았다. 핵심 아이디어는 모델 가중치를 기존의 16비트 부동소수점(FP16) 대신 삼진법(-1, 0, +1)으로 저장하는 것이다. 이렇게 하면 모델 크기가 대폭 줄어들고, 복잡한 부동소수점 연산 대신 단순한 정수 연산만으로 추론이 가능해진다.

양자화 수식으로 표현하면 다음과 같다.

W_quantized = round(W / mean(|W|)) = {-1, 0, +1}

기존의 사후 학습 양자화(post-training quantization)와 달리, BitNet b1.58은 처음부터 삼진 가중치로 학습된 네이티브 1비트 모델이다. 이 차이는 매우 중요하다. FP16으로 학습한 뒤 압축한 모델은 극단적인 양자화에서 품질 손실이 크지만, 네이티브로 삼진 가중치를 사용하도록 설계된 모델은 이 정밀도에서도 합리적인 성능을 유지한다.

대표 모델 BitNet b1.58-2B-4T

Microsoft Research가 공개한 대표 모델은 BitNet b1.58-2B-4T다. 주요 스펙은 다음과 같다.

항목	상세
파라미터 수	약 20억 개(2B)
학습 토큰 수	4조 개(4T)
가중치 정밀도	삼진법 (~1.58비트)
활성화 정밀도	8비트
아키텍처 특징	BitLinear 레이어, 편향(bias) 없음
모델 파일 크기	약 1.3GB (i2_s 양자화 기준)
HuggingFace Hub	microsoft/BitNet-b1.58-2B-4T-gguf

2B 파라미터 규모의 이 모델은 일반적인 Q4 양자화 7B 모델 대비 훨씬 작은 메모리 풋프린트를 가지며, 더 빠른 속도로 동작한다.

벤치마크로 확인하는 실제 속도

bitnet.cpp의 공식 벤치마크 및 커뮤니티 테스트 결과는 인상적이다.

⤢✕

Reddit의 실제 벤치마크 데이터(Ryzen 9 7845HX, DDR5, 8스레드 기준)는 다음과 같다.

모델	속도	메모리 사용량	에너지/토큰
BitNet b1.58 large (0.7B)	89.65 tok/s	~400 MB	~11 mJ
BitNet b1.58 2B4T (2.4B)	36.94 tok/s	~1,300 MB	~27 mJ
Llama3 8B 1.58 (8.0B)	15.03 tok/s	~4,100 MB	~66 mJ

주목할 점은 성능이 8스레드에서 포화 상태에 이른다는 것이다. 이 모델들은 컴퓨팅 바운드가 아닌 메모리 대역폭 바운드 특성을 보이기 때문에, 코어 수를 늘려도 추론 속도는 거의 향상되지 않는다.

2023년 논문에서 여기까지 온 길

BitNet의 발전 과정은 빠르게 진행되어 왔다.

⤢✕

Microsoft뿐만 아니라 UAE의 Falcon 팀(TII)도 자체 모델의 1.58비트 버전을 공개하며 생태계 확산에 기여하고 있다. NPU 지원도 "곧 출시 예정"으로 명시되어 있어, 현대 스마트폰과 노트북의 뉴럴 엔진에서도 BitNet 모델이 동작하는 날이 멀지 않았다.

설치하고 바로 돌려보기

bitnet.cpp는 conda 환경과 Python 3.9에서 동작하며, 설치 과정은 간단하다.

# 저장소 클론
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

# 가상환경 생성 및 의존성 설치
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp
pip install -r requirements.txt

# 모델 다운로드
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf \
  --local-dir models/BitNet-b1.58-2B-4T

# 환경 설정
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

# 추론 실행
python run_inference.py \
  -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf \
  -p "You are a helpful assistant" \
  -cnv

써보기 전에 알아야 할 제약

BitNet은 혁신적이지만 몇 가지 중요한 제약이 있다.

효율성은 bitnet.cpp에서만: 성능 향상은 bitnet.cpp의 전용 커널에서만 실현된다. HuggingFace Transformers로 동일한 모델을 실행하면 속도나 에너지 절감 효과를 얻을 수 없다.

메모리 대역폭 병목: 추론 성능이 메모리 대역폭에 종속되기 때문에 병렬 요청 처리 시 선형적 확장이 어렵다. 3개의 동시 추론 스트림이 전체 처리량을 약 11%만 향상시키는 것이 이를 보여준다.

상업적 사용 주의: Microsoft는 공식적으로 "추가 테스트 및 개발 없이 상업적 또는 실제 응용 프로그램에 BitNet b1.58 사용을 권장하지 않는다"고 밝히고 있다.

하이퍼스레딩 비효율: ML 워크로드는 이미 물리 코어의 자원을 대부분 사용하기 때문에, 하이퍼스레딩은 추가 이점을 제공하지 않는다. 물리 코어 수에 맞게 스레드를 설정하는 것이 최적이다.

GPU 없는 LLM이 여는 것들

BitNet이 중요한 이유는 단순히 빠른 추론 때문이 아니다. GPU 없이 LLM을 실행할 수 있다는 것은 다음을 의미한다.

완전한 프라이버시: 모든 추론이 로컬에서 이루어지므로 데이터가 외부로 전송되지 않는다
오프라인 사용: 인터넷 연결 없이도 LLM 기능 활용 가능
비용 절감: 클라우드 API 비용 없이 무제한 추론
에지 AI 확장: IoT 기기, 임베디드 시스템, 모바일 기기로의 LLM 배포 가능성

LLM의 접근성이 고성능 GPU를 보유한 일부 계층에서 일반 CPU를 가진 모든 사람으로 민주화되는 흐름에서, BitNet은 그 변화의 중심에 있다.

34,000개의 별이 보여주는 관심

Microsoft의 BitNet과 bitnet.cpp는 LLM 추론의 패러다임을 바꾸려는 진지한 시도다. 1.58비트라는 극단적인 양자화를 네이티브로 학습된 모델로 구현하고, CPU에서 실용적인 추론 속도를 달성한 것은 분명한 기술적 성과다. 아직 상업적 활용에는 제약이 있고, 모델 품질 면에서 최전선 LLM과의 격차도 존재하지만, 에지 컴퓨팅과 온디바이스 AI의 미래를 가늠하는 중요한 이정표임에는 틀림없다. GitHub의 34,000개 별이 보여주듯, 개발자 커뮤니티는 이미 그 가능성에 주목하고 있다.