MLOps·데이터 파이프라인
모델 서빙·드리프트·MLflow, Kafka·Spark·Lakehouse 등 데이터 파이프라인
101 POSTS · 4 / 4
vLLM v0.30.0 업그레이드: 엔드포인트와 모델 길이 점검
vLLM v0.29에서 v0.30.0으로 올릴 때 엔드포인트, 모델 길이, 제거된 설정과 기본값을 확인하는 방법을 정리한다.
2026-09-29
vLLM Semantic Router로 설계하는 LLM 서빙 레이어 라우팅
vLLM Semantic Router가 에스컬레이션, 팬아웃, 불일치 판단을 Model API 레이어에서 처리하는 구조와 운영 방식을 다룬다.
2026-08-02
Triton과 vLLM으로 구성하는 멀티프레임워크 추론 서버 운영
NVIDIA Triton과 vLLM을 결합해 LLM·추천·랭킹 모델을 함께 운영하는 추론 서버의 자원 배분, 배포, 관측 설계를 다룬다.
2026-07-28
초대형 MoE 자체 서빙을 위한 GPU 용량과 양자화 설계
2.8T 초희소 MoE 모델을 자체 서빙할 때 필요한 GPU 메모리, 양자화, 오프로딩, 병렬화 설계 기준을 정리한다.
2026-07-28
TurboQuant — 극좌표 압축과 JL 변환으로 LLM KV 캐시를 쥐어짜는 법
PolarQuant 벡터 회전 압축과 Johnson-Lindenstrauss 잔차 보정을 결합해 LLM KV 캐시 메모리를 6배 절감하는 TurboQuant의 2단계 압축 아키텍처
2026-05-01
Uber IngestionNext의 스트리밍 데이터 레이크 수집 설계
Kafka·Flink·Apache Hudi로 구성한 Uber IngestionNext의 스트리밍 수집, 정확히 한 번 처리, CoW·MoR 트랜잭션 설계를 정리한다.
2026-04-26
vLLM Recipes 개편: GPU를 고르면 서빙 명령이 나오는 레시피 사이트
vLLM Recipes 사이트 개편 내용과 PagedAttention·연속 배치·텐서 병렬처리 등 vLLM 핵심 아키텍처, FP8 KV 캐시·Chunked Prefill 같은 프로덕션 최적화 기법을 정리한다.
2026-04-24
Google TurboQuant: 극한 양자화로 AI 추론 효율을 재정의하는 압축 기술
Google Research의 TurboQuant가 PolarQuant·QJL 파이프라인으로 KV 캐시를 압축하는 원리, 성능 벤치마크, 기존 양자화 기법과의 차이를 정리한다.
2026-03-27
Unsloth Studio — 코드 한 줄 없이 로컬에서 LLM을 파인튜닝하다
Unsloth Studio의 노코드 GUI로 텍스트·오디오·임베딩·비전 모델을 로컬에서 파인튜닝하는 방법과 Axolotl·LLaMA-Factory 대비 기술적 차별점, 입문자 시작 가이드를 정리한다.
2026-03-19
Scraping과 Crawling, 목적에 따라 갈리는 데이터 수집 아키텍처
웹 스크래핑과 크롤링의 구조적 차이, 파이프라인 구성 요소, 확장성·거버넌스 관점을 비교하고 Python 레퍼런스 구현으로 실무 적용 기준을 정리한다.
2025-12-09
웹 크롤링 실무: 도구 생태계부터 법적·윤리적 경계까지
웹 크롤링의 작동 원리와 Python·Java·Node 구현 도구, 검색·데이터마이닝·학술 연구 응용 분야, 저작권·robots.txt 같은 법적·윤리적 쟁점, 성능 최적화 기법을 정리한다.
2025-05-23