MLOps·데이터 파이프라인
모델 서빙·드리프트·MLflow, Kafka·Spark·Lakehouse 등 데이터 파이프라인
91 POSTS · 3 / 4
PostgreSQL pgvector로 설계하는 HNSW·IVFFlat 벡터 검색
PostgreSQL pgvector에서 HNSW와 IVFFlat 인덱스를 선택하고, SQL 필터링을 결합한 RAG 벡터 검색 파이프라인을 설계하는 방법
2026-08-02
vLLM Semantic Router로 설계하는 LLM 서빙 레이어 라우팅
vLLM Semantic Router가 에스컬레이션, 팬아웃, 불일치 판단을 Model API 레이어에서 처리하는 구조와 운영 방식을 다룬다.
2026-08-02
Orthrus 듀얼뷰 확산 디코딩으로 LLM 무손실 병렬 추론 구현하기
Orthrus가 공유 KV 캐시와 듀얼뷰 확산 디코딩으로 LLM 출력 품질을 유지하며 병렬 토큰 생성과 추론 지연을 최적화하는 방식을 다룬다.
2026-05-21
PyTorch 2.12의 CUDA 선형대수와 에이전트 워크로드 최적화
PyTorch 2.12의 CUDA linalg.eigh 가속, 동적 형상 컴파일, DeviceMesh와 하드웨어 지원 변화를 실무 관점에서 정리한다.
2026-05-19
PyTorch 2.12가 조용히 CUDA 독점에 균열을 냈다: linalg.eigh 100배 가속과 TorchTPU
PyTorch 2.12의 cuSolver 기반 linalg.eigh 100배 가속, torch.compile 컴파일러 파이프라인, Google-Meta TorchTPU 협력을 이기종 가속기 지원 아키텍처 관점에서 분석한다.
2026-05-17
PostgreSQL 단일 스택으로 구성하는 pgvector·pgvectorscale RAG 검색
pgvector와 pgvectorscale을 활용해 PostgreSQL에서 벡터·전문·관계형 검색을 통합하는 RAG 아키텍처와 인덱스 선택 기준을 다룬다.
2026-05-05
TurboQuant — 극좌표 압축과 JL 변환으로 LLM KV 캐시를 쥐어짜는 법
PolarQuant 벡터 회전 압축과 Johnson-Lindenstrauss 잔차 보정을 결합해 LLM KV 캐시 메모리를 6배 절감하는 TurboQuant의 2단계 압축 아키텍처
2026-05-01
Pinterest CDC 파이프라인으로 구축한 Kafka·Flink·Iceberg 레이크하우스
Pinterest의 CDC 수집 아키텍처를 Kafka, Flink, Spark, Iceberg 관점에서 분석하고 운영·마이그레이션 설계를 정리한다.
2026-04-29
Uber IngestionNext의 스트리밍 데이터 레이크 수집 설계
Kafka·Flink·Apache Hudi로 구성한 Uber IngestionNext의 스트리밍 수집, 정확히 한 번 처리, CoW·MoR 트랜잭션 설계를 정리한다.
2026-04-26
vLLM Recipes 개편: GPU를 고르면 서빙 명령이 나오는 레시피 사이트
vLLM Recipes 사이트 개편 내용과 PagedAttention·연속 배치·텐서 병렬처리 등 vLLM 핵심 아키텍처, FP8 KV 캐시·Chunked Prefill 같은 프로덕션 최적화 기법을 정리한다.
2026-04-24
PostgreSQL 기능 동결 이후 파티셔닝·논리 복제·pgvector 아키텍처
PostgreSQL 기능 동결 이후 파티션 프루닝, 논리적 복제와 CDC, pgvector 하이브리드 검색, PostgreSQL 13 업그레이드 전략을 정리한다.
2026-04-23
Snowflake Postgres와 pg_lake로 구성하는 HTAP 데이터 아키텍처
Snowflake Postgres의 HTAP 아키텍처와 pg_lake·Apache Iceberg 통합, Postgres 호환성 및 거버넌스 운영 방식을 정리한다.
2026-04-17
벡터 DB 없이 LLM 추론만으로 문서를 찾는 법
VectifyAI의 PageIndex가 청킹·임베딩·벡터 DB 없이 시맨틱 트리와 LLM 추론만으로 문서를 검색하는 원리, FinanceBench 벤치마크, 활용 시나리오를 정리한다.
2026-04-11
NVIDIA Dynamo 1.0: Prefill과 Decode를 분리해 처리량 3.6배를 낸 추론 서빙
NVIDIA Dynamo 1.0의 Disaggregated Serving·Smart Router·분산 KV 캐시 구조와 vLLM·TGI·SGLang 대비 벤치마크, 도입 시 고려사항을 정리한다
2026-03-29
RAG 2026 — 검색 한 번으로 끝나던 시절은 지났다
Naive RAG에서 Agentic RAG로 이어진 진화 단계와 Graph RAG·CRAG·Modular RAG 아키텍처, 청킹 전략·RAGAS 평가 프레임워크·프로덕션 배포 시 고려사항을 정리한다.
2026-03-29
Google TurboQuant: 극한 양자화로 AI 추론 효율을 재정의하는 압축 기술
Google Research의 TurboQuant가 PolarQuant·QJL 파이프라인으로 KV 캐시를 압축하는 원리, 성능 벤치마크, 기존 양자화 기법과의 차이를 정리한다.
2026-03-27
PyTorch 2.11 출시: FlexAttention + FlashAttention-4와 분산 학습 개선
PyTorch 2.11의 FlexAttention+FlashAttention-4 백엔드 속도 향상과 미분 가능 집합 연산(Differentiable Collectives)이 분산 학습에 가져오는 변화를 정리한다.
2026-03-25
Unsloth Studio — 코드 한 줄 없이 로컬에서 LLM을 파인튜닝하다
Unsloth Studio의 노코드 GUI로 텍스트·오디오·임베딩·비전 모델을 로컬에서 파인튜닝하는 방법과 Axolotl·LLaMA-Factory 대비 기술적 차별점, 입문자 시작 가이드를 정리한다.
2026-03-19
Spark 스트리밍 파이프라인에 ONNX 추론을 끼워 넣는 법
밀리초~수초 SLA를 요구하는 실시간 빅데이터 분석에서 Spark Structured Streaming과 AI 모델 추론을 통합하는 아키텍처와 코드를 실무 관점에서 정리한다
2025-12-13
FASTQ에서 클러스터·히트 리스트까지, 유전체 데이터 파이프라인 설계
scRNA-seq 정량과 CRISPR 스크린 분석을 재현성 있는 파이프라인으로 만드는 방법 — 컨테이너·워크플로우 오케스트레이션·QC 기준과 실행 가능한 코드 예시.
2025-12-12
SPARQL로 RDF 데이터를 질의하는 법 — 문법부터 배포 패턴까지
SPARQL의 SELECT/CONSTRUCT 문법, HTTP 프로토콜과 결과 포맷, curl·Python 호출 예시, 공개 엔드포인트·자체 호스팅·OBDA 배포 패턴을 비교한다
2025-11-26
Prometheus/Grafana로 인프라와 모델 드리프트를 한 화면에서 보기
Prometheus/Grafana 기반 시계열 관측에 데이터 드리프트 감지와 모델 성능 추적을 결합해 SLI/SLO로 운영하는 방법을 정리한다.
2025-10-14
Apache Pulsar와 Redis Streams로 설계하는 실시간 분석 파이프라인
Event-Driven Architecture를 바탕으로 Apache Pulsar와 Redis Streams를 조합해 실시간 분석 파이프라인의 신뢰성, 확장성, 운영 방식을 설계한다.
2025-10-14
재현 가능한 데이터 사이언스 워크플로우 — JupyterLab과 Git으로 실험을 관리하는 법
노트북 기반 실험을 재현 가능하게 만드는 프로젝트 구조, 환경 고정, Git 버전 관리, CI 자동화를 실무 관점에서 정리한다.
2025-10-14
PIPL로 설계하는 이미지 처리 파이프라인
PIPL의 모듈형 이미지 처리 구조와 전처리·특징 추출·분석 흐름, 성능 최적화 및 의료·제조·위성 영상 적용 방식을 정리한다.
2025-05-23
R로 통계 분석과 데이터 시각화하기: 워크플로우와 실무 활용
통계 분석과 데이터 시각화에 특화된 R 언어의 문법, ggplot2 시각화, dplyr 데이터 조작, 금융·생명과학·마케팅 실무 활용과 대용량 데이터 처리의 한계·대안을 정리한다.
2025-05-23
불용어 제거, 전처리 한 단계가 파이프라인 정확도를 가른다
NLTK·scikit-learn·spaCy의 불용어 처리 방식과 한국어 불용어 목록 구축, 고객 리뷰·뉴스 분류 파이프라인 적용 사례를 정리한다
2025-05-23
웹 크롤링 실무: 도구 생태계부터 법적·윤리적 경계까지
웹 크롤링의 작동 원리와 Python·Java·Node 구현 도구, 검색·데이터마이닝·학술 연구 응용 분야, 저작권·robots.txt 같은 법적·윤리적 쟁점, 성능 최적화 기법을 정리한다.
2025-05-23
스마트 그리드 데이터와 재생에너지 예측 운영 아키텍처
스마트 그리드 시계열 데이터, 확률 예측, 제약 최적화와 MLOps를 결합해 재생에너지 운영을 최적화하는 아키텍처를 정리한다.
2024-04-29
Spark DataFrame·PySpark MLlib·Dask로 설계하는 분산 데이터 파이프라인
Spark DataFrame, PySpark MLlib, Dask의 실행 모델과 운영 특성을 비교하고 분산 데이터 파이프라인 선택 기준을 정리한다.
2024-04-29