데이터베이스·빅데이터
DB 이론·설계, 빅데이터 처리, 데이터 엔지니어링
326 POSTS · 6 / 11
HDFS 저장소 위에 실시간 처리 이중화와 Presto 서빙을 올리는 법
HDFS를 저장 계층으로 두고 Spark Streaming과 Flink로 실시간 처리를 이중화한 뒤 Presto로 대화형 서빙까지 붙이는 빅데이터 플랫폼 구성을 정리한다.
2025-12-12
IDX: DX를 기술 통합에서 운영 체계로 확장하는 프레임워크
데이터 패브릭·AI/MLOps·하이퍼오토메이션·옵저버빌리티·거버넌스를 통합한 IDX 개념과 도입 절차, 금융·제조·커머스 활용 사례를 정리한다.
2025-12-06
Meta-X, INDECS 원칙을 이커머스 메타데이터 허브로 구현하는 법
INDECS 원칙을 실무형 메타데이터 허브 Meta-X로 구현하는 식별자 정합화·스키마 레지스트리·이벤트 분배·거버넌스 아키텍처와 도입 로드맵을 정리한다.
2025-12-03
Five Stars of Linked Data: 데이터 개방 성숙도를 재는 5단계 등급
팀 버너스리가 제안한 Five Stars 모델의 OL·RE·OF·URI·LD 5단계 등급 기준과 단계별 전환 절차, 등급별 운영 지표를 정리한다.
2025-11-26
폭소노미, 전문가 대신 대중이 붙인 태그가 만드는 분류
사용자 주도 태깅으로 자원을 조직하는 폭소노미의 구조와 사용자-태그-자원 관계, 택소노미 대비 트레이드오프, 태그 정규화·거버넌스 운영법을 정리한다.
2025-11-26
INDECS, 저작물 권리 정산이 어긋나는 진짜 원인은 메타데이터 모델이다
INDECS의 엔터티-역할-관계-이벤트 모델과 식별자·프로비넌스 원칙이 음악·출판·OTT 권리 정산의 상호운용성을 어떻게 확보하는지 정리한다.
2025-11-26
VaR·ES·Black-Scholes·Markowitz를 잇는 금융 리스크 운용
VaR·ES 리스크 측정, Black-Scholes 옵션 가격, Markowitz 포트폴리오 최적화를 데이터·검증 체계와 함께 운용하는 방법을 정리합니다.
2025-10-14
그래프 이론과 GNN으로 연결 데이터를 분석하는 방법
중심성·커뮤니티 탐지와 GNN을 함께 활용해 연결 데이터의 구조를 해석하고 예측 모델을 운영하는 방법을 정리합니다.
2025-10-14
GraphSAGE·GAT·Node2Vec로 설계하는 그래프 표현 학습
GraphSAGE, GAT, Node2Vec의 표현 학습 방식과 확장성·일반화 특성, 샘플링·서빙·검증 설계 기준을 정리한다.
2025-10-14
하둡 에코시스템으로 설계하는 대용량 데이터 파이프라인
HDFS, Hive, Sqoop, Avro, HBase를 중심으로 하둡 에코시스템의 데이터 적재·처리·서빙 구조와 운영 기준을 정리한다.
2025-10-14
HDFS 아키텍처와 대용량 데이터 운영 전략
HDFS의 NameNode·DataNode 구조, 복제와 장애 복구, 읽기·쓰기 경로 및 운영 설계 원칙을 정리한다.
2025-10-14
HDFS·S3·레이크하우스: 빅데이터 저장 계층 선택 기준
HDFS, S3, 데이터 레이크하우스의 아키텍처·일관성·비용·거버넌스를 비교하고 워크로드별 저장 계층 선택 기준을 정리합니다.
2025-10-14
DW Appliance로 구축하는 고성능 데이터웨어하우스
DW Appliance의 MPP·컬럼 저장 구조와 운영 자동화, 도입 시 성능·확장성·거버넌스 고려사항을 정리합니다.
2025-10-14
IMDG로 구성하는 분산 인메모리 데이터 관리
IMDG의 분산 저장 구조와 일관성 제어, 주요 솔루션 비교, 인메모리 데이터 관리 적용 조건을 정리한다.
2025-10-14
인터랙티브 데이터 시각화 도구와 대시보드 설계
D3.js, Plotly, Streamlit, GIS 지도 시각화를 연결해 데이터 파이프라인과 렌더링, 상태 관리, 운영 기준을 설계하는 방법
2025-10-14
5차 정규화와 조인 종속성으로 보는 관계 분해
5차 정규화(5NF)의 조인 종속성, 비손실 분해 원리와 프로그래머·자격증·언어 관계를 통한 데이터베이스 설계 기준을 정리한다.
2025-08-10
외래 키(FK)로 관계형 데이터베이스의 참조 무결성 설계하기
외래 키(FK)의 참조 무결성 규칙과 CASCADE, SET NULL, RESTRICT 옵션을 데이터 모델링과 성능 관점에서 정리한다.
2025-08-10
4차 정규화로 다중값 종속성 분해하기
4차 정규화와 다중값 종속성의 관계를 학생·교사·직원 관리 사례로 살펴보고, 릴레이션 분해 기준과 설계상 유의점을 정리한다.
2025-08-10
함수 종속성으로 설계하는 정규화와 데이터 무결성
함수 종속성의 유형과 Armstrong 공리, 정규화 단계에서 종속 관계를 분석하는 방법을 정리한다.
2025-08-10
함수적 종속성으로 정규화와 후보키를 설계하는 법
함수적 종속성의 유형과 암스트롱 공리, 정규화, 후보키와 클로저 계산, 최소 커버를 데이터베이스 설계 관점에서 정리한다.
2025-08-10
해싱으로 데이터 접근 경로를 설계하는 법
해싱의 구성 요소와 충돌 처리, 해시 함수 방식, 데이터베이스·보안·분산 시스템에서의 활용을 정리합니다.
2025-08-10
이력데이터모델링으로 시간에 따른 데이터 변화를 관리하는 법
이력데이터모델링의 스냅샷과 이벤트 기반 관리 방식, 시간 처리와 조회 성능을 고려한 데이터 설계 방법을 정리한다.
2025-08-10
식별자 관계와 비식별자 관계, 데이터 모델에서의 선택 기준
식별자 관계와 비식별자 관계의 PK·FK 구성, ERD 표기, 데이터 모델링에서 선택하는 상황을 정리합니다.
2025-08-10
인메모리 데이터베이스의 구조와 실시간 처리 설계
인메모리 데이터베이스의 저장 구조, 지속성, 확장성 설계와 실시간 데이터 처리 활용 방안을 정리합니다.
2025-08-10
IOD로 필요한 순간에 기업 정보를 제공하는 방법
IOD(Information On Demand)의 정보 통합·가상화·실시간 처리 구조와 기업 데이터 활용, 구현 과제를 정리한다.
2025-08-10
패스트 데이터: 시간이 지나면 사라지는 데이터 가치를 잡는 기술
패스트 데이터가 빅데이터와 어떻게 다른지, 수집부터 저장·전달까지 이어지는 계층형 아키텍처와 금융·제조·통신·소매 활용 사례, 구현 기술 스택과 저지연·확장성 과제를 정리한다.
2025-05-23
그래프 데이터베이스: 노드와 엣지로 관계를 저장하는 법
그래프 데이터베이스가 노드와 엣지로 관계를 표현하는 구조, 속성 그래프·RDF 모델의 차이, Cypher·Gremlin·SPARQL 질의 방식과 실제 활용 사례를 정리한다.
2025-05-23
하둡 에코시스템: HDFS·MapReduce·YARN 위에 쌓이는 도구들
하둡 코어(HDFS·MapReduce·YARN)를 중심으로 수집·저장·처리·워크플로우·거버넌스 도구가 어떻게 연결되는지, 산업별 활용 사례와 함께 정리한다.
2025-05-23
HDFS: 네임노드·데이터노드가 대용량 파일을 나눠 갖는 방식
HDFS의 네임노드·데이터노드 아키텍처, 쓰기·읽기 프로세스, 고가용성 구성과 한계, 명령어까지 분산 파일 시스템의 동작 원리를 정리한다.
2025-05-23
Hadoop 생태계로 설계하는 분산 저장과 배치 분석
HDFS, YARN, MapReduce, Hive QL의 역할과 분산 데이터 처리 구조, 운영·보안·성능 설계 기준을 정리합니다.
2024-04-29