FASTQ에서 클러스터·히트 리스트까지, 유전체 데이터 파이프라인 설계

시퀀서에서 나온 FASTQ 파일 한 무더기가 세포 유형별 클러스터 표나 CRISPR 히트 리스트가 되기까지는 여러 단계를 거친다. 싱글셀 RNA 시퀀싱(scRNA-seq)과 CRISPR 유전자 편집·스크리닝, 그리고 그 사이를 잇는 유전체 데이터 처리는 각각 다른 도구를 쓰지만, 재현성·확장성·규제 준수라는 요구는 똑같이 받는다.

작업별 요구 사항

싱글셀 RNA 시퀀싱(scRNA-seq)은 개별 세포 수준의 전사체를 측정해 세포 이질성, 세포 유형, 상태, 발달 경로를 해석하는 기술이다. 10x Genomics·Drop-seq 같은 마이크로플루이딕스 기반 라이브러리 제작과 UMI 기반 중복 제거가 포함된다. CRISPR 분석(CRISPR Analysis)은 CRISPR 유전자 편집의 정확도(온타겟/오프타겟, 인델 스펙트럼)를 평가하고, 대규모 pooled CRISPR 스크리닝에서 gRNA 풍부도 변화를 분석해 필수 유전자를 찾는 작업이다. 유전체 데이터 처리(Genomic Data Processing)는 수집→품질관리→정렬/정량→변이·인델 호출→정규화/통합→통계·ML 모델링까지 이어지는 엔드투엔드 처리이며, 워크플로우 오케스트레이션과 메타데이터·프로비넌스 관리, 보안·컴플라이언스까지 포함한다.

파이프라인 계층 구조

데이터 파이프라인은 입력 계층(FASTQ/메타데이터) → 처리 계층(정렬·정량·QC) → 분석 계층(통계·ML) → 결과 배포 계층(리포트·데이터마트)의 계층 구조로 설계하고, 표준화된 디렉토리·메타데이터 스키마를 적용한다. 재현성과 이식성은 컨테이너(Docker/Singularity), 환경 고정(conda/lockfile), 파이프라인 정의(Snakemake/Nextflow/WDL)로 버전과 의존성을 고정해 확보한다.

scRNA-seq 스택: 전처리가 절반이다

전처리 단계에서는 품질검증(FastQC), 어댑터·저품질 필터링, 셀 바코드/UMI 파싱과 정량(Cell Ranger, STARsolo, Alevin-fry)을 거치고 더블릿 탐지(DoubletFinder/Scrublet)까지 포함한다. 다운스트림에서는 정규화(SCTransform/LogNorm), 배치 보정(Harmony/BBKNN), 클러스터링(Leiden/Louvain), 마커 기반 혹은 참조 전이 주석, 궤적 추정(Monocle/Slingshot)이 이어진다.

CRISPR 스택: 편집 평가와 pooled 스크린은 다른 도구를 쓴다

편집 평가는 앰플리콘 정렬과 인델 분석(CRISPResso2)으로 편집 효율·프레임시프트 비율을 산출하고 오프타겟 예측·검증 가이드라인을 적용한다. pooled 스크린은 gRNA 카운팅·정규화(MAGeCK, ScreenProcessing)와 RRA/ML 기반 히트 콜링, 복제 간 일관성 평가로 이어진다.

대규모로 돌리려면 스토리지 전략부터

분산 실행(HPC/클라우드), 오브젝트 스토리지(S3/GS), 캐시·체크포인트로 중간 산출물을 재사용하는 확장 전략이 필요하고, 스팟 인스턴스를 쓸 때는 재시도·중단 복구를 설계해야 한다. 데이터 레이아웃에서는 CRAM 채택으로 저장 공간을 30~60% 절감할 수 있는데(데이터·레퍼런스에 따라 상이하며 최신 정보 확인 필요), Parquet·AnnData로 분석 효율을 더한다.

거버넌스는 처리 파이프라인의 일부다

접근통제·암호화 측면에서는 PHI/PII를 분리하고 KMS 기반 저장·전송 암호화, 세분화된 권한(Role/Row/Column level), 로깅·감사 추적을 적용한다. 데이터 수명주기 측면에서는 동의서·IRB 준수, 데이터 마스킹·가명처리, 보존·파기 정책 자동화, 규제 준수(SOP) 문서화가 필요하다.

실제 적용 사례

10x 기반 scRNA-seq 파이프라인은 FASTQ·샘플 시트·레퍼런스를 입력으로 받아 UMI 정량·QC·배치 보정·클러스터링을 거쳐 AnnData/Seurat RDS와 자동 리포트를 출력한다. 운영 시에는 샘플당 쓰레드·메모리 한도를 사전에 책정하고, 더블릿 비율이 6%를 넘으면 경고를 울리며, 실패한 태스크는 2회까지 자동 재시도한다.

pooled CRISPR 스크린 분석은 FASTQ·가이드 라이브러리를 입력으로 gRNA 카운팅·정규화와 RRA 테스트를 거쳐 히트 리스트와 경로 풍부도 결과를 낸다. 복제는 최소 n=3을 권장하고, 바코드 오류교정 허용치는 해밍 거리 1로 설정하며, off-target 가이드는 사전에 걸러낸다.

병원 연계 유전체 데이터 처리에서는 WES/WGS 정렬·변이 호출과 scRNA를 통합해 변이-발현 연계 분석을 수행하고, 접근 로그 기반 이례 탐지와 데이터 공유 시 차등 프라이버시 기법 검토가 보안·컴플라이언스 축을 담당한다.

처리 흐름

⤢✕

오케스트레이션 도구, 뭘 고를까

항목	Snakemake	Nextflow	WDL/Cromwell
성능	로컬/HPC 최적화 우수, 파일 캐싱 효율적	대규모 분산·클라우드에 강점	대규모 배치 안정성 우수
확장성	DAG 기반 모듈화 양호	DSL2 모듈·재사용성 매우 우수	GCP·HPC 혼합 워크로드 적합
일관성	Conda/Container 잠금 쉬움	Container 중심, 재현성 우수	사양 표준화, 팀 협업 용이
안정성	체크포인트/재시도 기본 제공	재시도·중단 복구 성숙	장기 실행 파이프라인 적합
운영 편의	Pythonic, 교육 곡선 완만	Cloud/Batch 통합 편의 높음	표준 언어, 생태계 문서 풍부

실행 가능한 예시

전제조건은 Linux x86_64, Python 3.10, R 4.3 환경에서 컨테이너 또는 conda(mamba 1.5+ 권장)를 사용하고, 레퍼런스는 GRCh38과 10x v3 화이트리스트를 쓴다(최신 정보 확인 필요).

STARsolo로 scRNA-seq를 정량하는 명령은 다음과 같다.

# 패키지 버전(예): star=2.7.11a, fastqc=0.11.9
STAR \
  --runThreadN 8 \
  --genomeDir ref/GRCh38-star \
  --readFilesIn sample_R1.fastq.gz sample_R2.fastq.gz \
  --readFilesCommand zcat \
  --soloType CB_UMI_Simple \
  --soloCBwhitelist 10xv3_whitelist.txt \
  --soloCBlen 16 --soloUMIlen 12 \
  --soloFeatures Gene \
  --outFileNamePrefix out/sample_

같은 작업을 Snakemake 규칙으로 감싸면 재현 가능한 파이프라인이 된다.

# env: snakemake>=7, mamba, singularity optional
rule all:
    input: "matrix/sample/filtered_feature_bc_matrix.h5"

rule quantify:
    input:
        r1="raw/{s}_R1.fastq.gz",
        r2="raw/{s}_R2.fastq.gz",
        idx="ref/GRCh38-star"
    output: "matrix/{s}/filtered_feature_bc_matrix.h5"
    threads: 8
    conda: "envs/star.yaml"
    shell: r"""
    STAR --runThreadN {threads} --genomeDir {input.idx} \
         --readFilesIn {input.r1} {input.r2} --readFilesCommand zcat \
         --soloType CB_UMI_Simple --soloCBlen 16 --soloUMIlen 12 \
         --soloFeatures Gene --outFileNamePrefix tmp/{wildcards.s}_
    mv tmp/{wildcards.s}_Solo.out/Gene/filtered_feature_bc_matrix.h5 {output}
    """

원자적 쓰기는 임시 디렉터리(tmp)에 먼저 쓰고 최종 경로로 옮기는 방식으로 처리하고, 락과 일관성은 Snakemake의 파일 락과 --rerun-incomplete로 부분 실패를 복구한다. 검증 단계에서는 출력 해시와 행·열 차원을 점검해 데이터 형상을 보장한다.

MAGeCK으로 pooled 스크린을 카운트하고 검정하는 명령은 다음과 같다.

# mageck=0.5.9
mageck count \
  -l library_guides.txt \
  -n exp1 \
  --fastq sample1_R1.fastq.gz,sample2_R1.fastq.gz \
  --sample-label control,treatment

mageck test \
  -k exp1.count.txt \
  -t treatment -c control \
  --norm-method control \
  --output-prefix exp1_result

CRISPResso2로 편집 효율을 분석하는 명령은 다음과 같다.

# crispresso2=2.2.0
CRISPResso \
  -r1 amplicon_R1.fastq.gz -r2 amplicon_R2.fastq.gz \
  -a ACCTG...TGGA \
  -g GGGACTGCTAGTGGGCGTG \
  --plot_window_size 20 \
  --name sample_edit_eval

품질 기준과 에러 처리

입력 검증에서는 FASTQ 포맷·서열 길이·화이트리스트 일치성을 검사하고 체크섬을 비교한다. QC 임계치는 시퀀싱 품질(Q30 ≥ 80%), 미토콘드리아 유전자 비율(예: ≤ 15%), UMI/feature 최소 임계치로 설정한다. 에러가 나면 2~3회 재시도하고, 실패한 태스크는 격리 후 알림을 보내며 부분 산출물은 폐기한다. 일관성과 프로비넌스는 파라미터 스냅샷(JSON), 컨테이너 다이제스트, Git 태그로 추적한다.

보안 아키텍처의 트레이드오프

데이터 보안은 S3 SSE-KMS, VPC 엔드포인트, 퍼블릭 액세스 차단으로 확보하지만 그만큼 키 관리가 복잡해진다. 네트워크·격리는 프라이빗 서브넷·배스천호스트·세분 권한으로 공격면을 줄이는 대신 운영이 복잡해진다. 저장 포맷은 CRAM 전환으로 비용을 아끼지만 재압축·재참조에 CPU 오버헤드가 붙는다. 오케스트레이션은 Nextflow Tower·Cromwell Server로 가시성을 높이지만 관리형 서비스 비용이 늘어난다.

기대할 수 있는 효과

성능·비용 측면에서는 Alevin-fry·STARsolo 도입 시 정량 단계 시간을 30~~70% 단축하고, 스팟 인스턴스와 CRAM을 함께 적용하면 저장·컴퓨팅 총비용을 25~~50% 절감할 수 있다(데이터 특성에 따라 상이하며 최신 정보 확인 필요). 품질·일관성 측면에서는 체크섬·원자적 쓰기·프로비넌스 기록으로 재현성이 높아지고, QC 기준선 도입으로 실패율이 10%p 이상 줄어든다. 확장·운영 측면에서는 HPC/클라우드 하이브리드로 수백 샘플을 일괄 처리하고, 장애 자동 복구로 수작업 개입을 최소화한다.

도입은 PoC에서 시작한다

PoC 단계에서는 대표 샘플 5~10개로 파이프라인 성능·QC 기준을 세우고, 정량 정확도와 속도의 트레이드오프를 평가하며 도구를 고른다. 확장 단계에서는 컨테이너·워크플로우를 표준화하고 스팟·프리엠티브 인스턴스를 운영하며 비용·성능 모니터링 대시보드를 구축한다. 운영 단계에서는 SOP와 버전 고정 정책, 보안·감사 대응 체계, 장애·용량 계획을 세우고, 키트·참조 빌드가 바뀔 때마다 교차검증을 거친다(최신 정보 확인 필요).

scRNA-seq, CRISPR 분석, 유전체 데이터 처리를 하나의 표준 파이프라인으로 묶으면 재현성·확장성·규제 준수를 함께 얻을 수 있다. 컨테이너와 오케스트레이션 도구로 실행 환경을 고정하고, QC 기준과 원자적 쓰기·락으로 일관성을 보장하며, 비용과 성능의 균형을 따져 정량 백엔드를 고르고 보안 아키텍처를 함께 설계하는 편이 낫다.