Golem과 IPFS Cluster로 구성하는 신뢰 기반 분산 워크로드

계산·보존·정산을 분리한 분산 실행 구조

분산 컴퓨팅에서 계산 자원을 확보하는 일만으로는 충분하지 않다. 작업 입력과 결과를 어디에 남길지, 공급자 이탈을 어떻게 처리할지, 실행 결과를 어떤 기준으로 검증할지, 비용을 언제 정산할지까지 이어져야 한다.

Golem Network는 전 세계의 컴퓨팅 자원을 마켓플레이스 형태로 연결하는 탈중앙 분산 컴퓨팅 네트워크다. 요청자(Requestor)가 작업을 내고, 공급자(Provider)가 자원을 제공하며, 합의와 결제를 통해 신뢰를 최소화한 실행을 구성한다.

분산 워크로드 관리는 작업 분할, 스케줄링, 자원 매칭, 재시도와 검증, 결과 취합을 아우르는 오케스트레이션이다. 여기에는 SLA, 예산, 우선순위, 재현 가능성을 위한 정책과 프로세스가 포함된다.

IPFS 클러스터링은 콘텐츠 주소 기반 IPFS 데이터를 여러 노드에 복제하고 핀(pin)하는 계층이다. CRDT 또는 Raft 합의로 핀셋(pinset)의 일관성을 유지하며, 복제계수와 배치 정책으로 내구성과 가용성을 조절한다.

요청자·공급자·정산 계층이 맡는 일

구성은 Requestor 또는 오케스트레이터, Provider, Settlement 체인·결제 계층으로 나눌 수 있다. 노드 이탈과 네트워크 지연을 정상적인 조건으로 보고, 작업 회수와 재배치를 전제로 설계해야 한다.

작업 수락과 완료 이벤트는 서명해 기록하고, 비용은 온체인 또는 오프체인 결제 채널을 통해 정산한다. 레이어2와 지불채널은 수수료와 지연을 줄이는 선택지가 될 수 있으나 최신 정보 확인이 필요하다.

배치는 CPU, 메모리, GPU, OS 같은 자원 조건과 가격 상한, 지리·지연 제약을 함께 고려한다. 공급자 입찰과 협상을 거쳐 조건에 맞는 노드를 고르고, 실패한 배치에는 백오프 재시도를 적용한다.

결과의 재현성은 결정적 빌드와 고정된 입력으로 확보한다. 필요한 경우 다중 실행 결과 비교, 샘플 검증, 중복 계산을 사용하며, 타임아웃과 상태 하트비트로 지연 및 이탈을 감지한다.

IPFS Cluster가 결과물을 보존하는 방식

입력과 출력은 IPFS CID로 참조할 수 있다. 콘텐츠 주소를 사용하면 전송, 캐시, 중복 제거를 자동화할 수 있고 데이터 무결성은 해시로 검증한다.

클러스터 운영에서는 복제계수, 핀 정책, 가용 영역·리전 배치 규칙, CRDT/RAFT 합의 모드가 핀셋 일관성을 결정한다. GC와 TTL 정책은 저장 비용을 통제하는 수단이다.

예산과 결제도 실행 흐름에 포함된다. 지갑 잔액, 지불 한도, 작업별 상한을 두고 예산을 넘으면 큐를 멈추거나 부분 완료분을 정산할 수 있다. 결제가 실패하면 결과를 보류하고 재정산한다.

운영 화면에서는 작업 DAG와 큐 대기, 실행 시간, 재시도율을 추적한다. 노드 신뢰도와 성공률을 함께 보고, 로그와 이벤트에 서명을 남겨 사후 감사를 가능하게 한다.

중앙 오케스트레이션과 분산 실행의 역할 차이

구성요소	성능	확장성	일관성	안정성	운영 편의
Golem Network	이종 노드 성능 편차 존재, 배치형 워크로드 유리	글로벌 수평 확장, 공급자 수에 비례	결과 검증·중복 실행 기반 통계적 일관성	노드 이탈 전제, 재시도·체크포인트 필요	SDK 기반 자동화, 결제·신뢰 관리 필요
Kubernetes(클라우드)	예측 가능, 네트워킹·스토리지 최적화	클러스터·오토스케일로 고확장	강한 일관성 옵션 가능	관리형 서비스로 고가용	고수준 도구 풍부, 비용 상향
IPFS Cluster	I/O는 네트워크 종속, 읽기 캐시로 개선	노드 추가로 복제 확장	CRDT/RAFT로 핀셋 일관성	복제계수 기반 내고장성	단순 정책 운영, 모니터링 필요

Golem은 컴퓨팅 계층, Kubernetes는 중앙 오케스트레이션, IPFS Cluster는 콘텐츠 보존 계층이라는 점에서 역할이 다르다.

입력 CID에서 결과 정산까지

작업을 시작할 때 원본 데이터를 IPFS에 올리고 CID를 고정한다. 입력 메타데이터의 버전, 파라미터, 이미지 해시는 서명하며, 작업은 서브태스크로 나눈 뒤 필요한 자원, 가격 상한, SLA를 지정한다.

처리 단계에서는 공급자의 입찰을 수집해 조건에 맞는 노드에 서브태스크를 배치한다. 컨테이너 또는 WASM 실행 과정에서 체크포인트를 남기고, 부분 결과는 샘플 검증하거나 중복 실행 결과와 비교한다.

완료된 결과는 IPFS에 업로드한 뒤 CID를 고정하고, 클러스터에서 복제계수를 만족하도록 핀한다. 성공한 서브태스크에는 마일스톤 결제를 수행하며, 실패분은 재시도하거나 환불한다.

하트비트가 끊긴 노드는 작업을 회수해 다시 배치한다. 검증에 실패한 결과는 폐기하고 분쟁을 기록하며, 필요하면 동일 입력을 여러 번 실행해 재검증한다. 결제 오류가 발생하면 지불 채널을 재개설하거나 온체인 결제로 대체하고 재정산 큐에서 처리한다.

⤢✕

맞는 워크로드와 활용 장면

미디어 렌더링과 시뮬레이션 배치에서는 모델·씬 파일을 IPFS에 올린 뒤 샷 단위로 작업을 나눌 수 있다. Golem에서 렌더링을 병렬 수행하고 결과 프레임 CID는 클러스터에 핀한 후 후공정 파이프라인으로 넘긴다.

대규모 데이터 처리와 ETL에서는 CSV 또는 Parquet 파티션을 CID 기준으로 샤딩해 맵 단계를 병렬화한다. 리듀스 단계에서는 CID를 병합하고 품질 규칙을 어긴 결과를 재시도한다.

연구용 몬테카를로와 파라메트릭 스윕은 난수 시드와 파라미터 셋을 고정해 재현성을 유지한다. 샘플 검증으로 결과를 합치고 통계적 수렴 판단을 자동화할 수 있다.

웹3 콘텐츠 보존에서는 dApp 아티팩트와 사용자 생성 콘텐츠를 IPFS Cluster에 복제 핀한다. 실패한 노드를 자동으로 치유하고, 배포를 멈추지 않은 채 롤링 핀 업데이트를 수행한다.

비용·처리량·가용성을 보는 기준

마켓플레이스 가격과 프리엠티브 리소스를 활용하면 워크로드와 지역에 따라 3060% 비용 절감이 가능하다. 온체인 수수료는 L2·지불채널을 통해 <13% 수준을 목표로 할 수 있으며 최신 정보 확인이 필요하다.

노드 수가 n개이고 코어당 처리량이 r이면 총 처리량은 ≈ n×r이다. 200코어를 사용하면 단일 코어 대비 처리시간은 약 1/200 수준이 될 수 있다. 다만 네트워크 또는 I/O 바운드 작업에서는 데이터 지역성과 캐싱을 최적화해 병목을 완화해야 한다.

복제계수가 r이고 각 노드 가용성이 p일 때 전체 가용성은 ≈ 1 - (1 - p)^r로 볼 수 있다. p=0.9, r=5인 경우 객체 가용성은 0.99999 수준을 기대할 수 있다.

서명된 이벤트 로그와 CID는 변경되지 않는 이력을 남긴다. 재현 가능한 빌드와 입력을 사용하면 규제 대응에도 도움이 된다.

신뢰도와 비용 사이에서 정책을 정하는 법

컨테이너 이미지 다이제스트를 고정하고, 의존성 버전을 핀하며, 난수 시드를 관리하면 결정성과 재현성을 높일 수 있다. 대신 결정성을 강하게 요구할수록 성능 최적화의 여지는 줄어든다.

입력을 엣지 IPFS 노드에 미리 핀하고 CDN 게이트웨이 캐싱을 사용하면 전송 지연을 낮출 수 있다. 그 대가로 복제 비용은 늘어난다.

고가치 작업에는 중복 실행과 투표 기반 합의를 적용하고, 저가치 작업에는 샘플 검증을 둘 수 있다. 비용 증가와 신뢰도 증가 사이의 선택이다.

작업별 상한, 마일스톤 결제, 실패 시 프로레이티드 환불은 손실 위험을 낮추지만 정산 복잡도를 높인다. 큐 대기, 실행, I/O, 재시도, 핀 성공률을 수집하고 SLO 위반 시 자동 스케일과 재배치를 연결한다.

요청자와 클러스터를 연결하는 예시

전제조건은 Python 3.10+, Docker 24+, IPFS 0.23+ 및 ipfs-cluster-service 1.0+ 설치다. Golem 요청자 환경에는 yagna 데몬, 지갑, 앱 키가 필요하며 최신 SDK·버전 확인이 필요하다.

# Python 3.10+, pip install yapapi
# 환경변수: YAGNA_APPKEY, YAGNA_API_URL 기본 설정 필요
# 실행: 단순 텍스트 처리 작업을 분할 실행, 결과를 로컬로 수집

import asyncio
from yapapi import Golem, Task, Executor, Strategy
from yapapi.payload import vm

SUBTASKS = ["alpha", "beta", "gamma"]

async def worker(ctx, tasks):
    async for task in tasks:
        cmd = f"bash -lc \"python3 -c 'print(\"{task.data}\"[::-1])'\""
        await ctx.run(cmd=cmd)
        output = (await ctx.download_bytes("/golem/output/stdout.txt")).decode()
        task.accept_result(output.strip())

async def main():
    package = await vm.repo(
        image_hash="sha256:your_image_digest",  # 결정적 이미지 다이제스트 사용
        min_mem_gib=1.0, min_storage_gib=2.0,
    )
    async with Golem(budget=1.0, subnet_tag="public") as golem:
        async for result in golem.execute_tasks(
            worker=worker,
            tasks=[Task(data=d) for d in SUBTASKS],
            payload=package,
            max_workers=3,
            strategy=Strategy.for_price(0.5),
        ):
            print("RESULT:", result)

if __name__ == "__main__":
    asyncio.run(main())

IPFS 업로드와 클러스터 핀 작업은 다음과 같이 수행한다.

# IPFS에 파일 업로드
ipfs add --cid-version=1 --pin=false input.csv
# 출력: added bafy... input.csv

# 클러스터에 핀 및 복제계수 5
ipfs-cluster-ctl pin add --replication-min 5 --replication-max 5 bafy...

# 핀 상태 확인
ipfs-cluster-ctl status bafy...

운영 시에는 이미지 다이제스트, 입력 CID, 파라미터 해시를 릴리스 태그와 연결한다. 작업마다 SLA·타임아웃·재시도 상한을 두고, 복제계수와 핀 정책이 리전 간에 어떻게 분산되는지도 검토한다. 예산과 결제 채널에는 모니터링 및 경보를 연결한다.

배치형이고 결정적인 워크로드라면 Golem 기반 실행과 IPFS 클러스터링의 결합이 비용 효율, 투명성, 내구성을 함께 다룰 수 있는 선택지가 된다. 저위험 작업에서 시작해 관찰성 지표와 비용·성능 데이터를 쌓고 적용 범위를 점진적으로 넓히는 방식이 적합하다.