ComfyUI 노드 워크플로우가 생성 AI 제어를 바꾸는 방식

프롬프트만으로는 수정 지점을 고정할 수 없다

프롬프트 전용 생성 도구에서는 결과의 일부만 바꾸려 해도 이미지 전체가 다시 달라지기 쉽다. 생성 과정이 하나의 블랙박스로 묶여 있기 때문이다. ComfyUI는 이 과정을 노드 단위로 분해해 모델 로딩, 조건 입력, 샘플링, 디코딩과 후처리를 각각 조정할 수 있게 한다.

이 제어 방식에 대한 수요는 시장에서도 드러났다. 2023년 오픈소스 프로젝트로 시작한 ComfyUI는 4백만 사용자를 확보했고, 스튜디오 채용 공고에는 “ComfyUI 아티스트”와 “ComfyUI 엔지니어”가 직함으로 등장했다.

2026년 4월에는 Craft Ventures가 주도하고 Pace Capital, Chemistry, TruArrow가 참여한 라운드에서 $30M 펀딩을 $500M 밸류에이션에 유치했다. ComfyUI CEO는 프롬프트 전용 도구가 원하는 결과의 60~80%만 달성한다는 명제로 노드 기반 접근의 필요성을 설명했다.

$500M 밸류에이션은 사용자 수만이 아니라 시각효과, 애니메이션, 광고, 산업 디자인의 제작 파이프라인에서 ComfyUI가 차지한 위치를 반영한다. 오픈소스 커뮤니티가 만든 3,450개 이상의 노드는 주요 모델 랩과의 통합을 제공한다. 확보한 자금은 노드 인증과 보안 리뷰, 유료 마켓플레이스 구축에 투입된다.

DAG가 수정 범위를 잘라낸다

ComfyUI 워크플로우의 바탕은 방향성 비순환 그래프(Directed Acyclic Graph, DAG)다. 노드는 개별 연산을 맡고, 엣지는 연산 사이의 데이터 흐름을 나타낸다.

이 구조에서는 파라미터가 바뀐 노드와 그 아래에 연결된 의존성만 다시 실행할 수 있다. 프롬프트를 수정하더라도 이미 만들어진 ControlNet 엣지 맵이나 깊이 맵은 유지할 수 있으므로 불필요한 연산을 줄인다. 계산 비용이 큰 노드의 출력은 메모리 또는 디스크에 캐싱해 동일한 입력을 반복해서 처리하지 않도록 한다.

⤢✕

서로 다른 모델을 한 제작선에 연결한다

노드 그래프의 활용 범위는 디퓨전 모델 하나를 실행하는 데서 끝나지 않는다. 기본 모델이 만든 잠재 벡터를 얼굴 복원 모델과 업스케일 모델, 색상 보정 모델에 차례로 전달하는 복합 파이프라인도 시각적으로 구성할 수 있다.

커스텀 노드는 Python으로 개발하며 INPUT_TYPES, RETURN_TYPES, FUNCTION이라는 핵심 속성을 정의한다. 커뮤니티가 구축한 3,450개 이상의 노드에는 Hugging Face 모델 허브 직접 통합, 실시간 비디오 프레임 처리, 오디오 스펙트럼에 따른 이미지 변조 기능도 포함돼 있다. 모델과 처리 단계를 계속 연결할 수 있는 이 생태계가 ComfyUI를 단일 생성 도구보다 플랫폼에 가깝게 만든다.

샘플링 조건을 직접 다루는 KSampler

Classifier-Free Guidance(CFG) 스케일은 프롬프트를 따르는 정도와 모델의 생성 자유도 사이를 조절한다. 값이 낮은 1~~5에서는 모델이 더 자유롭게 이미지를 만들고, 높은 10~~20에서는 프롬프트를 더 엄격하게 따른다. 프롬프트 전용 도구에서는 접근하거나 세밀하게 바꾸기 어려운 값이지만 ComfyUI의 KSampler 노드에서는 직접 설정할 수 있다.

샘플러는 생성 품질과 속도, 결과의 다양성에 영향을 준다. DPM++ 2M Karras는 품질과 속도의 균형이 좋아 범용적으로 쓰이고, Euler a는 다양성이 높아 아이디어를 탐색할 때 적합하다. 결정론적 특성이 강한 DDIM은 일관된 결과가 필요한 상업 제작에서 선호된다. ComfyUI에서는 워크플로우의 다른 조건을 유지한 채 샘플러만 교체하며 결과를 비교할 수 있다.

LoRA와 ControlNet으로 조건을 분리한다

LoRA(Low-Rank Adaptation)는 기반 모델을 다시 훈련하지 않고 특정 스타일이나 캐릭터, 개념을 학습시킨 경량 가중치 파일이다. Load LoRA 노드는 이 가중치를 기반 모델에 주입하며, 적용 강도(strength)를 0~1 범위에서 조정한다. 여러 LoRA를 체인으로 연결하면 일본 애니메이션 스타일, 특정 캐릭터, 사이버펑크 배경처럼 서로 다른 조건을 함께 구성할 수 있다.

ControlNet은 엣지 맵과 깊이 맵, 포즈 스켈레톤, 시맨틱 세그멘테이션 같은 공간 정보를 생성 조건으로 사용한다. 텍스트만으로 고정하기 어려운 인물의 포즈나 장면 구도를 픽셀 수준의 공간 제약으로 모델에 전달하는 방식이다. 여러 ControlNet에 서로 다른 가중치를 주어 함께 적용하면 포즈와 깊이를 동시에 제어하는 복합 조건도 만들 수 있다.

전체 재생성과 부분 재실행의 차이

프롬프트 전용 도구에서 원하는 결과의 80%까지 도달한 뒤 나머지 20%를 수정하려 하면 이미 완성된 부분까지 함께 바뀔 수 있다. 이미지 생성이 확률적 과정인 데다 수정할 단계를 외부에서 분리할 수 없기 때문이다.

노드 기반 워크플로우에서는 생성 단계가 나뉘어 있다. 배경 생성 노드의 파라미터만 바꾸고 인물 생성 노드는 고정한 채 필요한 구간을 다시 실행할 수 있다. 무엇을 바꿀지뿐 아니라 무엇을 유지할지도 지정할 수 있다는 점이 두 접근 방식의 핵심 차이다.

⤢✕

강력한 제어를 실제 사용성으로 연결하려면

노드 인터페이스는 제작 과정을 자세히 드러내는 만큼 학습 장벽도 만든다. ComfyUI는 커뮤니티와 프리셋 워크플로우를 통해 이 복잡성을 다뤄왔다. 처음 사용하는 사람에게는 완성된 프리셋을 제공하고, 숙련된 사용자에게는 내부 파라미터를 열어주는 점진적 구성이 필요하다.

각 노드의 출력을 바로 확인할 수 있어야 어느 단계에서 문제가 생겼는지 추적할 수 있다. 워크플로우와 모든 파라미터를 JSON으로 저장하고 공유하며 다시 실행할 수 있어야 협업과 반복 제작도 가능하다. 한 노드가 실패했을 때 전체 과정을 처음부터 돌리지 않고 해당 노드만 수정해 재실행할 수 있는 오류 격리 역시 노드 기반 UX의 실용성을 좌우한다.

ComfyUI가 확보한 4백만 사용자와 3,450개 커스텀 노드의 생태계는 세밀한 제어가 전문 제작 과정에서 요구되고 있음을 보여준다. DAG 실행 엔진과 선택적 재실행, LoRA 주입, ControlNet 통합은 프롬프트의 표현력을 높이는 것과는 다른 문제를 해결한다. 제작자가 생성 과정을 직접 구성하고 필요한 단계만 고칠 수 있게 하는 것이다.