DLSS 5, 뎁스 버퍼와 월드 좌표까지 신경망에 넣자 Ghost가 사라졌다

NVIDIA가 2026년 초 공개한 DLSS 5는 단순한 업스케일링 기술의 연장선이 아니라, 3D 장면 정보를 신경망 렌더링 파이프라인에 직접 통합하는 근본적인 패러다임 전환을 선언한 기술이다. 기존 2D 이미지 기반 추론에서 벗어나 뎁스 버퍼, 모션 벡터, 월드 스페이스 좌표를 신경망에 함께 공급함으로써 공간적 일관성을 획기적으로 높인 것이 핵심 차별점이다.

2018년 CNN에서 2026년 3D 가이드까지

DLSS는 2018년 RTX 20 시리즈와 함께 등장한 이래 매 세대마다 근본적인 기술 방식을 바꿔왔다. DLSS 1.0(2018)은 정적 CNN 모델 기반 업스케일링으로 게임별 개별 훈련이 필요했고 품질도 제한적이었다. DLSS 2.0(2020)은 범용 신경망을 도입해 단일 모델로 모든 게임을 지원했고, 시간적 누적(Temporal Accumulation) 알고리즘으로 품질이 비약적으로 향상됐다. DLSS 3.0(2022)은 Frame Generation 기능을 추가하고 Optical Flow Accelerator를 활용했으며 RTX 40 시리즈 전용으로 초당 프레임 수가 최대 4배 향상됐다. DLSS 4.0(2024)은 Multi Frame Generation을 도입하고 AI 모델을 Transformer 아키텍처로 전환했으며 DLAA(Deep Learning Anti-Aliasing)를 강화했다. DLSS 5.0(2026)은 3D Guided Neural Rendering을 도입해 3D 공간 정보 기반 추론으로 Ghost 아티팩트를 근본적으로 제거했다.

⤢✕

픽셀만 보던 방식의 한계

기존 2D 기반 방식은 이미지 픽셀 정보만으로 깊이·표면 법선·재질 특성을 추론해야 했다. 그래서 움직이는 물체의 엣지 영역에서 Ghost 아티팩트가 빈번하게 발생했고, 시간적 누적 오류가 장면 전환 시 화면 떨림으로 이어졌으며, 반사 표면·투명 오브젝트 처리 품질도 저하됐다.

G-Buffer를 통째로 신경망에 넣는다

3D Guided Neural Rendering은 렌더링 파이프라인에서 추출 가능한 모든 3D 정보를 신경망 추론의 가이드로 활용하는 방식이다.

⤢✕

뎁스·법선·알베도·러프니스 등 렌더링 중간 데이터를 신경망에 직접 공급하는 G-Buffer 통합 활용, 2D 화면 좌표가 아닌 3D 월드 좌표 기반으로 프레임 간 오브젝트를 추적하는 월드 스페이스 연속성, 표면 법선 정보로 엣지와 표면 내부를 구분하는 표면 인식 필터링, 모션 벡터와 뎁스를 결합한 정밀 재투영으로 Ghost를 제거하는 재투영 정확도 향상이 핵심이며, RTX 50 시리즈의 5세대 Tensor Core에 최적화된 신경망 구조를 채택했다.

신경망 아키텍처는 3D 가이드 브랜치와 이미지 브랜치를 병렬로 처리한 뒤 크로스 어텐션으로 결합하는 Dual-Branch Transformer, 공간적으로 연관된 픽셀 그룹에만 어텐션 연산을 집중하는 Sparse Attention 메커니즘, 단계적 해상도 증가로 세부 디테일을 보존하는 Progressive Upscaling, 학습 단계에서 시간적 일관성을 손실 함수에 직접 반영하는 Temporal Consistency Loss를 특징으로 한다.

DLSS 4에서 무엇이 더 나아졌나

항목	DLSS 4	DLSS 5
업스케일 배율 최대치	4x (Ultra Performance)	8x (Extreme Performance)
Ghost 아티팩트 억제율	~85%	~98%
반사 표면 품질	보통	매우 높음
레이턴시 오버헤드	1.2ms (4090 기준)	0.6ms (5090 기준)
VRAM 사용량	기준치	15% 감소
헤어/파티클 처리	제한적	개선됨

해상도·품질 모드는 네이티브 해상도에 DLAA를 적용하는 네이티브 AA 모드(최고 품질), 네이티브 대비 67% 입력 해상도인 Quality 모드, 59% 입력 해상도인 Balanced 모드, 50% 입력 해상도로 DLSS 4 대비 동급 품질에서 15% 추가 성능을 확보하는 Performance 모드, 33% 입력 해상도로 4K 출력을 지원하는 Ultra Performance 모드, 그리고 25% 입력 해상도로 8K 출력이 가능한 신규 Extreme Performance 모드로 나뉜다 — 이 마지막 모드는 3D 가이드 없이는 불가능한 품질이다.

RTX 5090 기준 4K Ultra 설정 대표 게임 벤치마크에서는 Cyberpunk 2077 RT Overdrive가 기존 85fps에서 DLSS 5 적용 후 195fps로, Alan Wake 2 풀 레이트레이싱이 60fps에서 145fps로, Black Myth: Wukong 4K가 75fps에서 160fps로, Star Wars Outlaws 레이트레이싱이 55fps에서 135fps로 향상됐다.

프레임을 만들어내는 방식도 3D를 안다

DLSS 5의 Frame Generation은 3D 가이드 정보를 활용해 이전 세대 대비 보간 품질을 크게 높였다.

⤢✕

뎁스 정보로 전경·배경을 분리해 각 레이어를 독립적으로 보간하는 레이어 기반 보간, 오브젝트가 다른 오브젝트에 가려지는 상황을 예측해 아티팩트를 방지하는 오클루전 인식, UI 요소를 3D 장면과 분리해 별도 합성함으로써 텍스트 흐림 현상을 없애는 HUD 분리 처리, 최대 3개의 보간 프레임을 연속 생성하며 각 프레임에 3D 가이드를 적용하는 Multi Frame Generation 개선이 특징이다. 레이턴시 관리는 프레임 생성으로 인한 입력 레이턴시 증가를 NVIDIA Reflex로 상쇄하고, 품질 우선·레이턴시 우선 모드를 사용자가 선택할 수 있으며, GeForce Overlay에서 실시간 레이턴시 수치를 확인할 수 있다.

RTX 세대별로 갈리는 지원 범위

기능	RTX 30 시리즈	RTX 40 시리즈	RTX 50 시리즈
DLSS Super Resolution	O	O	O (최적화)
DLAA	O	O	O
Frame Generation	X	O (4090만)	O (전 라인업)
Multi Frame Generation	X	O	O (성능 향상)
3D Guided Neural Rendering	X	부분 지원	완전 지원
Extreme Performance 모드	X	X	O

완전 지원 GPU는 RTX 5090, 5080, 5070 Ti, 5070, 5060 Ti, 5060이고, 부분 지원 GPU는 RTX 4090, 4080 Super, 4080, 4070 Ti Super로 3D 가이드 기능이 제한된다. RTX 30 시리즈는 DLSS Super Resolution·DLAA만 지원하는 Legacy 지원에 머문다. 시스템 요구사항은 NVIDIA 게임 레디 드라이버 580.00 이상, DirectX 12 Ultimate 필수(3D Guided 기능), Windows 11 22H2 이상 권장이며, VRAM은 1080p DLSS 5 적용 시 최소 8GB, 4K 최소 12GB, 8K 최소 24GB가 필요하고, 게임 엔진은 Unreal Engine 5.4 이상 또는 Unity 6 이상이 기본 지원한다.

2026년 3월 기준 Cyberpunk 2077(패치 2.3, Path Tracing 완전 통합), Alan Wake 2(업데이트 1.2, Full Raytracing 모드 성능 2배 향상), The Witcher 4(Polaris, 런치 타이틀 DLSS 5 기본 탑재, Unreal Engine 5.4 사용), Black Myth: Wukong(업데이트 패치로 추가, 4K 60fps 안정 구동), Death Stranding 2(PC 버전 완전 지원), Star Wars Outlaws(대응 업데이트 적용)가 출시 지원 게임이고, GTA VI PC 버전(예정)·Monster Hunter Wilds 업데이트·Avowed DLC 통합·Elden Ring Nightreign이 2026년 하반기 예정 게임이다. 게임 엔진 기본 지원으로는 DLSS 5 플러그인이 공식 통합돼 블루프린트 노드로 간편 설정 가능한 Unreal Engine 5.4+, DLSS 5 SDK가 내장돼 URP·HDRP 모두 지원하는 Unity 6.1+, CD Projekt Red 자체 엔진이 완전 통합한 REDengine 5, Call of Duty 시리즈에 적용 예정인 IW Engine 10이 있다.

개발자가 붙여야 할 것들

NVIDIA Developer 포털에서 DLSS 5 SDK를 요청 없이 무료로 즉시 다운로드할 수 있고, 단일 API로 DLSS·FSR·XeSS를 통합 관리하는 Streamline 프레임워크 활용이 권장되며, sl.dlss_g.h·sl.dlss.h 헤더 파일을 포함하고 링커를 설정해야 한다.

3D Guided Neural Rendering을 완전히 활용하려면 렌더링 파이프라인에서 G-Buffer 데이터를 DLSS 5 API에 전달해야 한다. slSetTag(viewport, &depthTag, 0, cmdBuffer) 호출로 뎁스 버퍼를 등록하고, 서브픽셀 정밀도 모션 벡터를 NDC 공간 기준으로 등록하며, 월드 스페이스 좌표는 옵션이지만 활성화하면 Ghost 억제 효과가 극대화되고, 표면 법선 맵은 접선 공간 법선보다 월드 스페이스 법선이 권장된다.

성능 최적화 팁으로는 DLSS 5 추론을 그래픽 큐와 비동기로 실행해 레이턴시를 최소화하는 비동기 컴퓨트 활용, sl::DLSSOptions.mode에서 VRAM 예산 힌트를 제공할 수 있는 VRAM 예산 설정, DLSS 5와 동적 해상도를 함께 쓸 경우 매 프레임 해상도 변경을 통지해야 하는 동적 해상도 통합, HDR10·Dolby Vision 입력을 지원하며 색역 정보를 함께 전달하면 품질이 향상되는 HDR 지원이 있다. 테스트·검증은 Alt+F3 단축키로 DLSS 작동 모드·버전 오버레이를 확인하는 DLSS Indicator, DLSS 5 전용 메트릭을 포함한 NVIDIA 무료 성능 측정 도구 FrameView 5, 원본과 DLSS 적용 이미지를 픽셀 단위로 비교하는 공식 도구 Fidelity FX 비교 툴로 이뤄진다.

DLSS 5의 3D Guided Neural Rendering은 업스케일링 기술이 이미지 처리의 영역을 넘어 3D 장면 이해의 영역으로 진입했음을 보여주는 이정표다. 뎁스·법선·월드 좌표 같은 렌더링 중간 데이터를 신경망 추론에 직접 활용함으로써 Ghost 아티팩트와 시간적 불안정성이라는 과제를 실질적으로 해결했으며, Extreme Performance 모드로 8K 게이밍의 실용화 가능성도 열었다. RTX 50 시리즈에서 완전한 성능을 내도록 설계됐지만 RTX 40 시리즈에서도 부분적 혜택을 누릴 수 있고, Unreal Engine 5.4·Unity 6의 기본 지원 덕분에 개발자의 통합 비용도 크게 줄었다.