OpenDLSS-NR lleva el Neural Rendering de DLSS 5 a RTX 40 y navegadores

OpenDLSS-NR lleva el Neural Rendering de DLSS 5 a RTX 40 y navegadores

OpenDLSS-NR es una nueva reimplementación de código abierto de la red Neural Rendering utilizada por DLSS 5, desarrollada por MAAN sobre Vulkan y publicada bajo licencia MIT. El proyecto reproduce la red de 71 bloques encontrada en DLSS-NR 310.8.0 y ya puede ejecutarse sobre una GeForce RTX 4070 SUPER, pese a que NVIDIA limita actualmente su implementación oficial a las RTX 50.

Su desarrollador asegura haber conseguido resultados idénticos bit a bit frente a la implementación original, incluidos los resultados intermedios de los 75 límites entre bloques y no únicamente la imagen final. OpenDLSS-NR incluye además una segunda implementación mediante WebGPU que ejecuta la misma red dentro de un navegador sin depender de Tensor Cores ni soporte nativo para FP8.

No es una alternativa completa a DLSS 5

El proyecto reproduce específicamente la red de renderizado neuronal introducida con DLSS 5, no todo el conjunto de tecnologías DLSS. NVIDIA describe oficialmente su 3D-Guided Neural Rendering como un sistema que parte de una imagen ya renderizada por el motor y utiliza inteligencia artificial para modificar iluminación, materiales y otros detalles, manteniendo la estructura de la escena.

Esto lo diferencia claramente de DLSS Super Resolution. OpenDLSS-NR no toma una imagen de menor resolución para reconstruir otra de mayor tamaño, sino que mantiene la misma resolución de entrada y salida mientras la red genera detalles adicionales y modifica determinadas características visuales.

NVIDIA utiliza igualmente información procedente del propio motor, incluidos vectores de movimiento, para proporcionar estabilidad temporal. El funcionamiento sigue un planteamiento de una imagen de entrada por cada imagen de salida, evitando que el sistema actúe como una tecnología de generación de fotogramas.

La propia documentación de OpenDLSS-NR recalca esta diferencia. DLSS Super Resolution no está implementado y utiliza una red distinta, por lo que instalar este proyecto no permite sustituir todas las funciones que NVIDIA agrupa actualmente bajo la denominación DLSS.

Una red de 71 bloques con 141 MiB de pesos

MAAN describe la red como una arquitectura U-Net formada por bloques transformer de ventanas desplazadas y un Vision Transformer global en su nivel más profundo. En total aparecen 71 bloques distribuidos entre seis niveles de reducción de resolución.

La ejecución utiliza activaciones FP8 E4M3 con acumulación FP16 y aproximadamente 141 MiB de pesos, mientras la ruta optimizada para GPU NVIDIA incorpora kernels PTX preparados para aprovechar los Tensor Cores.

Junto a esta ruta aparecen shaders de cómputo GLSL que funcionan como implementación de referencia, permitiendo comparar los diferentes pasos de la red y comprobar que las optimizaciones siguen produciendo exactamente los mismos resultados.

La red recibe una imagen previamente renderizada, diferentes canales de ruido, información del fotograma anterior reproyectado y varios parámetros de condicionamiento. La salida incluye un residuo RGB que modifica la imagen y un valor utilizado para controlar la mezcla temporal por píxel, permitiendo mantener coherencia entre fotogramas.

Una RTX 4070 SUPER tarda 29,3 ms en 4K

Las primeras pruebas de rendimiento se han realizado sobre una GeForce RTX 4070 SUPER basada en Ada Lovelace, ejecutando la red completa mediante Vulkan.

A 1.920 × 1.080 píxeles, OpenDLSS-NR necesita 7,8 ms por imagen, mientras que 2.560 × 1.440 eleva el tiempo hasta 12,6 ms. La carga aumenta considerablemente al alcanzar 3.840 × 2.160, donde la ejecución completa requiere 29,3 ms.

La prueba de 768 × 768 píxeles baja hasta 2,8 ms, mostrando cómo el coste de la red escala rápidamente con el número de píxeles procesados. En 4K, los 29,3 ms consumen por sí solos buena parte del tiempo disponible para generar cada fotograma a frecuencias elevadas.

También conviene interpretar correctamente estas cifras. MAAN está publicando el tiempo mínimo registrado durante 40 fotogramas, no el promedio, y señala que las medianas suelen quedar aproximadamente entre un 3% y un 5% por encima debido a cambios de frecuencia sostenidos en la GPU.

Lo relevante está en que la red puede ejecutarse sobre una RTX 4070 SUPER cuando NVIDIA reserva oficialmente el 3D-Guided Neural Rendering de DLSS 5 para las GeForce RTX 50. La tabla de compatibilidad actual del fabricante no incluye RTX 40, RTX 30 ni RTX 20 para esta función.

WebGPU elimina la dependencia de Tensor Cores y FP8

OpenDLSS-NR incorpora además una implementación independiente basada en WebGPU capaz de ejecutar la misma red dentro de un navegador, eliminando la dependencia de los kernels PTX, Tensor Cores y soporte nativo para operaciones FP8.

Esta versión conserva la equivalencia de resultados con las mismas capturas utilizadas para validar la implementación principal, pero su rendimiento está actualmente muy lejos del obtenido mediante la ruta Vulkan optimizada para NVIDIA.

A 512 × 512 píxeles, la implementación WebGPU necesita aproximadamente 72 ms frente a unos 2,7 ms de la versión nativa, una diferencia de más de 26 veces. La utilidad actual está, por tanto, mucho más relacionada con demostrar la portabilidad de la red que con ofrecer una alternativa práctica para juegos.

Al no depender específicamente de Tensor Cores o FP8, WebGPU abre técnicamente la posibilidad de ejecutar la red sobre otras arquitecturas compatibles, aunque eso no significa que AMD, Intel u otras GPU puedan ofrecer actualmente un rendimiento comparable al de la implementación optimizada para RTX.

Comparativa de DLSS 5 Neural Rendering desactivado y activado / Fuente de la imagen: OpenDLSS-NR (GitHub)

Los pesos de NVIDIA no están incluidos

Una limitación importante está en los propios datos utilizados por el modelo. El repositorio no distribuye los pesos propietarios de NVIDIA, que deben ser proporcionados por separado por el usuario antes de poder ejecutar la red.

El desarrollador recalca además que OpenDLSS-NR no contiene software, cabeceras ni pesos de NVIDIA y tampoco proporciona instrucciones para obtenerlos. El código desarrollado específicamente para el proyecto sí se distribuye mediante licencia MIT.

Esto significa que estamos ante una implementación abierta de la arquitectura y de su ejecución, no ante una publicación abierta del modelo completo utilizado comercialmente por NVIDIA.

También falta la integración directa con juegos existentes. OpenDLSS-NR dispone de un demostrador basado en el motor Filament de Google con vectores de movimiento y realimentación temporal, pero todavía funciona como una implementación independiente y no como un mod que pueda instalarse directamente sobre cualquier título compatible.

La comunidad empieza a desmontar DLSS 5 apenas estrenado

NVIDIA presentó DLSS 5 como su siguiente salto en renderizado neuronal, centrado en generar iluminación y materiales más realistas mediante inteligencia artificial. Actualmente, la característica oficial funciona en GeForce RTX 50 y requiere integración por parte de los desarrolladores.

OpenDLSS-NR demuestra ahora que la red puede reconstruirse fuera del entorno oficial y ejecutarse incluso sobre Ada Lovelace, aunque con un coste computacional considerable a resoluciones elevadas y sin disponer todavía de una integración práctica para juegos.

La versión WebGPU resulta quizá todavía más interesante a largo plazo. Poder reproducir la misma red sin depender de Tensor Cores ni FP8 específico de NVIDIA separa parcialmente el modelo neuronal del hardware para el que fue diseñado, aunque actualmente la penalización de rendimiento sea enorme.

Por ahora, OpenDLSS-NR debe entenderse como un proyecto técnico y experimental, no como una alternativa lista para reemplazar DLSS 5. Aun así, conseguir equivalencia bit a bit, ejecutarlo sobre una RTX 4070 SUPER y trasladar la misma red a WebGPU apenas después de la llegada de la tecnología muestra hasta qué punto la comunidad ya está explorando los límites del nuevo renderizado neuronal de NVIDIA.

Vía: Wccftech

Sobre el autor