NVIDIA habría recuperado el proyecto Rubin CPX, un acelerador especializado para inteligencia artificial que aparentemente había quedado en pausa. Según el analista Ming-Chi Kuo, la compañía ha rediseñado una de sus piezas fundamentales: los 128 GB GDDR7 previstos originalmente dejarían paso a 168 GB HBM4, elevando considerablemente el ancho de banda disponible.
Rubin CPX estaría diseñado específicamente para ejecutar la fase de prefill de los grandes modelos de lenguaje, mientras las GPU Rubin convencionales asumirían posteriormente el decode. Esta separación permitiría dedicar hardware diferente a dos cargas con necesidades muy distintas y acelerar especialmente modelos con contextos enormes y grandes cantidades de KV cache.
NVIDIA habría sustituido 128 GB GDDR7 por 168 GB HBM4
El diseño presentado originalmente para Rubin CPX contemplaba 128 GB de memoria GDDR7, una capacidad considerable, pero basada en una arquitectura mucho más convencional. La nueva versión elevaría la memoria hasta 168 GB HBM4, cambiando tanto el ancho de banda disponible como las exigencias de empaquetado del acelerador.
Ese cambio tiene bastante sentido para una GPU dedicada al prefill. Durante esta fase, el modelo debe procesar todo el contexto inicial recibido antes de comenzar a generar tokens, una carga especialmente sensible a capacidad y ancho de banda de memoria cuando se trabaja con secuencias muy largas.
La HBM4 proporciona precisamente mucho más ancho de banda que GDDR7 y permite acercar físicamente la memoria al propio acelerador. A cambio, su integración resulta más cara y compleja, por lo que NVIDIA estaría sacrificando parte de la simplicidad del diseño original a cambio de convertir CPX en una pieza mucho más especializada.
El cambio obligaría además a rediseñar el encapsulado del chip. La información apunta a que NVIDIA podría recurrir a tecnologías avanzadas de TSMC como CoWoS-S o CoWoS-L, necesarias para integrar las pilas HBM4 alrededor del silicio de cálculo.
Prefill y decode dejarían de compartir exactamente el mismo hardware
La idea detrás de Rubin CPX consiste en separar dos fases fundamentales de la inferencia de un LLM. El prefill procesa el prompt completo y construye inicialmente la información necesaria para el modelo, mientras el decode utiliza posteriormente ese estado para generar los tokens uno detrás de otro.
Ambas tareas ejercen presión sobre partes diferentes del sistema. El prefill puede beneficiarse enormemente de mucho rendimiento paralelo y un enorme ancho de banda para manejar contextos extensos, mientras el decode está especialmente condicionado por la velocidad con la que puede acceder repetidamente al modelo y a la KV cache acumulada durante la generación.
NVIDIA pretende que Rubin CPX se encargue específicamente del prefill, mientras las GPU Rubin convencionales situadas en otros racks procesan el decode. En lugar de diseñar una única GPU intentando ser óptima para ambas fases, la infraestructura puede distribuir el trabajo entre aceleradores especializados.
Este enfoque adquiere todavía más importancia a medida que los modelos alcanzan billones de parámetros y contextos cada vez mayores. Alimentar semejantes modelos ya no depende exclusivamente de aumentar los PFLOPS: mover, almacenar y reutilizar grandes cantidades de información se está convirtiendo en uno de los principales límites de la inferencia.
Ocho Rubin CPX reunirían 1,34 TB para contextos largos y KV cache
Una bandeja equipada con ocho Rubin CPX dispondría de aproximadamente 1,34 TB de memoria HBM4 combinada, destinada al procesamiento de contextos largos y la correspondiente KV cache. La cifra surge directamente de combinar los 168 GB presentes en cada acelerador, mostrando la escala para la que está pensado este hardware.
Los racks completos podrían integrar entre 64 y 256 GPU CPX independientes, llevando la capacidad total de memoria a niveles muy alejados de cualquier sistema convencional. NVIDIA recomendaría además mantener una relación 1:1 entre GPU Rubin CPX dedicadas al prefill y GPU Rubin utilizadas para decode.
Esto significa que CPX no estaría concebido como sustituto de Rubin, sino como una segunda clase de acelerador trabajando junto a él. El objetivo es eliminar cuellos de botella en la preparación de grandes contextos antes de que las GPU de decode comiencen a generar la respuesta.
Para cargas de IA agéntica, donde un modelo puede manejar enormes historiales, múltiples documentos, herramientas y estados persistentes, reducir el tiempo necesario para procesar ese contexto inicial puede repercutir directamente en el tiempo hasta el primer token y en el rendimiento global del servicio.
Un chip monolítico con 30 PFLOPS en NVFP4
Rubin CPX mantendría un diseño monolítico capaz de alcanzar 30 PFLOPS de rendimiento en NVFP4, un formato de baja precisión específicamente orientado a cargas de inteligencia artificial. Esa cifra no debe interpretarse como rendimiento FP32 convencional, sino como capacidad de cálculo bajo la precisión utilizada para acelerar modelos de IA.
NVIDIA también integraría directamente cuatro motores NVENC y cuatro NVDEC, permitiendo procesar codificación y decodificación de vídeo sin recurrir a hardware externo. Esto puede resultar especialmente útil para cargas multimodales donde texto, imágenes y vídeo forman parte del mismo flujo de inferencia.
El uso de un único die también diferencia Rubin CPX de otros diseños que dependen de múltiples chiplets. Si NVIDIA consigue combinar ese silicio con 168 GB HBM4 y empaquetado CoWoS, el resultado sería una GPU diseñada desde el principio para mantener enormes cantidades de datos próximas al cálculo.
La HBM4 muestra hasta qué punto el cuello de botella está pasando de los FLOPS a la memoria
El cambio desde GDDR7 hacia HBM4 resulta probablemente más significativo que aumentar simplemente la capacidad de 128 GB a 168 GB. NVIDIA estaría reconociendo que en las futuras cargas de inferencia no basta con disponer de más unidades de cálculo si la memoria no puede alimentarlas suficientemente rápido.
Separar prefill y decode es otra consecuencia de ese mismo problema. Cada fase puede optimizarse alrededor de distintas necesidades de cálculo, ancho de banda y capacidad, permitiendo aprovechar mejor el enorme coste de desplegar racks completos para modelos de IA.
Por ahora, el regreso de Rubin CPX no ha sido anunciado oficialmente por NVIDIA y la información procede de Ming-Chi Kuo. Pero si el rediseño se confirma, el salto de 128 GB GDDR7 a 168 GB HBM4, junto con racks de hasta 256 aceleradores, mostraría una infraestructura mucho más ambiciosa que el concepto presentado inicialmente.
La estrategia también anticipa cómo podría evolucionar la siguiente generación de centros de datos. En lugar de llenar todos los racks con aceleradores idénticos, NVIDIA estaría avanzando hacia sistemas donde diferentes GPU se especializan en partes concretas de la inferencia, buscando que tanto el cálculo como la memoria se utilicen donde realmente resultan más eficientes.
Vía: TechPowerUp
