Micron estaría explorando una nueva arquitectura denominada provisionalmente near-GPU NAND, basada en colocar memoria NAND Flash de alta resistencia mucho más cerca de la GPU. El objetivo sería crear un nivel intermedio entre HBM, DRAM y almacenamiento convencional, reduciendo la distancia que deben recorrer determinados datos durante cargas de inteligencia artificial.
La propuesta no pretende sustituir a la HBM, cuya latencia y ancho de banda continúan siendo muy superiores, sino añadir cientos de gigabytes de capacidad a menor coste para información que no necesita permanecer constantemente en la memoria más rápida. La inferencia de grandes modelos de lenguaje aparece como uno de los principales escenarios potenciales.
La NAND pasaría del almacenamiento a situarse junto a la GPU
Actualmente, los datos almacenados en un SSD deben atravesar diferentes interfaces y capas del sistema antes de llegar hasta la GPU. La propuesta que estudia Micron reduciría ese recorrido colocando NAND directamente sobre el package o el PCB de la tarjeta, mucho más cerca de las unidades de cálculo.
Esta NAND sacrificaría parte de la densidad característica de TLC o QLC para priorizar resistencia, rendimiento de entrada y salida, ancho de banda y tiempos de lectura. El resultado sería un producto bastante distinto de la memoria Flash convencional, diseñada normalmente para maximizar capacidad y reducir coste por gigabyte.
La jerarquía resultante tendría HBM como memoria de mayor rendimiento, la nueva near-GPU NAND como segundo nivel y los SSD convencionales detrás. No todos los datos utilizados durante una inferencia necesitan varios terabytes por segundo, por lo que mantener información menos crítica en una capa más lenta pero mucho más grande podría aliviar la presión sobre HBM.
Ese matiz es fundamental: NAND sigue teniendo una latencia muy superior a DRAM y no puede convertirse simplemente en memoria gráfica convencional. Su utilidad estaría en evitar que todo el modelo permanezca simultáneamente dentro de HBM, reservando la memoria más rápida para pesos, cachés y datos que necesitan acceso inmediato.
Cientos de gigabytes adicionales podrían reducir el número de GPU necesarias
Los modelos de IA más grandes pueden necesitar cientos de gigabytes únicamente para almacenar sus parámetros, incluso antes de considerar contexto, cachés y otras estructuras utilizadas durante la inferencia. Superar la capacidad disponible obliga actualmente a distribuirlos entre varias GPU o descargar parte de los datos hacia niveles de memoria considerablemente más alejados.
Una reserva de near-GPU NAND permitiría mantener más información físicamente cerca del acelerador sin multiplicar necesariamente la cantidad de HBM. Esto podría hacer viable ejecutar determinados modelos con menos GPU, aunque el rendimiento seguiría dependiendo de cuánto contenido tenga que desplazarse continuamente entre NAND, HBM y las unidades de cálculo.
También existe una ventaja económica evidente. La HBM es considerablemente más cara y compleja de fabricar que NAND, además de consumir recursos de encapsulado avanzado. Añadir una capa intermedia de Flash permitiría incrementar mucho la capacidad disponible sin llenar cada acelerador con cientos de gigabytes adicionales de HBM.
No desaparecería, eso sí, el cuello de botella de memoria. Si una carga necesita consultar constantemente información almacenada en NAND, la diferencia de latencia y ancho de banda frente a HBM puede seguir frenando a la GPU. El éxito dependerá de qué hardware y software coloquen cada dato en el nivel adecuado.
SK hynix y Sandisk ya trabajan en una idea similar con HBF
Micron no sería la única compañía explorando esta dirección. SK hynix y Sandisk ya han avanzado en la estandarización de High-Bandwidth Flash o HBF, una arquitectura concebida también para ampliar el espacio de memoria disponible junto a la GPU utilizando NAND de mayor resistencia y rendimiento.
El concepto persigue una finalidad muy parecida: crear un escalón entre HBM y almacenamiento SSD, ofreciendo mucha más capacidad que la memoria de alto ancho de banda, pero manteniendo los datos físicamente mucho más cerca del acelerador. En cargas de IA, esa proximidad puede reducir parte de las penalizaciones asociadas al movimiento desde almacenamiento convencional.
La diferencia clave estará en cuánto consigan cerrar la brecha de ancho de banda, latencia y durabilidad respecto a DRAM. HBF o near-GPU NAND solo tendrán sentido si proporcionan suficiente rendimiento para evitar que la GPU permanezca esperando datos durante una parte significativa de la inferencia.
La resistencia de la NAND será uno de los principales obstáculos
Acercar NAND a la GPU plantea una dificultad que no existe con la misma intensidad en HBM: las celdas Flash tienen un número limitado de ciclos de escritura. Las cargas que actualicen información con frecuencia pueden acelerar su desgaste, por lo que aumentar la resistencia y vida útil será esencial si esta memoria termina funcionando como una extensión del espacio disponible para IA.
Por ese motivo, el concepto atribuido a Micron parece priorizar NAND de alta resistencia frente a densidad máxima. Utilizar configuraciones menos agresivas permitiría soportar muchas más escrituras que una solución TLC o QLC diseñada principalmente para almacenar grandes cantidades de información al menor coste posible.
La otra barrera estará en el software. El sistema deberá decidir qué información permanece en HBM, cuál puede desplazarse hacia near-GPU NAND y qué datos pueden quedarse todavía más lejos en SSD. Una mala gestión de estos niveles podría provocar movimientos constantes de información y eliminar buena parte de la ventaja teórica.
Por ahora, Micron no ha anunciado ningún producto comercial ni una fecha de lanzamiento, por lo que near-GPU NAND debe tratarse como una tecnología en fase de exploración. Sin embargo, el avance paralelo de HBF por parte de SK hynix y Sandisk demuestra que crear una nueva capa entre memoria y almacenamiento se está convirtiendo en una vía real para ampliar la capacidad de las GPU destinadas a IA.
Vía: TechPowerUp
