El H100 NVL representa el mejor exponente de la gama Hopper de NVIDIA. Se trata de una variante técnica del acelerador de centro de datos H100 diseñada específicamente para un fin, potenciar modelos lingüísticos de IA, como Chat-GPT.
Resumiendo, las siglas NVL corresponden a NVLink, que es lo que utiliza dicha configuración en la GPU H100. La H100 NVL no se trata de una GPU, sino de una opción dual-GPU de dos tarjetas PCIe conectadas entre sí a través de tres puentes NVLink Gen4.
Ahora bien, la variante NVL tiene otra ventaja sobre las actuales GPUs H100: la capacidad de memoria. Esta GPU utiliza las seis pilas de memoria HBM3 que ofrecen un total de 188 GB de búfer de alta velocidad. Se trata de una capacidad inusual que indica que solo hay 94 GB disponibles en cada GPU, y no 96 GB.
La H100 NVL posee una interfaz de memoria completa de 6144 bits (1024 bits por cada pila HBM3) y una velocidad de memoria de hasta 5,1 Gbps. Lo que significa que el rendimiento máximo es de 7,8 GB/s, más del doble que el de la H100 SXM. Los grandes modelos de lenguaje requieren de grandes búferes y un mayor ancho de banda, que sin duda también tendrá un gran impacto.
La NVIDIA H100 NVL for Large Language Model Deployment resulta idónea para implantar LLM masivos como ChatGPT a gran escala. La nueva NVL H100 con 94 GB de memoria y acelerador Transformer Engine proporciona hasta 12 veces más rendimiento de inferencia en GPT-3 que la anterior generación A100 a gran escala en centros de datos.
NVIDIA espera que la nueva H100 NVL se lance en la segunda mitad del presente año, sin facilitar más detalles al respecto.
Vía: VideoCardz
