El pasado miércoles, el equipo de MLCommons publicó las cifras de inferencia de MLPerf 3.0 y NVIDIA presentó una interesante propuesta. Según se informa, NVIDIA ha utilizado la optimización de software para mejorar el ya de por sí espectacular rendimiento de su última GPU H100 hasta en un 54%. A modo de referencia, la GPU H100 de NVIDIA apareció por primera vez en MLPerf 2.1 en septiembre de 2022.
En solo seis meses, los ingenieros de NVIDIA trabajaron en las optimizaciones de IA para la versión MLPerf 3.0 y descubrieron que la optimización básica del software podía catalizar incrementos del rendimiento de entre el 7 y el 54%. Las cargas de trabajo para medir la velocidad de inferencia incluían el reconocimiento de voz RNN-T, imágenes médicas 3D U-Net, detección de objetos RetinaNet, clasificación de objetos ResNet-50, recomendación DLRM y procesamiento de lenguaje natural BERT 99/99,9%.
Lo más interesante es que la propuesta de NVIDIA está un tanto modificada. Existen categorías abiertas y cerradas en las que los fabricantes tienen que competir, donde cerrada es el equivalente matemático de una red neural. En cambio, la categoría abierta resulta flexible y permite a los proveedores presentar resultados basados en optimizaciones para su hardware. El objetivo de la categoría cerrada es comparar el hardware de cada fabricante.
Dado que NVIDIA optó por utilizar la categoría cerrada, en este caso no se tiene en cuenta la optimización del rendimiento de otros proveedores como Intel y Qualcomm. Aun así, resulta sorprendente que la optimización pueda suponer un incremento del rendimiento de hasta el 54% en el caso de NVIDIA con su GPU H100. Otro dato destacable es que algunos equipos equiparables, como Qualcomm Cloud AI 100, Intel Xeon Platinum 8480+ y ReccAccel N3000 de NeuChips, no lograron completar todas las cargas de trabajo.
Esto se muestra como «X» en las diapositivas realizadas por NVIDIA, haciendo hincapié en la necesidad de un soporte apropiado para el software del sistema ML, que representa el punto fuerte de NVIDIA y un amplio reclamo de marketing.
Vía: TechPowerUp
