Mientras TSMC advierte de que las GPUs IA NVIDIA H100 seguirán escaseando en los próximos 18 meses debido a la insuficiente capacidad de empaquetado de chips en obleas sobre sustrato (CoWoS), otras compañías están viendo la oportunidad de intervenir y satisfacer la abrumadora demanda de hardware de IA generativa.
Una de estas compañías es una nueva startup denominada d-Matrix, que recientemente consiguió 110 millones de dólares de inversores como Microsoft demostrando las velocidades sin precedentes de su tarjeta de cálculo Corsair C8, que se dice que ofrece un rendimiento nueve veces superior al de una GPU NVIDIA H100 en cargas de trabajo de IA generativa.
Estas impresionantes velocidades se consiguen gracias a la tecnología DIMC (digital-in-memory computer) de d-Matrix. A diferencia de las GPUs A100 y H100 de NVIDIA, que están diseñadas para una mayor variedad de tareas informáticas de alto rendimiento, las tarjetas Corsair C8 de d-Matrix se han creado específicamente para cargas de trabajo de IA generativa e inferencia.
Una sola tarjeta Corsair C8 integra 2.048 núcleos DIMC agrupados en 8 chiplets con un total de 130.000 millones de transistores, y también cuenta con 256 GB de memoria RAM LPDDR5 para albergar fácilmente modelos íntegros de IA en memoria. Todos los chiplets están interconectados a través de vías PCIe 5.0 con un ancho de banda de 1 TB/s, lo que da un total de 8 TB/s de ancho de banda entre chips. d-Matrix incluye también 2 GB de SRAM con un ancho de banda de 150 TB/s. Dependiendo de la carga de trabajo de IA, el Corsair C8 proporciona entre 2400 y 9600 TFLOPS.
Gracias a la capacidad de escalado optimizada y a la naturaleza sin fricciones de la pila de software de código abierto, d-Matrix afirma que un clúster de tarjetas Corsair C8 podría conseguir una eficiencia energética 20 veces mayor, una latencia 20 veces menor y unos costes hasta 30 veces inferiores a los de soluciones similares de NVIDIA.
Vía: NotebookCheck
