AMD ha anunciado hoy que Oracle Cloud Infrastructure (OCI) ha elegido las aceleradoras AMD Instinct MI300X con software abierto ROCm para impulsar su nueva instancia de OCI Compute Supercluster denominada BM.GPU.MI300X.8. Para modelos de IA que pueden comprender cientos de miles de millones de parámetros, OCI Supercluster con AMD MI300X admite hasta 16.384 GPU en un solo clúster, aprovechando la misma tecnología de tejido de red ultrarrápida utilizada por otros aceleradores en OCI.
Están diseñadas para ejecutar las cargas de trabajo de IA más exigentes, como la inferencia y el entrenamiento de grandes modelos de lenguaje (LLM), que requieren un alto rendimiento con una capacidad de memoria y un ancho de banda líderes. Estas instancias de OCI bare metal ya han sido adoptadas por empresas como Fireworks AI.
«AMD Instinct MI300X y el software abierto ROCm siguen ganando impulso como soluciones de confianza para alimentar las cargas de trabajo de IA OCI más críticas», afirma Andrew Dieckmann, vicepresidente corporativo y director general del área de GPU para centros de datos de AMD. «A medida que estas soluciones se expanden aún más en los crecientes mercados intensivos de IA, la combinación beneficiará a los clientes de OCI con alto rendimiento, eficiencia y mayor flexibilidad de diseño del sistema».
«Las capacidades de inferencia de los aceleradores AMD Instinct MI300X se suman a la amplia selección de instancias bare metal de alto rendimiento de OCI para eliminar la sobrecarga del cómputo virtualizado comúnmente utilizado para la infraestructura de IA», asegura Donald Lu, vicepresidente senior de desarrollo de software de Oracle Cloud Infrastructure. «Estamos encantados de ofrecer más opciones a los clientes que buscan acelerar las cargas de trabajo de IA a un precio competitivo».
Rendimiento de confianza y opciones abiertas para el entrenamiento y la inferencia de IA
AMD Instinct MI300X se sometió a pruebas exhaustivas validadas por OCI que subrayaron sus capacidades de inferencia y entrenamiento de IA para servir casos de uso de latencia óptima, incluso con tamaños de lote más grandes, y la capacidad de ajustar los modelos LLM más grandes en un solo nodo. Estos resultados de rendimiento de Instinct MI300X han llamado la atención de los desarrolladores de modelos de IA.
Fireworks AI ofrece una plataforma rápida diseñada para construir y desplegar IA generativa. Con más de 100 modelos, Fireworks AI está aprovechando las ventajas de rendimiento encontradas en OCI utilizando AMD Instinct MI300X.
«Fireworks AI ayuda a las empresas a construir y desplegar sistemas de IA compuesta en una amplia gama de industrias y casos de uso», afirma Lin Qiao, CEO de Fireworks AI. «La capacidad y cantidad de memoria disponible en AMD Instinct MI300X y el software abierto ROCm nos permiten escalar los servicios a nuestros clientes a medida que los modelos continúan creciendo».
