NetApp elimina el cuello de botella de almacenamiento para las factorías de IA

NetApp, la empresa de Infraestructura de Datos Inteligente, anuncia NetApp Novus™, el almacenamiento más rápido del planeta, diseñado para proveedores de infraestructura de IA que gestionan grandes entornos de GPU. Creada para admitir un sistema de archivos a escala de zettabytes, esta arquitectura de última generación permitirá a las factorías de IA mantener millones de GPU alimentadas continuamente con datos, maximizando así la eficiencia, la utilización y la rentabilidad de sus inversiones.

Los proveedores de neoclouds y de GPU como servicio están creando factorías de IA a una escala para la que las arquitecturas de almacenamiento tradicionales nunca fueron diseñadas, lo que genera cuellos de botella que reducen la utilización de las GPU y aumentan los costes de infraestructura. En las arquitecturas tradicionales, la utilización de las GPU puede caer por debajo del 30% cuando las factorías de IA no pueden suministrar suficientes datos a sus GPU para generar los resultados que necesitan y obtener un retorno de su inversión.

“Las factorías de IA se ven en apuros y la rentabilidad de las GPU se derrumba cuando los datos no pueden seguir el ritmo”, afirma Syam Nair, director de producto de NetApp. “El almacenamiento de la era del HPC por sí solo no puede dar servicio a la escala de las factorías de IA: el sector necesita una arquitectura auténtica diseñada desde cero para este fin. Las factorías de IA llevan mucho tiempo buscando una infraestructura capaz de escalar a la velocidad de la IA. Aprovechando la potencia de la plataforma NetApp, Novus ofrece 100 TB/s de rendimiento de escalabilidad horizontal ilimitada, adelantándose al mercado para convertirse en la nueva arquitectura de almacenamiento de alto rendimiento y a escala de IA que libera el rendimiento de millones de GPU y proporciona el retorno de la inversión necesario para sostener la próxima ola de innovación en IA. Acabamos de lanzar el almacenamiento más rápido del planeta, diseñado específicamente para la era de la IA”.

NetApp Novus aborda los retos a los que se enfrentan las factorías de IA, proporcionando una arquitectura de última generación diseñada para eliminar las limitaciones de escalabilidad al separar los metadatos de la ruta de datos, de modo que el rendimiento, la capacidad y la concurrencia puedan escalar de forma independiente bajo un único espacio de nombres utilizando el estándar industrial NFS. Las primeras versiones de Novus combinan NetApp Novus Data Director, el software de metadatos que se ejecuta en infraestructura Supermicro certificada, con los servicios de datos de NetApp ONTAP® proporcionados a través de los sistemas AFF A90. Juntos crean una arquitectura desagregada diseñada para superar un rendimiento de 100 TB por segundo y admitir una alta utilización de cientos de miles de GPU, al tiempo que se conservan los servicios de datos empresariales de ONTAP en los que confían los clientes. Esta arquitectura está diseñada para satisfacer las demandas de las factorías de IA multi-cliente a escala de nube. Ya se puede encargar y ofrece una vía hacia implementaciones definidas por software a lo largo del tiempo, manteniendo el mismo espacio de nombres, modelo operativo y base de datos.

La arquitectura permite escalar de forma independiente la capacidad, el ancho de banda y los metadatos, con el objetivo de optimizar los recursos y reducir los costos de infraestructura.

Las empresas que adopten la arquitectura Novus pueden obtener las siguientes ventajas:

Mantener todas las GPU productivas: Novus está diseñado para maximizar la utilización de las GPU separando los servicios de metadatos de la ruta de datos, reduciendo los cuellos de botella relacionados con el almacenamiento y manteniendo la infraestructura de IA alimentada con datos de alto rendimiento.
Escalar sin fragmentación: Novus permite que miles de millones de archivos y enormes conjuntos de datos de IA crezcan bajo un único espacio de nombres, lo que permite que los metadatos, el ancho de banda y la capacidad se escalen de forma independiente sin crear silos de almacenamiento ni complejidad operativa.
Mejorar la eficiencia de la infraestructura de IA: Novus permite a los operadores escalar únicamente los recursos necesarios para cada carga de trabajo, lo que ayuda a reducir el consumo energético, el espacio y los gastos generales de infraestructura, al tiempo que se preservan la resiliencia, la seguridad y las capacidades multi-cliente necesarias para los entornos de IA compartidos.

“A medida que los proveedores de infraestructura de IA amplían los entornos de GPU, la rentabilidad depende cada vez más de mantener los recursos de computación plenamente utilizados”, indica Mike Leone, vicepresidente y analista principal de Moor Insights & Strategy. “Las arquitecturas de almacenamiento que no pueden suministrar datos a escala de la nube pueden convertirse en un factor limitante para el rendimiento del entrenamiento, el aislamiento de los inquilinos y el retorno de la inversión en infraestructura. NetApp Novus aborda directamente esa limitación al combinar la gestión desagregada de metadatos con servicios de datos de alto rendimiento, lo que proporciona a los proveedores de neocloud y de GPU como servicio una base más escalable para las operaciones de las factorías de IA”.

“Las pruebas realizadas por Omdia a NetApp Novus demuestran un escalado de rendimiento casi lineal a medida que se añadían clústeres ONTAP a un único espacio de nombres global”, asegura Tony Palmer, analista jefe de Omdia. “Basándonos en las rigurosas pruebas que hemos observado, nuestros modelos prevén que la arquitectura de metadatos y datos desagregada de NetApp Novus puede escalar tanto vertical como horizontalmente hasta alcanzar un rendimiento de lectura secuencial de 100 TBps con docenas de exabytes de capacidad efectiva, y más allá. Confiamos en nuestras previsiones de que la solución puede escalar hasta satisfacer las necesidades de implementaciones a escala zetta para impulsar las cargas de trabajo de IA más exigentes y con mayor consumo de datos”.

“Nuestra amplia colaboración con NetApp consiste en aunar computación, redes y datos para simplificar las infraestructuras complejas a los clientes”, afirma Jeremy Foster, vicepresidente sénior y director general de Cisco Compute. “A medida que la IA lleva la infraestructura a nuevos niveles de escala y velocidad, la verdadera diferenciación no es la GPU, sino los datos y cómo los utilizan los clientes. NetApp Novus, junto con el resto de la pila, ayuda a los clientes a sacar partido a esos datos y a impulsar los resultados que importan para su negocio”.

Leer más

Fuente: Artículo original