Una nueva arquitectura de datos para fábricas de IA a escala

Hoy marca el comienzo de una nueva era en la infraestructura de datos para AI Factories a escala de gigavatios. NetApp Novus, una nueva clase de arquitectura de almacenamiento, supera los 100TB/s de rendimiento agregado y puede mantener productivas a cientos de miles de GPU. Diseñado para una capacidad a escala de zettabytes, Novus separa los metadatos y los datos en planos escalables de forma independiente y luego unifica miles de nodos de almacenamiento detrás de un único espacio de nombres. Con estas capacidades, NetApp Novus transformará la eficiencia, la utilización y la rentabilidad de los operadores de Neocloud, los hyperscalers, las grandes empresas que crean nubes de GPU y los proveedores de GPU-as-a-Service.

Novus se basa en el acceso pNFS basado en estándares, por lo que no hay clientes propietarios que implementar en los servidores GPU ni nada que gestionar durante el ciclo de vida a medida que cambian los kernels y las generaciones de GPU. Novus aporta la resiliencia, la seguridad y la multi-tenancy de NetApp ONTAP^® a una arquitectura diseñada específicamente para AI Factories.

El cálculo necesario para alimentar 50 000 GPU

Las matemáticas de AI Factory son implacables. Una sola GPU puede requerir hasta 2 GB/s de rendimiento para mantenerse activa, y mantener este nivel en 50 000 GPU requiere un ancho de banda acumulado de 100 TB/s. Las matrices de almacenamiento tradicionales ofrecen entre 40 y 80 GB/s. Por lo tanto, alcanzar los 100 TB/s con matrices convencionales implica desplegar más de un centenar de ellas, cada una con su propio espacio de nombres, dominio de fallos y sobrecarga de gestión. Los operadores acaban gestionando una flota de sistemas de almacenamiento y enfrentándose a complejos problemas de movimiento de datos.

La rentabilidad consiste en mantener ocupadas las GPU

En el caso de las fábricas de IA a escala de gigavatios, las GPU son la mayor partida de capital del balance y la única que genera ingresos. Cada hora que una GPU pasa esperando datos es una hora de depreciación sin ningún retorno.

Eso hace que la diferencia entre un clúster de GPU bien alimentado y uno desabastecido sea crítica para el negocio. La utilización en AI Factories puede caer a cifras de un solo dígito cuando el almacenamiento no puede entregar datos con la suficiente rapidez para mantener las GPU en funcionamiento. En ese momento, creemos que el cuello de botella del almacenamiento ya no es un problema de rendimiento; es un problema de margen, que no hace más que crecer a medida que se amplían las operaciones.

Eliminar el cuello de botella de los metadatos

Añadir más controladores por sí solo no resolverá el problema. Los metadatos son un cuello de botella incluso antes de que la capacidad o el ancho de banda limiten la actividad de las GPU. Cada solicitud de apertura, búsqueda y diseño recae en los mismos controladores que intentan servir los datos. La importación de un espacio de trabajo consiste en millones de operaciones con archivos pequeños. Un checkpoint es una escritura secuencial a escala de terabyte, emitida por todos los nodos a la vez, que llega justo detrás de una ráfaga de tráfico de metadatos. Al escalar el clúster, las operaciones de metadatos escalan con él, hasta que, inevitablemente, el sistema de archivos se ralentiza o se detiene.

Es difícil diseñar un sistema que se adapte a dos patrones de acceso que son incompatibles entre sí. El tráfico de metadatos de archivos pequeños requiere muchas operaciones independientes procesadas rápidamente. Las escrituras de checkpoint requieren que todo el sistema se dedique a un único flujo secuencial. Si ejecutas ambos en los mismos controladores, cada uno degrada al otro.

Novus separa los metadatos de los datos, lo que permite que cada uno escale por su cuenta. Para lograrlo, creamos dos sistemas especializados, cada uno optimizado para una tarea diferente, y los unificamos en un único sistema. Los datos residen en sistemas ONTAP de nivel empresarial. En la primera versión, incluiremos almacenamiento AFF A90 de alto rendimiento de NetApp. Novus Data Director mueve los metadatos a una capa de control definida por software y escalable de forma independiente que se ejecuta en computación x86 estándar. Un cliente le pregunta a Data Director dónde vive un archivo, recibe un diseño y luego se comunica directamente con el almacenamiento. Ningún plano espera al otro, y los datos funcionan a velocidad de línea.

Clientes estándar, un único espacio de nombres, múltiples tenants

Novus está diseñado con acceso pNFS/NFS basado en estándares a través de entornos de cliente Linux compatibles para ayudar a los operadores a evitar implementar, aplicar parches y validar clientes propietarios en miles de imágenes de nodos, generaciones de GPU y entornos de tenants. Esto busca eliminar una fuente importante de sobrecarga recurrente y, al mismo tiempo, preservar un único espacio de nombres para una infraestructura de IA compartida y multi-tenant.

Un único espacio de nombres proporciona simplicidad operativa. Cuando los datos de una carga de trabajo se distribuyen entre sistemas independientes, hay que moverlos, volver a montarlos, reequilibrarlos y llevar un control de cada copia. Un único espacio de nombres a escala de zettabytes elimina ese trabajo y mantiene los conjuntos de datos, los puntos de control y los artefactos de modelos accesibles de forma continua a medida que el entorno crece. Novus está diseñado para permitir a los operadores añadir capacidad y rendimiento sin forzar cambios en las aplicaciones, remontajes disruptivos ni interrupciones para los tenants. En lugar de hacer visible la topología de almacenamiento a cada carga de trabajo, Novus presenta un entorno de datos único y coherente creado para la escala de una fábrica de IA.

A la escala de AI Factory, la infraestructura compartida solo funciona si la confianza crece al mismo ritmo que el rendimiento. Novus está diseñado para incorporar los fundamentos probados de seguridad, resiliencia, calidad de servicio y multi-tenancy de ONTAP en una única arquitectura creada para una concurrencia extrema. Los proveedores pueden mantener a los tenants aislados, las cargas de trabajo predecibles y las GPU productivas, incluso cuando miles de trabajos compiten por el mismo plano de datos.

La escala es un objetivo en constante cambio

El año pasado, 10 000 GPU en un clúster era una cifra elevada. Este año son 50 000. Nadie cree que las fábricas de IA actuales sean el estado final. La arquitectura que elijas debe ser la adecuada no solo para el clúster que gestionas hoy, sino también para el que gestionarás dentro de tres años.

Gary Grider, Senior Director for Computing Technologies at Los Alamos National Labs, lo expresó muy bien: «las arquitecturas que nos han llevado al inicio de la era de la IA no podrán satisfacer las exigencias que les imponemos a medida que seguimos acelerando la innovación. A medida que las AI Factories sigan escalando, veremos cientos de miles de GPU accediendo a un único espacio de nombres, lo que generará una enorme acumulación de operaciones de metadatos que ralentizará o incluso bloqueará el sistema de archivos. Novus es una arquitectura pionera en su género que permite el escalado independiente tanto del nivel de metadatos como del nivel de datos, para que las AI Factories puedan crecer sin verse limitadas por su capacidad para acceder a los datos».

Lo que Novus permite a los operadores hacer

Aprovecha al máximo la utilización de la GPU. Elimina el cuello de botella de datos y mantén activos y rentables los costosos entornos de GPU.

Escala el rendimiento de forma independiente. Combina nodos de datos de alto rendimiento con un nivel de metadatos desagregado y escala cada uno de ellos de forma independiente.

Impulsa la rentabilidad. Ejecuta modelos operativos multi-tenant a escala de la nube en una arquitectura diseñada para fábricas de IA a escala de gigavatios, lo que te permitirá aumentar el rendimiento de tus activos más costosos.

Las «AI Factories» han superado rápidamente la arquitectura sobre la que se construyeron, lo que obliga a los operadores a pasar a algo nuevo. Novus está diseñado para que el crecimiento futuro no requiera una nueva arquitectura.

NetApp INSIGHT 2026 se celebra del 29 de septiembre al 1 de octubre en Las Vegas. Síguelo en directo o bajo demanda. Descubre más en el resumen de la solución NetApp Novus.