NetApp StorageGRID para modernizar la gestión de datos

La infraestructura de TI moderna debe ser flexible, escalable y resistente, especialmente cuando gestionas grandes volúmenes de datos. En NetApp IT, hemos asumido este reto de frente evolucionando nuestro uso de StorageGRID para responder a las crecientes necesidades de nuestra organización y de nuestros clientes. Desde admitir cargas de archivos globales hasta transformar nuestra arquitectura de data lake para Active IQ, StorageGRID se ha convertido en una piedra angular de nuestra estrategia de infraestructura de datos.

Cuando introdujimos por primera vez StorageGRID hace más de una década, fue un paso cauteloso. Empezamos haciendo copias de seguridad de datos estáticos de ONTAP usando NetBackup y AltaVault. Una vez que AltaVault se retiró, conservamos el entorno para cumplir los requisitos de retención de SOX. Las capacidades de almacenamiento de objetos de StorageGRID pronto demostraron ser ideales para más que solo copias de seguridad: se volvió un backend fiable para logs de Splunk, repositorios Git y copias de seguridad de Veeam VM.

Hoy, nuestra arquitectura incluye tres entornos StorageGRID distintos:

• Corp StorageGRID (sólo interno, 6PB, 67 nodos)
• DMZ StorageGRID (de cara al cliente, 6PB, 23 nodos)
• StorageGRID bare-metal para Active IQ (6PB, 24 nodos)

Estos entornos se despliegan en varios sitios, teniendo muy en cuenta la postura de seguridad, el equilibrio de carga (a través de Avi o nodos gateway de VM) y la gestión del ciclo de vida del hardware. 

Un reto recurrente para NetApp Support era permitir a los clientes subir de forma segura archivos de núcleo grandes (hasta 2TB) para solucionar problemas de ONTAP. La solución original basada en plugins de navegador era torpe, propensa a errores y fallaba con frecuencia, especialmente para clientes fuera de Estados Unidos.

Diseñamos un nuevo sistema de carga basado en navegador usando StorageGRID y servicios clave de la plataforma:

• Las cargas multiparte permiten pausar/reanudar y transferencias más rápidas.
• Las URL prefirmadas otorgan acceso seguro basado en sesión.
• CloudMirror replica los archivos cargados desde DMZ a nuestra grid interna sin comprometer la seguridad.
• SNS (Simple Notification Service) notifica a nuestro sistema inmediatamente cuando se sube un archivo, lo que activa un flujo de trabajo automatizado para moverlo al dominio de ingeniería.
• Cloud Sync transfiere archivos de AWS S3 a instancias internas de StorageGRID cuando se necesita.

Esta arquitectura mejoró la fiabilidad y nos permitió escalar globalmente, utilizando AWS S3 como plataforma de carga transitoria en regiones sin centros de datos. Una vez que los datos aterrizan en AWS, se replican a EE. UU. a través de la red troncal de AWS y se trasladan rápidamente a StorageGRID. 

¿El resultado? Cargas seguras y sin problemas para clientes de todo el mundo, sin plugins, excepciones de firewall ni cambios de infraestructura.

Nuestro segundo caso de uso principal fue migrar el lago de datos de Active IQ de una arquitectura masiva basada en Hadoop a una plataforma Dreamio nativa de Kubernetes respaldada por StorageGRID.

• Los números cuentan la historia:
• Los recursos de computación bajaron un 60%
• Huella de almacenamiento reducida en 2 PB
• Los tiempos de consulta mejoraron 10–20 veces, y la consulta más larga pasó de 45 minutos a 2,5 minutos

Desplegamos un entorno StorageGRID bare-metal usando matrices de almacenamiento E-Series recuperadas del sistema Hadoop. Optimizamos para rendimiento, resiliencia y facilidad de mantenimiento usando codificación de borrado (4+2) y Red Hat 9.4.

El camino de NetApp IT con StorageGRID refleja los retos de nuestros clientes: infraestructura heredada, limitaciones de seguridad, requisitos en evolución y presupuestos ajustados. hemos aprendido que:

• Los servicios de plataforma son importantes: herramientas como CloudMirror y SNS desbloquean la automatización y la flexibilidad.
• El diseño híbrido es clave: equilibrar las redes internas con servicios nativos de la nube amplía el alcance sin exceso de costes.
• La reutilización acelera el ROI: reutilizar hardware y hacer una transición inteligente de las cargas de trabajo mantiene la innovación rentable.

No solo estamos creando soluciones para hoy, sino que también estamos sentando las bases para la escalabilidad y agilidad del futuro.