NetApp StorageGRID pour moderniser la gestion des données

L’infrastructure IT moderne se doit d’être flexible, évolutive et résiliente—en particulier lorsqu’il s’agit de gérer d’énormes volumes de données. Chez NetApp IT, nous avons relevé ce défi de front en faisant évoluer notre utilisation de StorageGRID pour répondre aux besoins croissants de notre organisation et de nos clients. Qu’il s’agisse de prendre en charge les chargements de fichiers à l’échelle mondiale ou de transformer notre architecture de data lake pour Active IQ, StorageGRID est devenu la pierre angulaire de notre stratégie d’infrastructure de données.

Lorsque nous avons lancé StorageGRID il y a plus de dix ans, c’était une démarche prudente. Nous avons commencé par sauvegarder les données ONTAP statiques à l’aide de NetBackup et AltaVault. Une fois AltaVault retiré, nous avons conservé l’environnement pour répondre aux exigences de conservation SOX. Les capacités de stockage objet de StorageGRID se sont rapidement révélées idéales pour plus que de simples sauvegardes—c’est devenu un back-end fiable pour les logs Splunk, les référentiels Git et les sauvegardes de VM Veeam.

Aujourd’hui, notre architecture comprend trois environnements StorageGRID distincts :

• Corp StorageGRID (interne uniquement, 6 Po, 67 nœuds)
• DMZ StorageGRID (destiné aux clients, 6 Po, 23 nœuds)
• StorageGRID bare-metal pour Active IQ (6 Po, 24 nœuds)

Ces environnements sont déployés sur plusieurs sites, avec une attention particulière accordée à la posture de sécurité, à l’équilibrage de la charge (via Avi ou les nœuds de passerelle VM) et à la gestion du cycle de vie du matériel. 

Un défi récurrent pour le support NetApp était de permettre aux clients de charger en toute sécurité de gros fichiers core (jusqu'à 2 To) pour le dépannage des problèmes ONTAP. La solution d'origine basée sur un plugin de navigateur était peu pratique, sujette aux erreurs et échouait fréquemment, en particulier pour les clients en dehors des États-Unis.

Nous avons conçu un nouveau système de chargement basé sur un navigateur à l’aide de StorageGRID et des principaux services de plateforme :

• Les chargements multi-parties permettent des fonctionnalités de pause/reprise et des transferts plus rapides.
• Les URL pré-signées accordent un accès sécurisé basé sur la session.
• CloudMirror réplique les fichiers chargés depuis la DMZ vers notre grid interne sans compromettre la sécurité.
• SNS (Simple Notification Service) avertit notre système immédiatement lorsqu’un fichier est chargé, déclenchant un workflow automatisé pour le déplacer dans le domaine de l’ingénierie.
• Cloud Sync transfère les fichiers de AWS S3 vers des instances internes StorageGRID lorsque cela est nécessaire.

Cette architecture a amélioré la fiabilité et nous a permis de nous développer à l’échelle mondiale, en utilisant AWS S3 comme plateforme de chargement transitoire dans les régions sans data center. Une fois les données arrivées sur AWS, elles sont répliquées aux États-Unis via le backbone AWS et rapidement transférées dans StorageGRID. 

Le résultat ? Des chargements fluides et sécurisés pour les clients du monde entier, sans plugins, exceptions de pare-feu ou modifications d’infrastructure.

Notre deuxième cas d'usage principal impliquait la migration du data lake d’Active IQ d’une architecture Hadoop massive vers une plateforme Dreamio native Kubernetes soutenue par StorageGRID.

• Les chiffres parlent d’eux-mêmes :
• Les ressources de calcul ont chuté de 60 %
• L'empreinte du stockage a été réduite de 2 Po
• Le traitement des requête a diminué de 10 à 20 fois, passant de 45 minutes à 2,5 minutes pour la plus grande requête

Nous avons déployé un environnement StorageGRID bare-metal en utilisant des baies de stockage E-Series récupérées du système Hadoop. Nous avons optimisé la performance, la résilience et la gestion en utilisant le code d'effacement (4+2) et Red Hat 9.4.

Le parcours de NetApp IT avec StorageGRID reflète les défis de nos clients : infrastructure héritée, contraintes de sécurité, exigences en évolution et budgets serrés. Nous avons appris que :

• Les services de plateforme sont importants : des outils comme CloudMirror et SNS débloquent l'automatisation et la flexibilité.
• La conception hybride est essentielle : l’équilibre entre les grilles internes et les services cloud natifs permet d’étendre la portée sans coût excessif.
• La réutilisation accélère le ROI : la réutilisation du matériel et la transition intelligente des workloads maintiennent l'innovation rentable.

Nous ne nous contentons pas de créer des solutions pour aujourd'hui, nous posons les bases de l'évolutivité et de l'agilité futures.