NetApp StorageGRID per modernizzare la gestione dei dati

La moderna infrastruttura IT deve essere flessibile, scalabile e resiliente—soprattutto nella gestione di enormi volumi di dati. In NetApp IT, abbiamo affrontato questa sfida direttamente evolvendo il nostro uso di StorageGRID per soddisfare le crescenti esigenze della nostra organizzazione e dei nostri clienti. Dal supporto dei caricamenti di file globali alla trasformazione della nostra architettura data lake per Active IQ, StorageGRID è diventato un pilastro della nostra strategia di infrastruttura dati.

Quando abbiamo introdotto StorageGRID per la prima volta più di dieci anni fa, è stato un passo cauto. Abbiamo iniziato eseguendo il backup dei dati ONTAP statici utilizzando NetBackup e AltaVault. Una volta che AltaVault è stato ritirato, abbiamo mantenuto l'ambiente per soddisfare i requisiti di conservazione SOX. Le funzionalità di storage a oggetti di StorageGRID si sono presto dimostrate ideali per più dei semplici backup: è diventato un backend affidabile per i log Splunk, i repository Git e i backup delle VM Veeam.

Oggi, la nostra architettura include tre ambienti StorageGRID distinti:

• Corp StorageGRID (solo interno, 6PB, 67 nodi)
• DMZ StorageGRID (rivolto ai clienti, 6PB, 23 nodi)
• StorageGRID bare-metal per Active IQ (6PB, 24 nodi)

Questi ambienti sono implementati in più siti, con un'attenta considerazione della postura di sicurezza, del bilanciamento del carico (tramite Avi o nodi gateway VM) e della gestione del ciclo di vita dell'hardware. 

Una sfida ricorrente per il supporto NetApp era consentire ai clienti di caricare in modo sicuro file core di grandi dimensioni (fino a 2TB) per la risoluzione dei problemi ONTAP. La soluzione originale basata su plugin del browser era goffa, soggetta a errori e spesso falliva, in particolare per i clienti al di fuori degli Stati Uniti.

Abbiamo progettato un nuovo sistema di caricamento basato su browser utilizzando StorageGRID e i principali servizi della piattaforma:

• I caricamenti in più parti consentono funzionalità di pausa/ripresa e trasferimenti più veloci.
• Gli URL prefirmati garantiscono un accesso sicuro basato sulla sessione.
• CloudMirror replica i file caricati dalla DMZ nella nostra grid interna senza compromettere la sicurezza.
• SNS (Simple Notification Service) avvisa immediatamente il nostro sistema quando un file viene caricato, attivando un flusso di lavoro automatizzato per spostarlo nel dominio di ingegneria.
• Cloud Sync trasferisce file da AWS S3 in istanze StorageGRID interne quando necessario.

Questa architettura ha migliorato l'affidabilità e ci ha permesso di scalare a livello globale, utilizzando AWS S3 come piattaforma di caricamento transitorio nelle regioni senza data center. Una volta che i dati arrivano in AWS, vengono replicati negli U.S. tramite il backbone AWS e rapidamente spostati in StorageGRID. 

Il risultato? Caricamenti perfetti e sicuri per i clienti di tutto il mondo, senza plugin, eccezioni firewall o modifiche all'infrastruttura.

Il nostro secondo caso d'uso principale ha riguardato la migrazione del data lake di Active IQ da un'architettura Hadoop di grandi dimensioni a una piattaforma Dreamio nativa per Kubernetes supportata da StorageGRID.

• I numeri raccontano la storia:
• Risorse di calcolo diminuite del 60%
• Storage footprint ridotto di 2PB
• I tempi di query sono migliorati di 10–20x, con la query più grande che è passata da 45 minuti a 2,5 minuti

Abbiamo implementato un ambiente bare-metal StorageGRID utilizzando storage E-Series recuperati dal sistema Hadoop. Abbiamo ottimizzato per performance, resilienza e manutenibilità utilizzando erasure coding (4+2) e Red Hat 9.4.

Il percorso di NetApp IT con StorageGRID rispecchia le sfide dei nostri clienti: infrastruttura legacy, vincoli di sicurezza, requisiti in evoluzione e budget limitati. Abbiamo imparato che:

• I servizi di piattaforma sono importanti: strumenti come CloudMirror e SNS sbloccano automazione e flessibilità.
• La progettazione ibrida è fondamentale: bilanciare le reti interne con i servizi cloud-native estende la portata senza costi eccessivi.
• Il riutilizzo accelera il ROI – il riutilizzo dell'hardware e la transizione intelligente dei carichi di lavoro mantengono l'innovazione conveniente.

Non stiamo solo costruendo soluzioni per oggi, ma stiamo gettando le basi per la scalabilità e l'agilità future.