NetApp StorageGRID zur Modernisierung des Datenmanagements

Moderne IT-Infrastruktur muss flexibel, skalierbar und resilient sein—insbesondere beim Management massiver Datenmengen. Bei NetApp IT haben wir diese Herausforderung direkt angenommen, indem wir unsere Nutzung von StorageGRID weiterentwickelt haben, um den steigenden Anforderungen unserer Organisation und unserer Kunden gerecht zu werden. Von der Unterstützung globaler Datei-Uploads bis zur Transformation unserer Data-Lake-Architektur für Active IQ ist StorageGRID zu einem Eckpfeiler unserer Dateninfrastruktur-Strategie geworden.

Als wir vor mehr als einem Jahrzehnt StorageGRID zum ersten Mal einführten, war das ein vorsichtiger Schritt. Wir begannen damit, statische ONTAP Daten mit NetBackup und AltaVault zu sichern. Nachdem AltaVault eingestellt wurde, behielten wir die Umgebung bei, um die SOX-Aufbewahrungsanforderungen zu erfüllen. Die Objektspeicherfunktionen von StorageGRID erwiesen sich schnell als ideal für mehr als nur Backups – sie wurden zu einem zuverlässigen Backend für Splunk Logs, Git Repositories und Veeam VM Backups.

Heute umfasst unsere Architektur drei unterschiedliche StorageGRID Umgebungen:

• Corp StorageGRID (nur intern, 6 PB, 67 Nodes)
• DMZ StorageGRID (Kundenseitig, 6 PB, 23 Knoten)
• Bare-metal StorageGRID für Active IQ (6 PB, 24 Nodes)

Diese Umgebungen werden an mehreren Standorten bereitgestellt, wobei die Sicherheitslage, der Lastausgleich (über Avi- oder VM-Gateway-Nodes) und das Hardware-Lifecycle-Management sorgfältig berücksichtigt werden. 

Eine wiederkehrende Herausforderung für den NetApp Support war es, Kunden das sichere Hochladen großer Core-Dateien (bis zu 2 TB) zur Fehlerbehebung bei ONTAP Problemen zu ermöglichen. Die ursprüngliche Browser-Plugin-basierte Lösung war umständlich, fehleranfällig und schlug häufig fehl, insbesondere für Kunden außerhalb der Vereinigten Staaten.

Wir haben ein neues browserbasiertes Upload-System entwickelt, das StorageGRID und wichtige Plattformdienste verwendet:

• Mehrteilige Uploads ermöglichen Pause/Resume-Funktionen und schnellere Übertragungen.
• Vorsignierte URLs gewähren sicheren, sitzungsbasierten Zugriff.
• CloudMirror repliziert hochgeladene Dateien aus der DMZ in unser internes Grid, ohne die Sicherheit zu beeinträchtigen.
• SNS (Simple Notification Service) benachrichtigt unser System sofort, wenn eine Datei hochgeladen wird, was einen automatisierten Workflow auslöst, um sie in die Engineering-Domäne zu verschieben.
• Cloud Sync überträgt Dateien von AWS S3 in interne StorageGRID Instanzen, wenn dies erforderlich ist.

Diese Architektur verbesserte die Zuverlässigkeit und ermöglichte uns, global zu skalieren, indem wir AWS S3 als vorübergehende Upload-Plattform in Regionen ohne Rechenzentren nutzten. Sobald die Daten in AWS landen, werden sie über das AWS Backbone in die U.S. repliziert und schnell in StorageGRID verschoben. 

Das Ergebnis? Nahtlose, sichere Uploads für Kunden weltweit, ohne Plugins, Firewall-Ausnahmen oder Änderungen an der Infrastruktur.

Unser zweiter primärer Anwendungsfall umfasste die Migration des Data Lake von Active IQ von einer massiven Hadoop-basierten Architektur auf eine Kubernetes-native Dreamio-Plattform, die von StorageGRID unterstützt wird.

• Die Zahlen sprechen für sich:
• Compute-Ressourcen um 60 % reduziert
• Storage-Footprint um 2 PB reduziert
• Die Abfragezeiten verbesserten sich um das 10- bis 20-Fache, wobei die größte Abfrage von 45 Minuten auf 2,5 Minuten sank.

Wir haben eine Bare-Metal-StorageGRID Umgebung mit E-Series Storage-Arrays bereitgestellt, die aus dem Hadoop-System zurückgewonnen wurden. Wir haben die Performance, Ausfallsicherheit und Wartbarkeit mithilfe von Erasure Coding (4+2) und Red Hat 9.4 optimiert.

NetApp ITs Weg mit StorageGRID spiegelt die Herausforderungen unserer Kunden wider: Legacy-Infrastruktur, Sicherheitsbeschränkungen, sich entwickelnde Anforderungen und knappe Budgets. Wir haben gelernt, dass:

• Plattformservices sind wichtig – Tools wie CloudMirror und SNS ermöglichen Automatisierung und Flexibilität.
• Hybrides Design ist entscheidend – das Ausbalancieren interner Grids mit Cloud-nativen Services erweitert die Reichweite ohne zusätzliche Kosten.
• Wiederverwendung beschleunigt den ROI – die Wiederverwendung von Hardware und die intelligente Transition von Workloads hält Innovation kostengünstig.

Wir entwickeln nicht nur Lösungen für heute, sondern legen den Grundstein für zukünftige Skalierbarkeit und Agilität.