NetApp Tech OnTap NetApp Logo
NetApp Tech OnTap
     
StorageGRID Webscale: unterbrechungsfreier Objekt-Storage für Unternehmen und die Cloud
Ingo Fuchs
Senior Manager, Cloud Solutions

Wenn es um Storage geht, gibt es neben der Performance zahlreiche Dinge, auf die Sie achten sollten. Dazu gehören:

  • Menge. Wie managen Sie Ihre Daten effizient, wenn die Anzahl der im Storage abgelegten Dateien von Millionen auf Milliarden ansteigt?
  • Standort. Wie können Sie sicherstellen, dass sich Ihre Daten dort befinden, wo sie benötigt werden? Und wie können Sie sicherstellen, dass sich Ihre sensiblen Daten nicht dort befinden, wo sie nicht sein dürfen?
  • Aufbewahrungszeitraum. Wie können Sie sicherstellen, dass sich Daten, die über mehrere Jahre gespeichert bleiben, nach wie vor zugänglich sind, auch wenn sie nur selten benötigt werden?
  • Compliance. Wie können Sie sicherstellen, dass sowohl Corporate Governance als auch gesetzliche Anforderungen erfüllt werden?
  • Aufbewahrung. Wie bewahren Sie Daten auf, die über einen Zeitraum gespeichert werden sollen, der möglicherweise mehrere Generationen an Storage-Hardware umfassen wird?
  • Kosten. Und zu guter Letzt: Wie können Sie sicherstellen, dass die Daten über die gesamte Lebensdauer hinweg möglichst kostengünstig gespeichert werden?

Bisher war es schwierig, eine effektive Lösung für eine oder gar mehrere dieser Fragen zu bieten. NetApp hat dies jedoch mit StorageGRID Webscale erreicht.

StorageGRID Webscale ist eine äußerst skalierbare, softwaredefinierte Objekt-Storage-Lösung für große Archive, Medien-Repositorys und Web-Datastores.

In diesem Artikel stelle ich einige Konzepte vor, die sich hinter Objekt-Storage verbergen. Ich erörtere auch die Funktionen von StorageGRID Webscale sowie einige Nutzungsfälle.

Weshalb Objekt-Storage und warum jetzt?

Objekt-Storage unterscheidet sich etwas vom klassischen Block- und File Storage. Die Daten werden in Daten-Containern flexibler Größe abgelegt, die als Objekte bezeichnet werden. Die Objekte werden in einem kleinen Namespace gespeichert, der über mehrere Standorte verteilt sein kann. Jedes Objekt besteht aus Daten (eine nicht weiter aufbereitete Byte-Sequenz) und Metadaten (ein eindeutige ID und einem erweiterbaren Set von Attributen, die die einzelnen Objekte beschreiben). Man kann sich den Objekt-Storage wie einen Parkservice vorstellen: Sie geben Ihr Ticket ab und erhalten Ihr Fahrzeug zurück, ohne zu wissen, wo es geparkt wurde.

Abbildung 1) Objekt-Storage bietet flexible Container und erweiterbare Metadaten, die es möglich machen, Milliarden von Dateien zu managen.

Der Vorteil dieser Vorgehensweise ist, dass anhand beliebiger Attribute Verweise und Abfragen dieser Daten erfolgen können. Im Gegensatz zu Papiertickets beim Valet-Parking, die gelegentlich verlegt werden können, kann das geeignete „Ticket“ auf verschiedenen Wegen gefunden werden. Außerdem können Sie die Verwendung eines Tickets so kompliziert (sicher) oder einfach machen, wie Sie es wünschen. Die Dateien werden mithilfe von ID-Tags mit der Größenordnung mehrerer Filesysteme indiziert. Dadurch eignet sich der Objekt-Storage gerade für Unternehmen, die über große geografische Flächen verteilt sind und mit Milliarden von Dateien arbeiten.

Die drei folgenden Trends tragen zum zunehmenden Interesse an Objekt-Storage bei:

  • Das anhaltende Wachstum unstrukturierter Daten erfordert neue Ansätze für die Datenspeicherung und -sicherung. Durch objektorientiertes Datenmanagement wird die intelligente Datenplatzierung erleichtert. Dadurch können viele Anforderungen hinsichtlich Performance, Aufbewahrungszeitraum, Verfügbarkeit, Standort und Lebensdauer erfüllt werden.
  • Unternehmen kämpfen mehr und mehr mit der dezentralen Datenerzeugung und dem dezentralen Datenverbrauch. Das Modell „primäres Datacenter plus DR-Datacenter“ wird durch einen standortübergreifenden Ansatz ersetzt, bei dem Benutzer, Workloads und Daten näher zusammengeführt werden.
  • Die Hybrid Cloud stellt neue Optionen in Aussicht, um Kosten und Performance ins Gleichgewicht zu bringen. IT-Teams versuchen herauszufinden, wie sie Storage vor Ort und Cloud-basierten Storage in Einklang bringen können.

Vorstellung von StorageGRID Webscale

StorageGRID Webscale ist eine Storage-Plattform auf Enterprise-Ebene, die enorme Vorteile gegenüber anderen Objekt-Storage-Ansätzen bietet. Ihre einzigartige softwaredefinierte Architektur unterstützt Milliarden Objekte mit Petabyte-Kapazitäten im zweistelligen Bereich, die über mehrere Standorte verteilt in einem einzelnen Namespace angesiedelt sein können.

StorageGRID Webscale wurde dazu entwickelt, Hybrid Cloud-Umgebungen zu unterstützen. Das System liefert außerdem bewährten, nativen Support für Cloud-Applikationen mit S3 und CDMI APIs. Sie können für jedes gespeicherte Objekt über eine dynamische Policy Engine die Verfügbarkeit, Performance und Kosten optimieren. So profitieren Sie von einer verfeinerten Granularität.

StorageGRID Webscale baut auf die über zehnjährige Erfahrung und Funktionen bei der Herstellung von Objekt-Storage-Implementierungen unseres ursprünglichen StorageGRID Produkts auf. Darauf basierend kann Ihnen NetApp Folgendes bieten:

  • das fortschrittlichste Richtlinien-Framework der Branche für das Management des Daten-Lebenszyklus
  • regionsspezifische Datenablage an geografisch verteilten Standorten
  • bisher unerreichte Datenaufbewahrungszeiten
  • Tape-System als aktives Storage-Tier (mit der Möglichkeit, einzelne Objekte vom Band abzurufen)

Tabelle 1) Funktionen von StorageGRID Webscale

StorageGRID Webscale: Kernfunktionen
100 Milliarden Objekte pro Namespace Integrierte Datensicherung
70 Petabyte pro Namespace Objekte mit einer Größe von bis zu 5 TB
Bis zu 16 Datacenter-Standorte Vollständige Prüfung und Berichterstattung (Splunk-kompatibel)
Unterbrechungsfreie Upgrades E-Series für Dichte, Performance, Verfügbarkeit
Richtlinienbasierte Auswahl des Standorts und des Storage Tiers Horizontale Skalierung
Überprüfung auf Integrität und Selbstreparatur Langfristige Datenaufbewahrung
Native S3 und CDMI RESTful APIs 

Dynamische Richtlinien-Engine

Die von StorageGRID Webscale erreichte Granularitäts- und Flexibilitätsebene sucht in der Branche nach wie vor ihresgleichen. Andere Lösungen managen die Daten lediglich mit Containern, wodurch die Optionen eingeschränkt bleiben. StorageGRID Webscale enthält eine dynamische Policy Engine, über die Sie Richtlinien anhand verschiedener Kriterien festlegen können, darunter:

  • Ressourcenverfügbarkeit und -latenz
  • Anforderungen an die Datenhaltung
  • Anforderungen an den geografischen Standort
  • Netzwerkkosten (ein Faktor in den Ausgaben für den Netzwerk-Link)

Die Plattform kann Objekte anhand von Kriterien wie individuelle Benutzer- und Applikations-Metadaten, Aufnahmemethoden, Größe oder der Zeitpunkt des letzten Zugriffs beurteilen sowie ihnen Richtlinien zuordnen, die Folgendes definieren:

  • an welchem geografischen Standort das Objekt gespeichert ist
  • welche Art Storage zur Speicherung des Objekts verwendet wird (SSD, HDD oder Band)
  • die Anzahl Kopien, die von einem Objekt gemacht worden sind
  • Aufbewahrungsrichtlinie, einschließlich der Änderungen, die im Laufe der Zeit durchgeführt worden sind: Standort, Storage-Klasse, Anzahl Kopien und Löschung (falls zutreffend)

Die Metadaten eines Objekts enthalten den Aufbewahrungsort und die Anzahl der Kopien. Außerdem können die Metadaten benutzerdefinierte Felder enthalten und Sie können bei Bedarf neue Felder hinzufügen. Die Metadaten sind über die gesamte StorageGRID Webscale Umgebung verteilt, um die Skalierbarkeit und Ausfallsicherheit zu erhöhen und diese schneller abzurufen.

Abbildung 2) Vorteile der StorageGRID Webscale Policy Engine und der erweiterbaren Metadaten

Prüfung auf Einhaltung der Richtlinien: Die Policy Engine von StorageGRID Webscale ist einzigartig, weil sie nicht nur Richtlinien auf neu eingespeiste Objekte anwendet, sondern die Compliance regelmäßig prüft und bei Bedarf Korrekturmaßnahmen durchführt. So kann es z. B. eine Richtlinie geben, die erfordert, dass für ein bestimmtes Objekt jederzeit drei Kopien vorhanden sein müssen. Ist eine der Kopien, auf die diese Richtlinie angewendet wird, fehlerhaft, so wird automatisch eine neue Kopie erstellt, um die Compliance des Objekts wiederherzustellen.

Rückwirkende Anwendung von Richtlinien: Richtlinienänderungen können auch rückwirkend angewendet werden. Nehmen wir an, dass Sie eine Richtlinie definieren, die vorgibt, dass je eine Kopie in den USA, in Deutschland und in Japan abgelegt wird. Eines Tages darf dieser Datentyp aufgrund gesetzlicher Änderungen nicht mehr in Japan gespeichert werden. Sobald Sie die Richtlinie ändern, werden die Daten automatisch von StorageGRID Webscale verschoben und die Compliance wiederhergestellt. Was Sie hier mit nur wenigen Mausklicks erledigen können, wäre sonst ein enormer Datenmanagementaufwand.

Verfügbarkeit und Datenaufbewahrungszeiten

StorageGRID Webscale besitzt eine fehlertolerante Architektur und unterstützt unterbrechungsfreien Betrieb, Upgrades und Infrastrukturaktualisierungen. Es wurde dazu entwickelt, bei Verlust einzelner Nodes zu reagieren und Standorten einen kontinuierlichen Datenzugriff bereitzustellen. Die Workloads werden im normalen Betrieb per Lastausgleich automatisch verteilt. Bei Fehlern wird unter allen Umständen versucht, eine maximale Performance zu liefern. NetApp AutoSupport benachrichtigt bei Problemen automatisch Ihre Administratoren und auch NetApp.

Doppelte Provisionierung und mehrere Kopien: Bei der Einspeisung werden die Objekte unmittelbar durch doppelte Provisionierung (zwei Kopien) gesichert und alle Objekte werden an mehreren Standorten repliziert. Alle Objektkopien sind aktiv und können bei Zugriffsanfragen verwendet werden.

Datenintegrität: Ihre Daten werden durch mehrere untereinander verknüpfte Ebenen zur Integritätssicherung – darunter Authentifizierung, Hash-Funktionen und Prüfsummen – gesichert. Für jedes eingespeiste Objekt wird ein digitaler Fingerabdruck erstellt, der bei Abfrage, Replizierung, Migration und sogar bei Nichtverwendung verifiziert wird. Verdächtige Objekte werden automatisch ersetzt. Wenn Sie ein Objekt abrufen und einer der Tests fehlschlägt, wird es automatisch von einem anderen Standort bezogen und eine neue Kopie erstellt – ein für den Benutzer und den Administrator völlig transparenter Vorgang.

Regelmäßige Zustandsprüfung: StorageGRID Webscale prüft den Zustand von Daten, auf die regelmäßig (über eine Richtlinie festgelegt) zugegriffen wird, um ihre Integrität sicherzustellen. Auf diesem Weg können Sie Daten über sehr lange Zeiträume speichern und sich darauf verlassen, dass Sie bei Bedarf stets lesbar sind.

Unterstützung für S3 RESTful Objekt-API

Das von Amazon Web Services verwendete S3 RESTful Objekt-API ist mittlerweile zum Standard des Objekt-Storage geworden. StorageGRID Webscale ist kompatibel zu S3 APIs und unterstützt daher unmittelbar Applikationen, die für S3 entwickelt worden sind. Sie können Applikationen, die für Public Cloud-Provider entwickelt worden sind, vor Ort verschieben und in Ihrer Public oder Private Cloud ausführen.

StorageGRID Webscale unterstützt S3-Inhalte wie AccountID-, Bucket- und Key Prefix- sowie S3-Metadaten und bietet außerdem Funktionen wie Audit-Protokollierung, Überwachung und Reporting.

StorageGRID Webscale Architektur und Implementierung

Die einfache und logische Architektur von StorageGRID Webscale unterstützt eine sowohl vertikal als auch horizontal skalierbare physische Architektur. Die logische Architektur ist in Abbildung 3 dargestellt. Objekte werden mit RESTful APIs gespeichert und abgerufen. Wie bereits weiter oben erläutert, basiert die Leistungsfähigkeit dieser Architektur auf der richtlinienbasierten Datenplatzierung und einem Object Store mit Speicherort-Transparenz.

Abbildung 3) StorageGRID Webscale besitzt eine einfache logische Architektur, die ein Datenmanagement auf Objektebene mit verschiedener Storage-Hardware zusammenführt.

Die physische Architektur nutzt vier Node-Typen:

  • Admin Nodes stellen Managementservices wie die Konfiguration, Monitoring, Auditing und Protokollierung bereit.
  • Storage Nodes managen den Objekt-Storage einschließlich der Replizierung.
  • API Gateway Nodes (optional) bieten eine Schnittstelle für Lastausgleich, die eine Verbindung zwischen den Applikationen und StorageGRID Webscale über Standard-APIs bereitstellt.
  • Archive Nodes (optional) stellen eine Schnittstelle für Archivierungsdatenträger wie z. B. Bandlaufwerke bereit.

Eine große Skalierbarkeit können Sie durch horizontale Skalierung mit mehreren Nodes der einzelnen Typen (pro Datacenter) erreichen. Die StorageGRID Webscale Nodes werden als VMware Virtual Machines vor dem Block-Storage ausgeführt, der aus Storage-Array der E-Series von NetApp oder eines anderen Anbieters bestehen kann. Jede Virtual Machine arbeitet mit 8 vCPUs und 24 GB RAM. Um die VM-Performance zu erhöhen, können Sie SSDs und 10 GBitE einsetzen.

Abbildung 4) Die physische Architektur basiert auf vier Node-Typen. Nodes, die für eine einzelne Implementierung eingesetzt werden, können auf bis zu 16 Datacenter verteilt werden.

StorageGRID Webscale auf Arrays der E-Series

StorageGRID Webscale ist ein softwaredefiniertes Produkt, das auf einer virtuellen VMware Infrastruktur zusammen mit Block-Storage ausgeführt wird. Wir glauben, dass Sie die besten Ergebnisse erzielen, wenn Sie StorageGRID Webscale mit bewährtem Storage der Enterprise-Klasse wie z. B. der NetApp E-Series ausführen. Wenn Sie Ihre Infrastruktur bei einem lokalen Discounter erwerben, hängen Sie von seinen Supportleistungen ab, wenn etwas mitten in der Nacht ausfällt. Der Storage der E-Series ist nicht nur hochstabil (mit über 750.000 implementierten Systemen), sondern wird auch von Support-Services der Enterprise-Klasse unterstützt.

Die E-Series liefert durch Funktionen wie DDP (Dynamic Disk Pools) für Codierungsverfahren zur Fehlerkorrektur auf Node-Ebene die von StorageGRID Webscale Nutzungsfällen benötigte Performance und Ausfallsicherheit. DDP verteilt Daten, Paritätsinformationen und freie Kapazitäten gleichmäßig auf den gesamten Laufwerk-Pool. Dadurch vereinfacht sich die Einrichtung, Hotspots werden vermieden und die Kapazitätsauslastung wird erhöht. Freier Speicherplatz wird gleichmäßig auf alle Festplatten verteilt, damit dedizierte Hot Spares nicht im Ruhezustand sind. Sie profitieren zu jedem Zeitpunkt von der vollen Performance aller im System installierten Festplatten. Die DDP-Technologie minimiert Performance-Einbußen, die ein Laufwerksausfall mit sich bringt, und stellt den Idealzustand der Systeme bis zu achtmal schneller wieder her als herkömmliches RAID.

Nutzung

NetApp glaubt, dass StorageGRID Webscale besonders gut für Repositorys von Web-Daten, Datenarchive und Medien-Repositorys ist. Zu jedem einzelnen Nutzungsfall gehört ein eigenes Set von Anforderungen, aber StorageGRID Webscale meistert die verschiedensten Bedürfnisse.

Web-Daten-Repositorys

Web-Daten-Repositorys zeichnen sich durch eine geringe Objektgröße, eine hohe Objektanzahl und viele Transaktionen aus. Weil StorageGRID Webscale bis zu 100 Milliarden Objekte in einem einzigen über zahlreiche Standorte verteilten Repository speichern kann und sowohl S3 als auch CDMI APIs unterstützt, ist es besonders gut für diesen Nutzungsfall geeignet.

Datenarchive

Unternehmen speichern immer öfter riesige Datenmengen über lange Zeiträume hinweg, damit sowohl Corporate Governance als auch gesetzliche Anforderungen erfüllt werden. Bei Datenarchiven dieser Art sind Kosten und Management die Faktoren, die das meiste Kopfzerbrechen bereiten. Längere Zugriffslatenzen werden bei günstigeren Kosten gerne in Kauf genommen. StorageGRID Webscale genügt diesem Nutzungsfall durch den Einsatz von Bandlaufwerken, bewährten Datenaufbewahrungszeiten und einem flexiblen, auf Richtlinien basiertem Management.

Medien-Repositorys

Medien-Repositorys zeichnen sich durch enorme Objektgrößen (über 250 MB), geografische Verteilung, Datenintegrität und eine kurze Latenz zur Übertragung des ersten Bytes aus. StorageGRID Webscale erfüllt diese Anforderungen aufgrund seines geografisch verteilten und robusten Designs. Weiterhin unterstützt es „Ranged Reads“ – wenn beispielsweise ein Video von einer beliebigen Position aus gestreamt werden kann, ohne das vollständige Objekt herunterladen zu müssen.

Zusammenfassung

StorageGRID Webscale baut auf unserer früheren StorageGRID Lösung auf. Deshalb ist es ausgereift und kann Ihren Storage-Anforderungen gerecht werden. Es bietet Funktionen, die Sie in vergleichbaren Lösungen nicht finden. Darunter über mehrere geografische Standorte verteilte und geografisch selektive Objektplatzierung, bewährte Datenaufbewahrungszeiten mit regelmäßigen Zustandsprüfungen und rückwirkende Richtlinien-Compliance.

Alle Funktionen von StorageGRID Webscale können das Management von Web-Daten, Datenarchiven und Medien-Repositorys stark vereinfachen. Der Objekt-Storage kann so geplant werden, dass jahrzehntelange Speicherung und Funktionalität kein Problem sind. Und Sie erhalten alles Nötige von einem zuverlässigen Unternehmen, das einen bewährten Support der Enterprise-Klasse bietet.

Die Cloud spielt in unserer Welt eine immer wichtigere Rolle. NetApp setzt auf Objekt-Storage und hat sich so als führend positioniert. Und wir werden für weitere Innovationen in der Zukunft sorgen. Bleiben Sie mit Tech OnTap über zukünftige Entwicklungen stets auf dem Laufenden.

Von Ingo Fuchs, Senior Manager, Cloud Solutions

Ingo Fuchs ist Senior Manager bei NetApp und verantwortlich für Objekt-Storage, Cloud Collaboration und Mobility. Er befasst sich u. A. mit der Frage, wie man den Kunden helfen kann, Content Repositorys bis in den Exabyte-Bereich zu skalieren, gleichzeitig aber mobilen Geräten einen sicheren Zugriff auf Unternehmensdaten zur Verfügung zu stellen. Ingo Fuchs verfügt über mehr als 20 Jahre Erfahrung in der Storage-Branche. Zu seinen früheren Arbeitgebern gehören Unternehmen wie IBM und EDS (jetzt HP). Er hat Projekte aus den Bereichen Serverinfrastruktur, Hochverfügbarkeit, Storage Area Networks (SAN) und Network-Attached Storage (NAS) sowie Backup und Archivierung geleitet. Weiterhin schreibt er Beiträge zu Themen rund um die Storage-Technologie.

Tech OnTap
Melden Sie sich jetzt an.
Tech OnTap liefert jeden Monat Einblicke in die IT-Welt sowie exklusive Best Practices, Tipps und Tools, Interviews mit Entwicklern, Demos, Testberichte und vieles mehr.

Besuchen Sie Tech OnTap in der NetApp Community, um sich noch heute anzumelden.

November 2014

Entdecken
Entdecken
Entdecken
 
TRUSTe
Kontakt   |   Bezugsquelle   |   Feedback   |   Karriere  |   Abonnements   |   Datenschutzrichtlinie   |   © 2014 NetApp