NetApp Tech OnTap

Überlegungen zu Storage-Systemen mit hoher Kapazität

Das rapide Wachstum der Festplattengröße macht es möglich, individuelle Storage-Systeme mit enormen Mengen an Storage zu konfigurieren. So kann man beispielsweise einem NetApp FAS6080 System 1.176 1-TB-SATA-Festplatten hinzufügen und erhält damit über ein Petabyte (1000 Terabyte) an Storage-Rohkapazität in nur einem einzigen System.

Viele IT-Abteilungen sind von den Vorteilen von Systemen mit hoher Kapazität überzeugt. Große Festplatten bieten den niedrigsten Preis pro GB an Storage. Mehr Kapazität von weniger Festplatten bedeutet weniger Festplatten- und Storage-Systeme, die verwaltet werden müssen, außerdem weniger Energieverbrauch und geringere Anforderungen an die Kühlung, was wichtige Aspekte für die meisten Datacenters sind.

Aber gibt es auch Nachteile? Nicht wirklich, aber es gibt wichtige Aspekte, die man berücksichtigen sollte, wenn man große Festplatten verwendet. Die Festplattenkapazität hat wesentlich schneller zugenommen als die Qualität oder Performance. Da die neuen, größeren Festplatten mit derselben Wahrscheinlichkeit ausfallen wie kleinere und die Performance dieselbe bleibt, kommt die Wiederherstellung einer ausgefallenen 1-TB-Festplatte dem Füllen eines Swimmingpools mit einem Gartenschlauch gleich. Man muss sich darauf gefasst machen, eine ganze Weile warten zu müssen, bis eine so umfangreiche Wiederherstellung abgeschlossen ist.

Längere Wiederherstellungen bei großen SATA-Festplatten bedeuten nicht, dass man auf Systeme mit hoher Kapazität verzichten sollte. Aber man sollte sich ihrer besonderen Anforderungen und Beschränkungen bewusst sein. Dieser Artikel erläutert die Aspekte, Dieser Artikel erläutert die Aspekte, die man bei der Anschaffung eines Systems mit hoher Kapazität beachten sollte, wie etwa:

  • welche Applikationen für Systeme mit hoher Kapazität (nicht) geeignet sind
  • Datenverfügbarkeit
  • Datensicherung
  • RAID-Wiederherstellung
  • RAID-Scrubbing und Medienscans im Hintergrund
  • Provisionierung
  • Komplexität der Infrastruktur

Die meisten Informationen beziehen sich ganz Allgemein auf Storage-Systeme mit hoher Kapazität, aber ich werde daneben auch auf einige Besonderheiten von NetApp Systemen mit hoher Kapazität eingehen.

NetApp's FAS6040

Zielapplikationen

Zuerst einmal sollte man sich darüber im Klaren sein, dass Storage-Systeme mit hoher Kapazität durch die Performance-Merkmale der zugrundeliegenden Festplatten eingeschränkt sein können und sich nicht für alle Applikationen eignen. Die Festplatten mit der größten Kapazität auf dem Markt sind allesamt SATA-Festplatten und nicht hochleistungsfähige Fibre-Channel-Festplatten. Unabhängig von der Kapazität haben alle modernen SATA-Festplatten dieselbe Rotationsgeschwindigkeit und denselben Datendurchsatz. Darüber hinaus wird man zum Erreichen der gewünschten Größe für einen bestimmten Storage-Container (Filesystem, LUN etc.) weniger Festplatten einsetzen. Und weniger Festplatten bedeuten normalerweise eine geringere maximale Performance des Storage-Containers.

Storage-Systeme und/oder Host-Betriebssysteme können auch Grenzwerte hinsichtlich der Größe mitbringen, die wiederum die Anzahl an Festplatten beschränken, die für einen bestimmten Storage Container verwendet werden können. Ext3, das standardmäßige Linux-Filesystem, kann beispielsweise eine maximale Größe von 16 TB managen. Wenn man also 1-TB-Festplatten verwendet, wäre ein einzelnes Filesystem auf etwa 17 Festplatten begrenzt, wenn man berücksichtigt, dass ein Teil der Kapazität für Dinge wie das Formatieren verloren geht.

Wenn man Systeme mit hoher Kapazität in Erwägung zieht, sollte man an sekundären Storage denken. Solche Systeme sind allerdings nicht besonders für Exchange, Datenbanken oder andere Applikationen geeignet, die kurze Reaktionszeiten und hohen Durchsatz erfordern. Zu den idealen Anwendungen zählen:

  • Disk-to-Disk-Backup
  • Zielsystem für Datenreplizierung (z.B. unter Verwendung von NetApp SnapMirror)
  • E-Mail-Archivierung
  • Datei- oder Dokumentenarchivierung
  • Compliance-Storage

Sekundärer Storage ist zudem ideal für Anwendungen mit großen, sequentiellen Datenströmen wie etwa:

  • Bildaufzeichnungen
  • Live-Videoaufzeichnungen
  • Seismische Daten

Datenverfügbarkeit

Weil sie womöglich aus Hunderten von SATA-Festplatten bestehen, gibt es einige wichtige Erwägungen hinsichtlich der Datenverfügbarkeit bei Systemen mit hoher Kapazität, darunter:

  • RAID
  • Hochverfügbarkeitskonfigurationen
  • Multipath HA

Ausfallraten für SATA-Festplatten sind üblicherweise höher als die für Fibre-Channel-Festplatten, weshalb man auf Schutz durch RAID nicht verzichten sollte. NetApp empfiehlt üblicherweise die Verwendung der hochleistungsfähigen Dual-Parity RAID 6-Implementierung von NetApp, RAID-DP, um vor Datenverlusten zu schützen, die auftreten können, wenn innerhalb einer RAID-Gruppe zwei Festplatten ausfallen. Auch andere Anbieter bieten je nach Storage-Produkt Dual-Parity RAID 6-Lösungen an. Unabhängig vom Anbieter profitiert jedes Storage-System mit hoher Kapazität über seinen gesamten Lebenszyklus hinweg von der höheren Datenausfallsicherheit, die RAID 6 mitbringt.

Obwohl Storage-Systeme mit hoher Kapazität üblicherweise als sekundärer Storage eingesetzt werden, entscheiden sich NetApp Kunden bei der Implementierung solches Systeme normalerweise für eine vollständige Hochverfügbarkeitskonfiguration mit Aktiv-Aktiv-Controllern ohne Single Points of Failure, um sicherstellen, dass die umfangreichen Datenbestände auch jederzeit zugänglich bleiben. Ein wichtiger Aspekt bei einer HA-Lösung mit hoher Kapaziät ist die Zeit, die ein Controller braucht, um Festplatten vom anderen Controller zu übernehmen oder zurückzugeben. Die Dauer kann durch eine hohe Anzahl von SATA-Festplatten in der Lösung durchaus etwas länger sein als bei ausschließlich mit Fibre-Channel-Festplatten ausgestatteten Lösungen. Dies liegt daran, dass die SATA-Festplatten an sich langsamer sind und die regelmäßige Statusüberprüfung mehr Zeit beansprucht als bei Fibre-Channel-Festplatten.

Data ONTAP 7.2.4 bringt einige spezifische Optimierungen für Übernahme und Rückgabe bei SATA-Festplatten mit und kann die Performance von SATA-Systemen mit hoher Kapazität bei Failover und Rückgabe verbessern, so dass eine solche Lösung genauso leistungsfähig ist wie eine, die ausschließlich Fibre-Channel-Festplatten verwendet. Um von diesen Optimierungen zu profitieren, empfehlen wir den Einsatz von Data ONTAP 7.2.4 oder höher für jede SATA-basierte HA-Storage-Lösung hoher Kapazität von NetApp.

Eine Konfigurationsoption für NetApp Storage, die bislang noch zu wenig genutzt wird, ist Multipath-HA. Multipath-HA stellt sicher, dass es zwei getrennte I/O-Pfade von jedem Controller zu jeder Festplatte gibt, so dass Verkabelungsprobleme oder andere Hardware-Probleme nicht den Zugriff auf die Festplatten unterbrechen können. Bei HA-Konfigurationen können solche Probleme ein Failover auslösen. Multipath-HA reduziert das Risiko eines Failover durch die Bereitstellung redundanter Datenpfade von jedem Controller zum zugehörigen Storage-System. Multipath-HA kann auch für eine verbesserte Performance-Konsistenz sorgen, indem der Storage Workload über die beiden Datenpfade verteilt wird.

Datensicherung

Auch Backups der Daten von einem Storage-System mit hoher Kapazität können einen vor besondere Herausforderungen stellen. Disk-to-Disk-Methoden werden wenn möglich bevorzugt, um die Backupzeit zu miminieren. Allerdings kann es auch mit Tools wie NetApp SnapVault und SnapMirror enorm lange Dauern, eine Basiskopie eines Storage-Systems mit hoher Kapazität zu erstellen. NetApp bietet zwei Tools: LREP (logische Replizierung) und SnapMirror auf Band, um bei der Erstellung solcher Basiskopien zu helfen, die dann auf Remote-Systemen untergebracht werden können. Danach werden nur noch geänderte Datenblöcke repliziert, was die Auswirkungen auf Quell- und Ziel-Controller reduziert sowie auf das Netzwerk zwischen den beiden Controllern.

RAID-Wiederherstellung

Wie auch die meisten anderen Systemwartungsarbeiten dauern RAID-Wiederherstellungen bei großen SATA-Festplatten länger. Wenn z.B. eine 1 TB große Festplatte ausfällt, dauert die RAID-Wiederherstellung auf einem NetApp System etwa zehn bis zwölf Stunden, sofern keine andere Last vorhanden ist. Diese Zeit verlängert sich entsprechend, wenn die Systemlast zunimmt.

Derzeitige MTBF-Daten (Mean Time Between Failure) legen nahe, dass bei einem Storage-System mit 1.176 1-TB-Festplatten ein System etwa 5% der Zeit unter normalen Betriebsbedingungen mit Wiederherstellungen beschäftigt ist. Auch hier gilt, dass der Zeitanteil für Wiederherstellungen größer wird, wenn der Workload des gesamten Storage-Systems zunimmt.

Medien-Scans und RAID-Scrubs

NetApp verwendet regelmäßige Medien-Scans und RAID-Scrubs, um die Integrität der gespeicherten Daten sicherzustellen, und ich gehe davon aus, dass andere Storage-Anbieter ähnlichen Möglichkeiten zum Aufspüren und Korrigieren von Problemen bereitstellen. Wenn man beispielsweie eine große Brücke streicht, fängt man an einem Ende an, streicht monatelang jeden Tag, bis man das andere Ende erreicht und fängt dann wieder von vorne an. Ebenso verfolgen diese beiden NetApp Utilities einfach ihren jeweiligen Fortschritt und arbeiten sich durch das gesamte Storage-Subsystem hindurch, bis der gesamte Storage überprüft worden ist. Medien-Scans im Hintergrund werden kontinuierlich mit einer niedrigen Übertragung durchgeführt, wobei integrierte Diagnosefunktionen dazu dienen, Medienfehler aufzuspüren. RAID-Scrubs werden standardmäßig wöchentlich für sechs Stunden durchgeführt, wobei Paritätsdaten zum Überprüfen der Datenintegrität herangezogen werden.

Bei Storage-Systemen mit hoher Kapazität empfiehlt NetApp eine höhere Datenübertragung für Medien-Scans sowie häufigere und längere RAID-Scrubs, um sicherzustellen, dass selten genutzte Daten (welche typisch für Sekundär-Storage sind) auch regelmäßig überprüft werden.

Provisionierung von Storage-Systemen

Wenn es um die Provisionierung eines Systems mit hoher Kapazität geht, muss man erst herausfinden, welche Einschränkungen einem das Storage-System (und Host-Betriebssysteme bei SAN-Umgebungen) auferlegt und entsprechend planen. Bei NetApp Systemen kann man z.B. maximal 100 Aggregate oder traditionelle Volumes auf einem einzelnen Storage-Controller definieren, während die Gesamtzahl der Aggregate, traditionellen Volumes und flexiblen Volumes (FlexVol Volumes) unter 500 liegen muss. Dies klingt zwar nach recht hohen Grenzwerten, aber es gibt Situationen, in denen diese Werte überschritten werden können. Wenn beispielsweise das Host-Betriebssystem auf 2 TB große Filesysteme beschränkt ist oder standardmäßig eine hohe Anzahl von FlexVol-Volumes pro Aggregat verwenden wird, könnte man möglicherweise das 500-Container-Limit überschreiten, ehe man ein System mit maximaler Kapazität komplett provisioniert hat.

Der entscheidende Punkt ist: Wenn es um Systeme mit hoher Kapazität geht, kann man nicht einfach mit der Provisionierung loslegen. Man muss verstehen, welches die unterschiedlichen Grenzwerte hinsichtlich des Storage sind und vorab die erforderliche Planung durchführen, um sicherzustellen, dass auch alle Kapazitäten verwendet werden können und gleichzeitig Spielraum für unvorhergesehene zukünftige Anforderungen bleibt.

Komplexität der Infrastruktur

Ein Faktor, den man nicht außer Acht lassen sollte, wenn man die Implementierung eines Systems mit hoher Kapazität plant, ist die schiere Komplexität der gesamten Festplatteninfrastruktur. Ich habe kürzlich mit einem Kunden zusammengearbeitet, der 1008 Festplatten in 72 Festplatten-Shelves hatte. Diese waren weiter unterteilt in 12 Storage Loops, jeweils mit 6 Shelves.

Bei einer Aktiv-Aktiv-Umgebung mit Multipath-HA-Storage-Konnektivität erfordert jede Storage Loop vier Verbindungen, was zu 48 Verbindungen zwischen Storage und Storage Controller über zahlreiche Storage Cabinets hinweg führt. Falls sich das nach einer komplizierten Verkabelung anhört – das ist es! Man kann nicht einfach planlos mit der Verkabelung eines Storage-Systems mit maximaler Kapazität loslegen und erwarten, dass alles klappt. Es gibt im Vorfeld vieles zu bedenken, damit auch alles ordnungsgemäß funktioniert, wenn man fertig ist. Vorausplanung, Verkabelungsdiagramme und Beschriftung sind bei der Implementierung hoher Storage-Systeme enorm wichtig.

Fazit

Wenn man rechtzeitig um mögliche Beschränkungen und Fallstricke weiß und die Anwendungen überlegt auswählt, kann man auch Storage-Systeme mit Kapazitäten, die noch vor wenigen Jahren undenkbar schienen, sicher einsetzen. Wenn man seine Anforderungen hinsichtlich Verfügbarkeit und Datensicherung gegenüber Kapazitäts- und Durchsatzfähigkeiten der jüngsten SATA-Festplatten sorgfältig abwägt und im Voraus die Provisionierung sowie die physischen Anforderungen plant, kann man unangenehme Überraschungen vermeiden, die auftreten können, wenn man aus einer Technologie alles herausholen möchte, und stattdessen die Vorzüge von vereinfachtem Management, von geringeren direkten Storage-Kosten sowie von einem geringerem Strom- und Kühlungsbedarf genießen.

Chris Lueth Chris Lueth
Technical Marketing Engineer
NetApp

Chris verfügt über mehr als 17 Jahre Erfahrung in der Branche. In den nunmehr fünf Jahren bei NetApp hat er sich enormes technisches Know-how erarbeitet, u.a. durch die Arbeit an NearStore Implementierungen, RAID-DP, SnapLock, Midrange- und High-end-Plattformen sowie Storage-Ausfallsicherheit. Zuvor war er Chipdesign-Entwickler und hat am ersten Multiprocessor-Motherboard-Chipsatz gearbeitet, ehe er zur UNIX-Systemadministration und schließlich zu Storage wechselte.

Kommentar
Explore