Storage-Performance in der Praxis
Benchmark: NetApp im Vergleich zu EMC CLARiiON

Festzustellen, welche Performance SAN-Storage in der Praxis und mit echten Applikationen bietet, kann eine ziemliche Herausforderung sein. Viele Anbieter präsentieren nur informelle oder Ad-hoc-Benchmark-Ergebnisse, was einen Vergleich zwischen Storage-Systemen erschwert. Darüber hinaus verwenden Benchmarks häufig wirklichkeitsfremde Systemkonfigurationen (die kleinstmöglichen Festplatten, aber eine große Anzahl an Platten), und bewerten nicht die Performance-Auswirkungen von Features, die womöglich entscheidend für Ihre Betriebsabläufe sind.

NetApp hat kürzlich einen Benchmarkvergleich durchgeführt, um einigen dieser Einschränkungen zu begegnen:

  • Standard-Workload, der repräsentativ für tatsächliche Applikationen in der Praxis ist
  • Konfigurationen, die auf Best Practices des jeweiligen Anbieters basieren
  • Verwendung von Snapshot Kopien während des Benchmarks
Highlights der Ergebnisse
NetApp im Vergleich zu EMC CLARiiON
  • Bessere Performance mit aktiviertem Snapshot
    (97% im Vergleich zu 36% als Richtwert)
  • Höhere Performance mit weniger Festplatten
NetApp SPC-1 Spitzenpositionen
  • Höchste Roh-Storage-Auslastung
  • Niedrigste Kosten pro getestetem GB
  • Weltweit erste Ergebnisse mit RAID 6
  • Einziges aktives Ergebnis ohne Verwendung von RAID 1/0
Für diesen Test entschieden wir uns für den Standard-Benchmark SPC-1, um die Performance eines NetApp FAS3040 Systems im Vergleich zu einer EMC CLARiiON CX3-40 zu bewerten. In diesem Artikel werde ich den Benchmarktest, die Systemkonfigurationen sowie die erzielten Ergebnisse beschreiben. Detailliertere Informationen finden Sie in den veröffentlichten und vollständig gegengeprüften Ergebnissen auf der Storage Performance Council Website (Englisch).

Der SPC-1 Benchmark
Das Storage Performance Council (SPC) ist eine anbieterneutrale Standardisierungsorganisation mit Vertretern zahlreicher Storage-Anbieter. Das SPC hat bislang zwei Benchmarks veröffentlicht:

  • Der SPC-1 erzeugt einen Workload mit Merkmalen typischer Unternehmensapplikationen wie Datenbankanwendungen oder die Bereitstellung von eMail mit wahlfreien I/O-Operationen, Abfragen und Updates, weshalb er für unsere Zwecke optimal geeignet schien.
  • Der SPC-2 wurde entworfen, um Anwendungen mit umfangreichen, sequenziellen Datenbewegungen zu simulieren, daher schien dies für diese Studie ein weniger repräsentativer Workload zu sein.

Ich halte den SPC-1 für den besten verfügbaren Benchmarktest, um die Belastungen von Storage-Systemen durch Datenbanken zu modellieren. Als das SPC den Benchmark entwickelte, hat man untersucht, wie die unterschiedlichen Anwendungen auf Storage zugreifen, und dann den Workload auf Basis dieser Messungen modelliert. Die Mischung von Operationen ist repräsentativ für eine umfangreiche Gruppe von Anwendungen – ungefähr der Hälfte aller kommerziellen Anwendungen.

Wie Sie wahrscheinlich wissen, sind die am häufigsten verwendeten Datenbank-Benchmarktests die TPC-Benchmarks. Da sie als Test des Datenbankservers ausgelegt sind, hängen die gemessenen Ergebnisse mehr von der Konfiguration des Servers ab als vom Storage-System.

Der SPC-1 hat den Vorteil, dass er nur die Performance des Storage-Systems misst. Er hängt nicht davon ab, wie man den Server oder die Datenbank konfiguriert. Der Workload für das Storage-System entspricht hingegen hervorragend der Art von Last, wie sie heutige Unternehmensanwendungen generieren. Darüber hinaus gibt das SPC strikte Regeln dafür vor, wie der Benchmark durchgeführt werden muss, so dass man die Ergebnisse zwischen den Anbietern auch vergleichen kann. Alle Ergebnisse werden von einem zertifizierten, unabhängigen Prüfer nachgeprüft. Alle veröffentlichten Ergebnisse enthalten ausführliche Daten, einschließlich des vollen Preises des getesteten Systems.

Systemkonfigurationen
Wie ich bereits in der Einleitung erwähnt habe, wollten wir Systemkonfigurationen testen, die denen ähneln, wie sie bei Kunden wahrscheinlich im Einsatz sind. Auf jeden Fall wollten wir einen Vergleich hochkarätiger und nicht mittelmäßiger Systeme, daher wählten wir zwei Midrange-Systeme (NetApp FAS3040 und EMC CLARiiON CX3 Modell 40) und konfigurierten sie entsprechend. Wir verwendeten in allen Fällen exakt dieselben Server, identisch konfiguriert, um den Benchmarktest mit jedem Storage-System durchzuführen.

Jetzt denken Sie vielleicht: „Wenn Sie einen Vergleich mit einem System eines anderen Anbieters durchführen, wie kann ich den Ergebnissen vertrauen?“ Das SPC berücksichtigt diese Bedenken in seinen Regeln. Wenn wir einen Benchmark für die Geräte eines anderen Anbieters veröffentlichen wollen, verlangt das SPC von uns, zu bescheinigen, dass wir alles unternommen haben, um die maximale Performance aus den Geräten herauszuholen. Daher haben wir damit begonnen, die entsprechenden Dokumente von EMC zu studieren, um herauszufinden, wie man aus dem System die optimale Performance herauskitzelt, und haben diese Anweisungen strikt befolgt. Dann verbrachten wir mehrere Monate mit Tunen und Justieren, um die Performance noch weiter zu verbessern. Alles, was in das Endergebnis einfließt, ist in den vollständigen Berichten zu jedem Test dokumentiert.

Die Dokumentation von EMC wies ausdrücklich darauf hin, dass die beste Performance vom CLARiiON System nur bei Verwendung von RAID 1/0 (Mirroring und Striping) erzielt werden konnte, daher konfigurierten wir das System auf diese Weise statt mit RAID 5 oder RAID 6 (Double-Parity RAID). Die FAS3040 wurde mit RAID-DP konfiguriert, der Double-Parity RAID 6-Implementierung von NetApp, die die standardmäßige Einstellung auf allen NetApp Systemen ist. Auf beiden Systemen verwendeten wir 82% der verfügbaren Storage-Kapazität für den Benchmark. Dies ist eine variable Option des Benchmarktests. Die CLARiiON war mit 155 Festplatten konfiguriert, während die NetApp über 140 verfügte. Beide Systeme verwendeten 146GB-Festplatten mit 15.000 U/min und 4 GBit/s.

Zudem bemühten wir uns darum, das Speichermanagement beider Systeme auf optimale Performance zu trimmen. EMC erlaubt das Einstellen des Verhältnisses von Lese- und Schreib-Cache. Wir probierten alle Variablen aus, bis wir optimale Ergebnisse erzielten. Wir haben z.B. herausgefunden, dass durch das Deaktivieren des CLARiiON Schreib-Cache für bestimmte Teile des Workloads, bei denen es nur wenige Schreiboperationen gab, mehr Schreib-Cache für den schreibintensiven Bestandteil des Benchmark zur Verfügung stand. Dies verbesserte die Performance deutlich.

Beim NetApp System stellten wir fest, dass wir die Performance verbessern können, indem wir die Speichermanagement-Richtlinie so ändern, dass sie die Tatsache widerspiegelt, dass die meisten SPC-1 Daten nicht wiederholt referenziert werden. Diese Richtlinienänderung kann mit den folgenden Prioritätseinstellungen von Data ONTAP 7.3 implementiert werden:

priority on
priority set enabled_components=cache
priority set volume cache=reuse

Der Nettoeffekt dieser Befehle besteht darin, dem Speichersystem mitzuteilen, den Speicher für neuere Elemente aggressiver wiederzuverwenden, als dies normalerweise der Fall wäre. (Der Unterbefehl enabled_components ist neu in Data ONTAP 7.3. Wenn Sie Data ONTAP 7.2 verwenden, können Sie diesen Befehl auslassen.)

Eine Reihe der Optionen, die wir getunt haben, werden noch weiter verfeinert, daher werden sie mit dem setflag-Befehl aktiviert. In künftigen Versionen von Data ONTAP werden diese Flags entweder zu Optionen oder sie verschwinden, wenn das System sich in Bezug auf diese Features selbstständig einstellt.

priv set diag
setflag wafl_downgrade_target 0
setflag wafl_optimize_write_once 0

Der Befehl „downgrade_target“ verändert die Priorität eines Prozesses innerhalb von Data ONTAP, der eingehende SCSI-Anfragen verarbeitet. Dieser Prozess wird sowohl von FC-SAN als auch von iSCSI verwendet. Wenn Ihr System nicht auch NAS-Workloads verarbeiten muss, steigert diese Prioritätenänderung die Reaktionszeit.

Wir weisen ausdrücklich auf diese Einstellungen hin, weil sie nach den Erfahrungen unserer Tests Performancevorteile für Online-Workloads von Business-Applikationen mit sich bringen. Falls Sie daran interessiert sind, können Sie mehr darüber in einem aktuellen technischen Bericht von NetApp (PDF - Englisch) lesen.

Test der Performance-Auswirkungen der Verwaltung von Snapshot Kopien
Die meisten Benchmarks ignorieren die Performance-Auswirkungen häufig verwendeter Features wie z.B. von Snapshots. In den Anfangszeiten von NetApp boten nur wenige andere Anbieter diese Fähigkeit, aber inzwischen haben fast alle Storage-Anbieter irgendeine Form von Snapshot Technologie im Programm. NetApp Kunden verwenden die NetApp Snapshots täglich, um Backups oder Wiederanlaufpunkte zu erstellen, von denen aus Anwendungen neu gestartet werden können, und wir gehen davon aus, dass die SnapView Fähigkeit von EMC auf ähnliche Weise verwendet wird.

Wenn ein Feature zum regelmäßigen Bestandteil der Tagesroutine zahlreicher Benutzer wird, ist es sinnvoll, die Performance-Auswirkungen dieses Features zu testen. Daher führten wir zusätzlich zum Test der maximalen Performance jedes Systems dieselben Tests auch durch, während in regelmäßigen Abständen Snapshots erstellt wurden. Auf dem NetApp System haben wir einen Zeitplan eingerichtet, nach dem alle 15 Minuten eine Snapshot Kopie erstellt wurde, wobei die jeweils drei aktuellsten Snapshot Kopien aufbewahrt wurden. Dieser Zeitplan stellte sicher, dass während des fünf Stunden langen Benchmarktests eine ausreichende Anzahl von Snapshot Kopien erstellt und gelöscht wurde.

Auf dem CLARiiON System reduzierten wir die Snapshot Last. Während des dreistündigen Dauertests des SPC-1 Benchmarks erstellten wir einen Snapshot pro Stunde für den Test. Eine Stunde später löschten wir ihn wieder und erstellten einen neuen. Kurz bevor der Test beendet wurde, löschten wir den zweiten Snapshot.

Benchmark-Ergebnisse
Die Ergebnisse unserer Tests sind in Abbildung 1 zusammengefasst. Die Ergebnisse der Grundkonfiguration zeigen die maximale Performance ohne Snapshots. Wie man sieht, ähneln sich die Ergebnisse. Das NetApp System schafft etwa 31.000 SPC-1 I/O-Operationen pro Sekunde (IOPS), während das CLARiiON Systen ein Maximum von etwa 25.000 SPC-1 IOPS schafft. Das für diese Tests verwendete NetApp System hat einen Listenpreis von $421.730,49, während das EMC System einen Listenpreis von $517.851,02 hat. Das entspricht $13,61 pro IOP für NetApp im Vergleich zu $20,72 pro IOP für die EMC Konfiguration.



Abbildung 1: SPC-1 Performance von NetApp im Vergleich zu EMC mit und ohne Snapshots

Ein interessantes Ergebnis ergab sich, wenn das Snapshot Feature auf jeder Plattform aktiviert wird. Die Performance des NetApp Systems verringert sich nur auf etwa 30.000 SPC-1 IOPS (97% des Maximums). Auf dem EMC System sinkt die Performance auf etwa 9.000 SPC-1 IOPS oder 36% der Performance ohne aktivierte Snapshot Funktion. Das für die Snapshot Tests verwendete NetApp System hat einen Listenpreis von $446.210,49, während das EMC System einen Listenpreis von $535.251,02 hat. Das NetApp System kostet daher $14,89 pro IOP im Vergleich zu $59,49 pro IOP beim EMC System.

  NetApp FAS3040 EMC CLARiiON CX3-40
Grundkonfiguration IOPS 30,985.90 24,997.48
Grundkonfiguration Listenpreis $421,730.49 $517,851.02
Kosten pro IOP (ohne Snapshots) $13.61 $20.72
Snapshot IOPS 29,958.60 8,997.17
Snapshot Konfiguration
(% der Grundkonfiguration)
97% 36%
Snapshot Konfiguration Listenpreis $446,210.49 $535,251.02
Kosten pro IOP (mit Snapshot) $14.89 $54.49

Tabelle 1: Vergleich zwischen NetApp und EMC mit und ohne Snapshots

Fazit
Wir haben sorgfältig darauf geachtet sicherzustellen, dass wir beide Systeme unter denselben Bedingungen testen (konfiguriert für eine optimale Performance in jedem Anwendungsfall), doch diese Ergebnisse zeigen einige signifikante Vorteile der NetApp-Technologie. Die Snapshot-Implementierung von NetApp ist deutlich effizienter als die EMC Implementierung und hat wesentlich weniger Auswirkungen auf die Performance. Wir sind überzeugt, dass dies unmittelbare Vorteile für stark beanspruchte Produktionsumgebungen bietet.

Das Ergebnis für das NetApp-System ist das einzige in den letzten fünf Jahren veröffentlichte SPC-1 Ergebnis, das kein RAID 1/0 verwendet, und das allererste Ergebnis mit Double-Parity RAID 6. Trotzdem zeigte die NetApp FAS3040 verglichen mit der getesteten EMC CLARiiON Konfiguration eine höhere Performance mit weniger Festplatten (140 gegenüber 155).

Weil wir RAID-DP statt Mirroring verwendeten, zeigt die NetApp Konfiguration auch die höchste Storage-Auslastung aller aktuellen SPC-1 Ergebnisse. Mit der FAS3040 wurden 61% der Storage-Rohkapazität verwendet im Vergleich zu 38% für die CLARiiON CX3-40-Konfiguration mit Spiegelung. (Man beachte, dass bei beiden Systemen die Volumes zu 82% belegt waren.) Dieser hohe Auslastungsgrad führt wiederum zu den niedrigsten Kosten pro getestetem Gigabyte (die Gigabyte, die tatsächlich zur Verfügung stehen), die jemals bei einem SPC-1 Benchmark erzielt wurden: $33,50 pro getestetem Gigabyte.

Stephen Daniel
Director of Database Platforms and Performance Technology, NetApp

Steve Daniel ist seit sieben Jahren bei NetApp und konzentriert sich ausschließlich auf Datenbank-I/O und dessen Auswirkungen auf Storage-Systeme. Zurzeit befasst er sich vor allem mit der Performance und Zuverlässigkeit von Datenbanken bei NAS und SAN. Bevor er zu NetApp kam, konnte Steve seine Datenbankfertigkeiten 12 Jahre lang bei Data General vervollkommnen.

Explore