Amazon S3 Intelligent-Tiering mit Archivzugriff

Amazon S3 Intelligent-Tiering mit Archivzugriff

Datenkosten senken, Verfügbarkeit sichern

Amazon Web Services (AWS) bietet Unternehmen eine Vielzahl an Optionen, um Speicherkosten zu optimieren und gleichzeitig die Leistung ihrer Anwendungen sicherzustellen. Eine der beliebtesten Speicherklassen ist Amazon S3 Intelligent-Tiering, sie hat Unternehmen seit ihrer Einführung bereits über 750 Millionen US-Dollar an Speicherkosten eingespart.

S3 Intelligent-Tiering ermöglicht es, Objekte automatisch zwischen verschiedenen Speicherstufen zu verschieben, basierend auf der Häufigkeit ihres Zugriffs. Mit der Einführung der neuen Archive Instant Access Tier kann S3 Intelligent-Tiering nun auch automatisch archivieren, um zusätzliche Kostenvorteile zu realisieren, bei gleichzeitigem sub-millisecond Zugriff auf die Daten.

In diesem Artikel stellen wir die Archive Instant Access Tier von S3 Intelligent-Tiering vor, erläutern ihre Funktionsweise, Vorteile und typische Einsatzszenarien.

Was ist Intelligent-Tiering in Amazon S3?

Amazon S3 Intelligent-Tiering ist eine cloudbasierte Speicherklasse für Objektspeicherung, die Daten automatisch in kosteneffiziente Speicherstufen verschiebt, abhängig von ihrem Zugriffsverhalten. Mithilfe intelligenter Algorithmen optimiert dieser Dienst Ihre Speicherkosten, ohne dabei Performance oder Verfügbarkeit zu beeinträchtigen.

Die Speicherklasse eignet sich besonders für Daten mit unvorhersehbarem oder wechselndem Zugriffsmuster, wie z. B. Anwendungsprotokolle, Mediendateien oder Sensordaten. Sie kann jedoch ebenso für häufig genutzte Daten verwendet werden, bei denen extrem niedrige Latenzzeiten keine Priorität haben, etwa bei Backups oder für Desaster-Recovery-Szenarien.

S3 Intelligent-Tiering analysiert kontinuierlich das Nutzungsverhalten Ihrer Objekte und verschiebt sie automatisch zwischen drei Stufen:

• Hot Tier für häufig genutzte Daten
• Warm Tier für gelegentlich genutzte Daten
• Cold Tier für selten genutzte Daten

Ein wesentlicher Vorteil: Sie zahlen nur für den tatsächlich genutzten Speicherplatz sowie eine geringe monatliche Gebühr für Monitoring und Automatisierung.

Wofür wird S3 Intelligent-Tiering Archive Instant Access genutzt?

Die Archive Instant Access (AIA) Tier von Amazon S3 Intelligent-Tiering eignet sich besonders für Daten, auf die nur selten zugegriffen wird, die aber bei Bedarf dennoch sofort verfügbar sein müssen. Dazu zählen etwa Backups, Logdateien und Mediendateien.

Da die AIA Tier niedrigere Kosten pro Gigabyte verursacht als die Standard-Speicherklasse, ist sie besonders attraktiv für die langfristige Speicherung. Gleichzeitig profitieren Nutzer weiterhin von den gewohnten Vorteilen von Amazon S3, etwa hoher Datensicherheit, Verfügbarkeit und Haltbarkeit.

Im Folgenden einige typische Anwendungsfälle.

1. Archivierung seltener, aber geschäftskritischer Daten

Ein klassischer Anwendungsfall für die AIA Tier ist die Speicherung von archivierten Daten, auf die nur selten zugegriffen wird.

Dank der niedrigen Speicher- und Abrufkosten eignet sich diese Tier ideal für Langzeitarchivierung, ohne dabei hohe Betriebskosten zu verursachen. Durch die hohe Haltbarkeit bleiben die Daten selbst bei seltener Nutzung sicher und zuverlässig verfügbar.

2. Schneller Speicherzugriff (Quick Access Storage Tier)

Ein weiterer gängiger Anwendungsfall für den AIA-Speicher-Tier (oder ähnliche Begriffe wie "Schnellzugriffs-Speicherebene") ist die Speicherung von Daten, die bei Bedarf schnell zugänglich sein müssen. Der entscheidende Vorteil dieses Speichertyps für solche Daten ist seine kurze Zugriffszeit. Dies bedeutet, dass Ihre Nutzer oder Anwendungen auf die benötigten Daten zugreifen können, ohne auf die Wiederherstellung von langsameren Speichermedien warten zu müssen. Darüber hinaus gewährleistet die hohe Datenbeständigkeit (Durability) dieses Tiers, dass Ihre Daten auch bei häufigem Zugriff sicher und jederzeit abrufbar bleiben.

3. Ideal für unvorhersehbare Zugriffsmuster

Der AIA-Tier eignet sich perfekt für Speicherungsobjekte, deren Zugriffsmuster sich im Laufe der Zeit unvorhersehbar ändern. Beispielsweise, in einer Anwendung für Musikarchive und Streaming greifen Nutzer oft auf kürzlich hochgeladene Musik zu. Die Streaming-Trends lassen mit dem Alter des Titels allmählich nach. Nach einigen Monaten ohne Zugriff kann das Intelligent-Tiering (z. B. von S3) die Audiodateien in den AIA-Tier verschieben. Sollte es dann zu einem plötzlichen Anstieg der Popularität des Künstlers kommen, führt dies zu einem wachsenden Interesse an seinen älteren Titeln. Die entsprechenden Daten können dank des AIA-Tiers sofort für das Streaming abgerufen oder, basierend auf dem Zugriffsmuster, in einen häufig genutzten Speicher-Tier (Frequent Access Tier) migriert werden.

S3 Intelligent-Tiering aktivieren

Um mit Intelligent-Tiering zu beginnen, müssen Sie zunächst eine neue Speicherklasse erstellen. Dies kann über die S3-Konsole, die AWS CLI oder die PUT-API-Operation erfolgen. Sobald Sie die Speicherklasse erstellt haben, können Sie Ihre Daten über einen einfachen API-Aufruf dorthin verschieben.

Hinweis: S3 Intelligent-Tiering verschiebt automatisch jedes Objekt im IA-Tier (Infrequent Access), auf das 90 aufeinanderfolgende Tage lang nicht zugegriffen wurde, in den AIA-Tier (Archive Instant Access). Um die Regeln für einzelne Objekte eines Buckets manuell zu konfigurieren, können Sie die nachfolgenden Schritte ausführen.

Verwendung der S3-Konsole

Bevor Sie Tiering-Richtlinien auf Objektebene eines Buckets anwenden, navigieren Sie zur S3-Konsole und wählen Sie den Bucket aus, für den Sie Intelligent-Tiering aktivieren möchten. Wählen Sie dann den Reiter Verwaltung und klicken Sie auf Intelligent-Tiering. Dort können Sie durch Überprüfung feststellen, ob der automatische oder der manuelle Modus aktiviert ist. Im automatischen Modus verschiebt S3 Objekte basierend auf den Nutzungsmustern automatisch zwischen den Tiers. Im manuellen Modus können Sie festlegen, in welchem Tier ein Objekt gespeichert werden soll.

Angenommen, Sie möchten Tiering-Regeln auf einzelne Objekte eines bestehenden Buckets anwenden. Gehen Sie dazu wie folgt vor:

1. Melden Sie sich bei der AWS S3-Konsole an und wählen Sie den Ziel-Bucket aus der S3-Bucket-Liste.
2. Wählen Sie den Reiter Eigenschaften.
3. Navigieren Sie zum Abschnitt S3 Intelligent-Tiering Archivierungskonfigurationen und wählen Sie die Schaltfläche Konfiguration erstellen.
4. Sie befinden sich nun im Abschnitt Archivierungskonfigurationseinstellungen. Geben Sie einen Namen für Ihre Konfiguration ein und entscheiden Sie, ob die Konfiguration für den gesamten Bucket oder für ein einzelnes Objekt gelten soll. In unserem Beispiel wählen wir die Anwendung der Regel auf ein einzelnes Objekt.
5. Klicken Sie auf Erstellen, um die Konfiguration zu bestätigen. Nach erfolgreicher Erstellung wird sie in der S3-Konsole angezeigt.

Verwendung der AWS CLI

Sie können auch AWS-CLI-Befehle verwenden, um Konfigurationen des S3 Intelligent-Tierings zu verwalten.

Ein typischer Ansatz hierfür ist die Verwendung des Befehlsput-bucket-intelligent-tiering-configuration und die Angabe der Konfiguration als JSON-Datei, um verschiedene Tiering-Optionen zu aktivieren. Der folgende Befehl weist die AIA-Konfiguration dem Bucket darwinbucketexample zu:

$ put-bucket-intelligent-tiering-configuration { "Id": "darwinbucketexample", "Filter": { "Prefix": "filter-criteria1", "Tag": { "Key": "object-tag-key1", "Value": "object-tag1" }, "And": { "Prefix": "filter-criteria2", "Tags": [ { "Key": "object-tag-key2", "Value": "object-tag2" } ... ] } }, "Status": "Disabled" "Tierings": [ { "Days": integer, "AccessTier": "ARCHIVE_ACCESS"\|"DEEP_ARCHIVE_ACCESS" } ... ]}

Verwendung einer PUT-API-Operation

Sie können auch die PUT-API-Operation verwenden, um Regeln dafür festzulegen, wie Daten in S3 Intelligent-Tiering verschoben und anschließend archiviert werden. Um beispielsweise das Objekt darwin-image.jpg in den Bucket darwinbucketexample mit der Speicherklasse Intelligent-Tiering hochzuladen, müssen Sie INTELLIGENT_TIERING als Speicherklasse unter dem Header x-amz-storage-class angeben:

PUT /darwin-image.jpg HTTP/1.1
Host: darwinbucketexample.s3.amazonaws.com
Date: Thu, 22 Dec 2021 15:50:33 GMT
Authorization: authorization string
Content-Type: image/jpeg
Content-Length: 22452
Expect: 100-continue
x-amz-storage-class: INTELLIGENT_TIERING

Anschließend können Sie die API-Operation PutBucketIntelligentTieringConfiguration verwenden, um die Archivierungsregeln des Intelligent-Tierings für einen bestimmten Bucket oder ein Bucket-Objekt zu konfigurieren.

Erweiterung der Vorteile von S3 Intelligent-Tiering mit BlueXP Cloud Volumes ONTAP

Während S3 Intelligent-Tiering den S3-Nutzern eine dringend benötigte Funktion bietet, kann NetApp BlueXP Cloud Volumes ONTAP diese Funktion als Datenmanagement-Schicht für AWS noch weiter optimieren. Das Data Tiering von Cloud Volumes ONTAP ermöglicht es, selten genutzte Daten aus dem EBS-Speicher automatisch in das kosteneffizientere S3 Intelligent-Tiering zu verschieben und sie bei Bedarf automatisch wieder zurückzuverlagern. Dieses Tiering zwischen Objekt- und Blockspeicher ist nativ in AWS nicht möglich.

Doch die Vorteile enden hier nicht. Cloud Volumes ONTAP bietet AWS-Nutzern ein höheres Maß an Datenschutz durch die kosteneffizienten und speicherplatzsparenden Technologien NetApp Snapshot und Cloud Backup. Die integrierten Speichereffizienzfunktionen, einschließlich Deduplizierung, Komprimierung und Thin Provisioning, können die Gesamtspeicherkosten senken, und zwar nicht nur für S3, sondern auch für den teureren AWS-EBS-Speicher.

Darüber hinaus ermöglicht die BlueXP-Replikation mit SnapMirror, Ihre Daten einfach und effizient zwischen AWS-Regionen, lokalen (On-Prem-)Bereitstellungen und sogar verschiedenen Clouds zu verschieben.

FAQs

Wie aktiviere ich Intelligent-Tiering für einen S3-Bucket?

Um Intelligent-Tiering für einen S3-Bucket zu aktivieren, wählen Sie zunächst den Namen des Buckets aus der Bucket-Liste. Wählen Sie auf der Seite des Buckets den Reiter Eigenschaften, scrollen Sie zum Abschnitt S3 Intelligent-Tiering Konfigurationen und klicken Sie dann auf Erstellen. Weitere Details zu den Konfigurationseinstellungen für Intelligent-Tiering eines S3-Buckets finden Sie in der offiziellen AWS-Dokumentation.

Ist S3 Intelligent-Tiering teuer?

Obwohl S3 Intelligent-Tiering anfänglich höhere Kosten verursachen kann, kann es Organisationen langfristig Geld sparen. Mit S3 Intelligent-Tiering werden Daten automatisch in die kostengünstigste Speicherebene verschoben, wodurch Speicherkosten gespart werden können. Dies wird typischerweise dadurch erreicht, dass Daten automatisch basierend auf den Zugriffsmustern in der am besten geeigneten Speicherklasse gespeichert werden, was es ideal für selten aufgerufene Daten macht. Darüber hinaus bietet S3 Intelligent-Tiering einen zusätzlichen Schutz vor Datenverlust und -beschädigung, was die Kosten für Notfälle weiter reduzieren kann.

Using the Amazon CLI

You can also use AWS CLI commands to manage configurations of the S3 Intelligent tier.

A typical approach of doing so is to use the put-bucket-intelligent-tiering-configuration command and specify the configuration as a JSON file to enable different tiering options. The following command assigns the AIA configuration to the darwinbucketexample bucket.

$ put-bucket-intelligent-tiering-configuration

{ "Id": "darwinbucketexample", "Filter": { "Prefix": "filter-criteria1", "Tag": { "Key": "object-tag-key1", "Value": "object-tag1" }, "And": { "Prefix": "filter-criteria2", "Tags": [ { "Key": "object-tag-key2", "Value": "object-tag2" } ... ] } }, "Status": "Disabled" "Tierings": [ { "Days": integer, "AccessTier": "ARCHIVE_ACCESS"\|"DEEP_ARCHIVE_ACCESS" } ... ]}

Using a PUT API Operation

You can also use the PUT API object to apply rules on how data is moved to S3 Intelligent-Tiering, and is then archived.

For example, to move the darwinbucketexample bucket to Intelligent-Tiering, you will have to include INTELLIGENT_TIERING as a storage class under the x-amz-storage-class header.

PUT /darwin-image.jpg HTTP/1.1Host: darwinbucketexample.s3..amazonaws.com (http://amazonaws.com/)Date: Thu, 22 Dec 2021 15:50:33 GMTAuthorization: authorization stringContent-Type: image/jpegContent-Length: 22452Expect: 100-continuex-amz-storage-class: INTELLIGENT_TIERING 

Once done, you can use the PutBucketIntelligentTieringConfiguration API operation to configure the archive rules of the Intelligent-Tiering for a specific bucket or bucket-object.

Extending Benefits of S3 Intelligent-Tiering With BlueXP Cloud Volumes ONTAP

While S3 Intelligent-Tiering adds a much needed feature for S3 users, NetApp BlueXP Cloud Volumes ONTAP can take it further as a data management layer for AWS.

Cloud Volumes ONTAP data tiering makes it possible to automatically tier infrequently used EBS storage data to more cost effective S3 Intelligent-Tiering and move it back automatically when required. Tiering between object and block storage isn’t possible on AWS natively.

But that’s not where the benefits end. Cloud Volumes ONTAP gives AWS users higher levels of data protection using more cost- and space-efficient NetApp Snapshot technology and Cloud Backup. Built-in storage efficiencies—including deduplication, compression, and thin provisioning— can lower overall storage costs, not just for S3 but also for more-expensive AWS EBS storage. And BlueXP replication with SnapMirror^® makes it possible to move your data between AWS regions, on-prem deployments, and even different clouds easily and efficiently.

Learn more about how Cloud Volumes ONTAP can help with these Cloud Volumes ONTAP Storage Tiering Case Studies.

FAQs

How do I enable Intelligent-Tiering on a S3 bucket?

To enable Intelligent-Tiering on an S3 bucket, start by choosing the name of the bucket from the bucket list. On the bucket’s page, select Properties, scroll to the S3 Intelligent-Tiering Configurations section, and then click Create. Additional details on configuration settings of intelligent-tier for an S3 bucket can be found on the AWS official documentation.

Is S3 Intelligent-Tiering expensive?

Although S3 Intelligent-Tiering may incur higher initial cost, it can ultimately save organizations money in the long run. With S3 Intelligent-Tiering, data is automatically moved to the most cost-effective storage tier, which can save them money on storage costs. This is typically achieved by automatically storing data in the most appropriate storage class based on access patterns, making it ideal for infrequently accessed data. Additionally, S3 Intelligent-Tiering provides added protection against data loss and corruption, which can further reduce cost contingency.