Hochladen von Dateien in Azure Blob Storage mit AzCopy, PowerShell und mehr

So laden Sie Dateien mit AzCopy, PowerShell und mehr in den Azure Blob Storage hoch

Die richtigen Tools für Ihre Azure-Blob-Datenmigration: Vergleich und Praxistipps

Die Migration von Daten aus bestehenden Repositories in Azure Blob Storage und die laufende Synchronisierung in Hybridumgebungen sind für viele Unternehmen zentrale Hürden bei der Cloud-Einführung. Microsoft stellt hierfür mehrere native Tools bereit, zusätzlich gibt es Lösungen von Drittanbietern wie NetApp Cloud Volumes ONTAP.

Zu den wichtigsten Azure-nativen Werkzeugen gehören AzCopy, Azure PowerShell, Azure Import/Export und Azure Data Box. Welches Tool die beste Wahl ist, hängt unter anderem ab von:

• geplantem Migrationszeitraum,
• Datenvolumen und Dateigröße,
• verfügbarer Netzwerkbandbreite,
• Online- oder Offline-Migrationsanforderungen.

In diesem Beitrag stellen wir diese Azure-Migrationstools vor, zeigen Schritt für Schritt, wie Sie Dateien in Azure Blob Storage hochladen, und erläutern, wie sich das Ganze mit den Datenmanagementfunktionen von NetApp Cloud Volumes ONTAP weiter optimieren lässt.

Tools zum Hochladen von Daten in Azure Blob Storage

Da Datenmigration und -mobilität wesentliche Bausteine der Cloud-Einführung sind, bietet Microsoft eine Reihe nativer Tools und Dienste. Die wichtigsten im Überblick:

AzCopy

AzCopy ist ein Kommandozeilenprogramm zum Übertragen von Daten in und aus dem Azure Storage. Es lässt sich auf Windows-, Linux- und macOS-Systemen nutzen und wird als einfache ausführbare Datei ausgeliefert (keine aufwendige Installation).

Typische Einsatzszenarien:

• Übertragung von Daten von lokalen Speicherorten in Azure Blob Storage oder Azure Files
• Migration von Amazon S3 zu Azure Storage
• Kopieren von Daten in oder aus Azure Stack-Umgebungen

Azure PowerShell

Azure PowerShell bietet Cmdlets, mit denen sich Azure-Ressourcen per PowerShell-Befehle und Skripte verwalten lassen. Neben AzCopy kann auch PowerShell zum Upload von Dateien in Azure Blob Storage verwendet werden, der zentrale Befehl dafür ist Set-AzStorageBlobContent.

Azure Import/Export

Azure Import/Export ist eine physische Übertragungsmethode für sehr große Datenmengen. Daten werden auf kundenseitig bereitgestellte SSDs oder HDDs geschrieben und anschließend an ein Azure-Rechenzentrum gesendet, wo sie in Azure Blob Storage oder Azure Files importiert werden.

Typische Anwendungsfälle:

• Einmalige Massenmigration großer Datenbestände
• Offline-Datensicherung und -wiederherstellung
• Inhaltsdistribution ohne ausreichend Netzwerkbandbreite

Azure Data Box

Azure Data Box verwendet ein von Microsoft bereitgestelltes, robustes Speichergerät für den Datentransport in und aus Azure-Rechenzentren. Der Dienst wird empfohlen, wenn:

• das zu migrierende Datenvolumen typischerweise über 40 TB liegt und
• die verfügbare Netzwerkbandbreite für Online-Migrationen nicht ausreicht.

Gängige Szenarien sind:

• einmalige Massenmigrationen in Azure,
• Initialmigration großer Datenbestände mit anschließenden inkrementellen Online-Updates,
• regelmäßiger Upload großer Datenmengen in Azure.

So laden Sie Dateien mit AzCopy in Azure Blob Storage hoch

AzCopy ist für Windows-, Linux- und macOS-Systeme verfügbar. Eine Installation ist nicht erforderlich, da AzCopy als ausführbare Datei ausgeführt wird. Die ZIP-Datei für Windows und Linux muss heruntergeladen und entpackt werden, um das Tool auszuführen. Für Linux muss die TAR-Datei heruntergeladen und entpackt werden, bevor die Befehle ausgeführt werden.

Das AzCopy-Tool kann für den Zugriff auf Azure Blob Storage entweder über Azure AD oder ein SAS-Token autorisiert werden. Bei Verwendung der Azure AD-Authentifizierung können sich Kunden vor dem Starten des Daten Kopiervorgangs mit einem Benutzerkonto authentifizieren. Bei Verwendung von Automatisierungs-Skripts kann die Azure AD-Authentifizierung über einen Dienstprinzipal oder eine verwaltete Identität erfolgen.

In dieser exemplarischen Vorgehensweise zu AzCopy verwenden wir die Authentifizierung über ein Azure AD-Benutzerkonto. Dem Konto muss entweder die Rolle „Storage Blob Data Contributor“ oder „Storage Blob Data Owner“ im Speicher Container, in den die Daten kopiert werden sollen, sowie im zu verwendenden Speicherkonto, der Ressourcengruppe und dem Abonnement zugewiesen sein.

1. Navigieren Sie zu dem Ordner, in den AzCopy heruntergeladen wurde, und führen Sie den folgenden Befehl aus, um sich anzumelden:  

azcopy login

Sie sehen nun Details zur Anmeldung bei https://microsoft.com/devicelogin. Folgen Sie den Anweisungen in der Ausgabe und verwenden Sie den bereitgestellten Code zur Authentifizierung.

2. Geben Sie auf der Anmeldeseite Ihre Azure-Anmeldeinformationen mit Zugriff auf den Speicher ein und klicken Sie auf „Weiter“. 

3. Zurück in der Befehlszeile erhalten Sie die Meldung „Anmeldung erfolgreich“. 

4. Führen Sie den folgenden AzCopy-Befehl aus, um im Speicherkonto einen Container zum Hochladen von Dateien zu erstellen: 

azcopy make “https://.blob.core.windows.net/”

Aktualisieren Sie den Platzhalter mit dem Namen des Speicherkontos in Azure und dem Namen des Containers, den Sie erstellen möchten. Unten sehen Sie einen Beispielbefehl: 

azcopy make "https://teststor1110.blob.core.windows.net/folder1" 

5. So kopieren Sie eine Datei von Ihrem lokalen Computer in ein Speicherkonto 

azcopy copy “https://.core.windows.net//” 

Aktualisieren Sie die Platzhalter und im obigen Befehl, um die Werte Ihrer Umgebung widerzuspiegeln, und mit dem Namen des Speicher Containers, den Sie in Schritt 4 erstellt haben. Beispielbefehl unten: 

azcopy copy 'C:azcopyTestcopyolder1ile1.txt' 'https://teststor1110.blob.core.windows.net/folder1' 

Hinweis: Im obigen Beispiel ist Ordner1 im obigen Befehl der Container, der in Schritt 4 erstellt wurde.

Nach erfolgreichem Abschluss des Befehls wird der Auftragsstatus als „Abgeschlossen“ angezeigt.

6. Um alle Dateien aus einem lokalen Ordner in den Azure-Speicher Container zu kopieren, führen Sie den folgenden Befehl aus: 

azcopy copy "" 'https://.blob.core.windows.net/' --recursive

Aktualisieren Sie die Platzhalter, und im obigen Befehl, um die Werte Ihrer Umgebung widerzuspiegeln. Beispielbefehl unten: 

azcopy copy "C:azcopyTestcopysample" "https://teststor1110.blob.core.windows.net/folder1" --recursive 

Der Inhalt Ihres Quellen Ordner wird wie folgt angezeigt:

7. Wenn Sie im Azure-Portal zum Speicherkonto navigieren, können Sie sehen, dass der Ordner im Azure-Speicher-Container erstellt wurde und dass die Dateien in den Ordner kopiert wurden. 

8. Um den Inhalt des lokalen Ordners zu kopieren, ohne einen neuen Ordner im Azure-Speicher zu erstellen, können Sie den folgenden Befehl verwenden: 

azcopy copy "/*" 'https://.blob.core.windows.net/' Sample command given below: azcopy copy "C:azcopyTestcopyolder2*" "https://teststor1110.blob.core.windows.net/folder1" 

9. Die zusätzlichen Dateien werden aus dem lokalen Ordner „Ordner2“ in den Azure-Container „Ordner1“ kopiert, wie unten gezeigt. Beachten Sie, dass der Quellordner in diesem Fall nicht erstellt wird.

Was ist Azure PowerShell und wie wird es verwendet?

Azure PowerShell-Cmdlets können verwendet werden, um Azure-Ressourcen über PowerShell-Befehle und -Skripte zu verwalten. Neben AzCopy kann PowerShell auch zum Hochladen von Dateien aus einem lokalen Ordner in den Azure-Speicher verwendet werden. Der Azure PowerShell-Befehl Set-AzStorageBlobContent wird für denselben Zweck verwendet.

Datenübertragungen zu Azure Blob Storage mit Azure PowerShell

In diesem Abschnitt sehen wir uns die Befehle an, mit denen Sie Dateien mithilfe von PowerShell von einem Windows-Computer in den Azure Blob Storage hochladen können.

1. Azure PowerShell installieren

Installieren Sie in einer PowerShell-Sitzung mit Administratorrechten das Azure-PowerShell-Modul für alle Benutzer:

Install-Module -Name Az -AllowClobber -Scope AllUsers

Bestätigen Sie etwaige Rückfragen zur Installation mit Ja.

2. Bei Azure anmelden

Stellen Sie die Verbindung zu Ihrem Azure-Abonnement her:

Connect-AzAccount

Ein Anmeldedialog öffnet sich, in dem Sie sich mit Ihren Azure-Zugangsdaten anmelden.

3. Storage-Kontokontext abrufen

Rufen Sie den für die Datenübertragung zu verwendenden Speicherkonto Kontext mit den folgenden Befehlen ab:

$uploadStorage = Get-AzStorageAccount -ResourceGroupName <resource-group> -Name <storage-account-name>
$storContext   = $uploadStorage.Context

Aktualisieren Sie die Platzhalter mit für Ihre Umgebung spezifischen Werten, wie im folgenden Beispiel Befehl:

$uploadStorage = Get-AzStorageAccount -ResourceGroupName "cvo177" -Name "teststor1110"
$storContext   = $uploadStorage.Context

4. Einzelne Datei hochladen

Mit Set-AzStorageBlobContent laden Sie eine Datei aus einem lokalen Ordner in einen Blob-Container:

Set-AzStorageBlobContent -Container "folder2" `
  -File "C:\azcopy\testcopy\folder2\file1.txt" `
  -Context $storContext

Sobald die Datei erfolgreich hochgeladen wurde, erhalten Sie eine Meldung ähnlich der im folgenden Screenshot: 

5. Alle Dateien eines Ordners hochladen

Um alle Dateien im aktuellen Verzeichnis rekursiv hochzuladen, kombinieren Sie Get-ChildItem mit Set-AzStorageBlobContent:

Get-ChildItem -File -Recurse |
  Set-AzStorageBlobContent -Container "folder2" -Context $storContext

Im Azure-Portal sehen Sie anschließend alle in den vorherigen Schritten hochgeladenen Dateien im Container folder2.

Wenn Sie zum Azure-Speicher Container navigieren, werden alle in den Schritten 4 und 5 hochgeladenen Dateien angezeigt.

NetApp Cloud Volumes ONTAP: Beschleunigen Sie die Cloud-Datenmigration

Neben nativen Tools wie AzCopy und Azure PowerShell können Unternehmen für ihre Cloud-Datenmigration auch NetApp Cloud Volumes ONTAP einsetzen. Die Lösung basiert auf bewährter NetApp-Technologie und bietet eine hybride Datenverwaltung über lokale Rechenzentren und mehrere Cloud-Umgebungen hinweg.

Cloud Volumes ONTAP bietet:

• hohe Verfügbarkeit und integrierten Datenschutz,
• Speichereffizienzfunktionen wie Deduplizierung, Komprimierung und Thin Provisioning,
• Zugriff für Azure-VMs über SMB- und NFS-Protokolle,
• deutlich reduzierte Azure-Speicherkosten durch effizientere Nutzung der Kapazität.

Snapshot-, Replikations- und Klontechnologien

Die NetApp Snapshot™-Technologie ermöglicht zeitpunktbezogene, platzsparende Sicherungskopien von Daten auf lokalem NetApp-Speicher. Mit SnapMirror® können diese Snapshots, oder komplette Volumes repliziert werden, z. B. von On-Premises-Systemen zu Cloud Volumes ONTAP in Azure. So lassen sich Datenmigration und Disaster-Recovery-Szenarien stark vereinfachen.

Die NetApp FlexClone®-Technologie ermöglicht speichereffiziente, beschreibbare Klone von Volumes. Diese Klone können in CI/CD-Pipelines integriert werden, um Test- und Entwicklungsumgebungen in der Cloud bereitzustellen, ohne dass vollständige Datenkopien notwendig sind. Das verbessert die Datenportabilität zwischen lokalen Systemen und Cloud sowie innerhalb der Cloud, bei zentralem Management über eine einheitliche Oberfläche.

Mit Cloud Sync bietet NetApp außerdem einen Datenmigrationsdienst, der Daten schnell und effizient aus nahezu jedem Repository in objektbasierten Cloud-Speicher überträgt, sowohl von lokalen Systemen als auch zwischen verschiedenen Clouds.

Abschluss

Kunden können native Azure-Tools wie AzCopy und Azure PowerShell einsetzen, um Dateien in Azure Blob Storage hochzuladen. Für komplexere Szenarien – etwa hybride Umgebungen, große Datenmengen, hohe Anforderungen an Verfügbarkeit und Effizienz oder CI/CD-Workflows, bietet NetApp Cloud Volumes ONTAP zusätzliche Funktionen für Datenmanagement und Migration, darunter SnapMirror-Replikation, NetApp Snapshot™ und FlexClone®.

Durch die Kombination dieser Tools lässt sich eine skalierbare, effiziente und kostenoptimierte Datenmigrationsstrategie für Azure Blob Storage aufbauen, vom ersten Bulk-Upload bis hin zum laufenden Betrieb in Hybrid- oder Multicloud-Umgebungen.