Comment charger des fichiers vers le stockage Blob Azure à l'aide d'AzCopy, PowerShell et autres

La migration de données d’un référentiel existant vers le stockage Blob Azure et la synchronisation des données dans des déploiements hybrides peuvent constituer des obstacles de taille dans le parcours cloud de nombreuses entreprises. Il existe plusieurs outils et services natifs Azure et tiers pour aider à migrer des données vers Azure, les plus populaires étant AzCopy, Azure Import/Export, Azure Powershell et Azure Data Box. Comment faire le bon choix pour votre migration vers Azure ?

Le choix des bons outils dépend de plusieurs facteurs, notamment les délais de migration, la taille des données, la disponibilité de la bande passante réseau, les exigences de migration en ligne/hors ligne, etc. Cet article explore certains de ces outils de migration vers Azure ainsi que les étapes simples pour migrer facilement des fichiers vers le stockage Blob Azure, le tout pouvant être optimisé grâce aux capacités avancées de gestion des données de NetApp Cloud Volumes ONTAP pour la migration des données, les performances et la protection dans le stockage Blob Azure.

Outils pour charger des données dans le stockage Blob Azure

La migration des données et la mobilité étant des composants essentiels de l’adoption du cloud, Microsoft propose plusieurs outils et services natifs pour accompagner les clients dans ces processus. Explorons certains de ces outils en détail.

AzCopy est un utilitaire de ligne de commande utilisé pour transférer des données vers et depuis le stockage Azure. Cet outil léger peut être installé sur vos machines Windows, Linux ou Mac pour lancer le transfert des données vers Azure. AzCopy peut être utilisé dans un certain nombre de scénarios, pour transférer des données d’un environnement local vers le Blob Azure et Azure Files ou d’Amazon S3 vers le stockage Azure. L’outil permet également la copie de données vers ou depuis Azure Stack.

Azure PowerShell est une autre option de ligne de commandes permettant de transférer des données d’un environnement local vers le stockage Blob Azure. La commande Azure PowerShell Set-AzStorageBlobContent permet de copier des données vers le stockage Blob Azure.

Le service Azure Import/Export est une méthode de transfert physique utilisée pour les transferts de grande envergure où les données doivent être importées ou exportées à partir du stockage Blob Azure ou d’Azure Files. Ce service peut également être utilisé pour des cas d’usage tels que la distribution de contenu et la sauvegarde/restauration de données. Les données sont envoyées vers les data centers Azure sur des disques SSD ou HDD fournis par le client.

La solution Azure Data Box utilise un périphérique de stockage Data Box propriétaire fourni par Microsoft pour transférer des données vers et depuis les data centers Azure. Le service est recommandé lorsque le volume de données est supérieur à 40 To et la bande passante pour transférer des données sur le réseau est limitée. Les cas d'usage les plus populaires sont la migration en bloc ponctuelle de données, les transferts de données initiaux vers Azure suivis de transferts incrémentiels sur le réseau, ainsi que le chargement périodique de données en masse.

Comment charger des fichiers dans le stockage Blob Azure à l’aide d'AzCopy

AzCopy est disponible pour les systèmes Windows, Linux et macOS. Aucune installation n'est nécessaire, car AzCopy fonctionne comme un fichier exécutable. Le fichier zip pour Windows et Linux doit être téléchargé et extrait pour exécuter l’outil. Pour Linux, le fichier tar doit être téléchargé et décompressé avant d’exécuter les commandes.

L’outil AzCopy peut être autorisé à accéder au stockage Blob Azure en utilisant soit Azure Active Directory® (AD), soit un jeton SAS. Lors de l’utilisation de l’authentification Azure AD, les clients peuvent choisir de s’authentifier avec un compte utilisateur avant de lancer la copie de données. Lors de l’utilisation de scripts d’automatisation, l’authentification Azure AD peut être réalisée à l’aide d’un principal de service ou d’une identité gérée.

Dans cette procédure pas à pas d'AzCopy, nous utilisons l’authentification via un compte utilisateur Azure AD. Le compte doit se voir attribuer le rôle de contributeur de données de blob de stockage ou de propriétaire de données de blob de stockage dans le conteneur de stockage où les données doivent être copiées, ainsi que dans le compte de stockage, le groupe de ressources et l’abonnement à utiliser.

1. Accédez au dossier où AzCopy est téléchargé et exécutez la commande suivante pour vous connecter :

azcopy login

Vous verrez alors des détails sur la façon de vous connecter à https://microsoft.com/devicelogin. Suivez les instructions affichées et utilisez le code fourni pour vous authentifier.

2. Sur la page de connexion, saisissez vos identifiants Azure avec accès au stockage et cliquez sur « Suivant ».

3. De retour dans la ligne de commandes, vous recevrez un message indiquant que la connexion a réussi (« login succeeded »).

4. Exécutez la commande AzCopy suivante pour créer un conteneur dans le compte de stockage afin de charger des fichiers :

azcopy make "https://.blob.core.windows.net/"

Mettez à jour l’espace réservé avec le nom du compte de stockage dans Azure et avec le nom du conteneur que vous souhaitez créer. Exemple de commande :

azcopy make "https://teststor1110.blob.core.windows.net/folder1"

5. Pour copier un fichier de votre ordinateur local vers un compte de stockage :

azcopy copy "https://.core.windows.net//"

Mettez à jour les espaces réservés dans la commande ci-dessus afin qu'ils reflètent les valeurs de votre environnement, ainsi que le nom du conteneur de stockage que vous avez créé à l'étape 4.

Exemple de commande :

azcopy copy 'C:azcopyTestcopyolder1ile1.txt' 'https://teststor1110.blob.core.windows.net/folder1'

Remarque : dans l’exemple de commande ci-dessus, folder1 est le conteneur qui a été créé à l’étape 4.

Une fois la commande exécutée avec succès, l’état de la tâche sera indiqué comme terminé (Completed).

6. Pour copier tous les fichiers d’un dossier local vers le conteneur de stockage Azure, exécutez la commande suivante :

azcopy copy "" 'https://.blob.core.windows.net/' --recursive

Mettez à jour les espaces réservés dans la commande ci-dessus pour refléter les valeurs de votre environnement. Exemple de commande :

azcopy copy "C:azcopyTestcopysample" "https://teststor1110.blob.core.windows.net/folder1" --recursive

Le contenu de votre dossier source s’affichera comme suit :

7. Si vous accédez au compte de stockage dans le portail Azure, vous pouvez voir que le dossier a été créé dans le conteneur de stockage Azure et que les fichiers sont copiés dans le dossier.

8. Pour copier le contenu du dossier local sans créer de nouveau dossier dans le stockage Azure, vous pouvez utiliser la commande suivante :

azcopy copy "/*" 'https://.blob.core.windows.net/'


Exemple de commande :

azcopy copy "C:azcopyTestcopyolder2*" "https://teststor1110.blob.core.windows.net/folder1"

9. Les fichiers supplémentaires sont copiés à partir du dossier local nommé folder2 vers le dossier du conteneur Azure folder1, comme indiqué ci-dessous. Notez que le dossier source n’est pas créé dans ce cas.

Présentation d’Azure PowerShell et de son utilisation

Transferts de fichiers vers le stockage Blob Azure à l’aide d’Azure PowerShell

Dans cette section, nous allons examiner les commandes qui peuvent être utilisées pour charger des fichiers dans le stockage Blob Azure à l’aide de PowerShell depuis un ordinateur Windows.


1. Installez la dernière version d’Azure PowerShell pour tous les utilisateurs du système dans une session PowerShell ouverte avec des droits d’administrateur à l’aide de la commande suivante :

Install-Module -Name Az -AllowClobber -Scope AllUsers

Sélectionnez « Oui » lorsque vous êtes invité à autoriser l'installation de packages.



2. Utilisez la commande suivante et connectez-vous à votre abonnement Azure lorsque vous y êtes invité :

Connect-AzAccount

3. Obtenez le contexte du compte de stockage à utiliser pour le transfert de données à l’aide des commandes suivantes :

$uploadstorage=Get-AzStorageAccount -ResourceGroupName -Name $storcontext=$uploadstorage.Context

Mettez à jour les espaces réservés avec des valeurs spécifiques à votre environnement, comme dans l’exemple de commande ci-dessous :

$uploadstorage=Get-AzStorageAccount -ResourceGroupName cvo177 -Name teststor1110 $storcontext=$uploadstorage.Context

4. Exécutez la commande suivante pour charger un fichier de votre répertoire local vers un conteneur dans le stockage Azure :

Set-AzStorageBlobContent -Container "" -File "" -Context $storcontext

Remplacez les espaces réservés par des valeurs spécifiques à votre environnement. Exemple :

Set-AzStorageBlobContent -Container "folder2" -File "C:azcopyTestcopyolder2ile1.txt" -Context $storcontext

Une fois le fichier chargé avec succès, vous recevrez un message similaire à celui figurant dans la capture d’écran ci-dessous :

5. Pour charger tous les fichiers du dossier sélectionné, exécutez la commande suivante :

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "" -Context $storcontext

Exemple de commande :

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "folder2" -Context $storcontext

6. Si vous accédez au conteneur de stockage Azure, vous verrez tous les fichiers chargés aux étapes 4 et 5.

NetApp Cloud Volumes ONTAP : accélérer la migration des données vers le cloud

Nous avons abordé la manière dont la migration des données vers Azure peut être facilement réalisée à l’aide d'AzCopy et des commandes Azure PowerShell. Les clients peuvent également utiliser NetApp Cloud Volumes ONTAP pour la migration des données vers le cloud grâce à la technologie fiable de réplication et de clonage NetApp. Cloud Volumes ONTAP offre une solution de gestion des données hybride, couvrant les environnements sur site ainsi que plusieurs environnements cloud.

Cloud Volumes ONTAP se distingue par la valeur qu’il apporte à ses clients grâce à des fonctionnalités de haute disponibilité, de protection des données et d’efficacité du stockage telles que la déduplication, la compression et l’allocation dynamique. Les volumes Cloud Volumes ONTAP sont accessibles par des machines virtuelles dans Azure via les protocoles SMB/NFS et permettent de réaliser une économie de stockage inégalée grâce à ces fonctionnalités. Comme l'utilisation du stockage est optimisée, le coût du stockage Azure est considérablement réduit.

La technologie NetApp Snapshot^™ ainsi que SnapMirror^® pour la réplication des données facilitent la migration des données des environnements sur site vers le cloud. La technologie SnapShot permet d'effectuer des copies de sauvegarde instantanées des données à partir du stockage NetApp sur site, tandis que la réplication des données SnapMirror permet de les répliquer vers des volumes Cloud Volumes ONTAP dans Azure. Le service peut également être utilisé pour maintenir la synchronisation des données entre les environnements sur site et cloud pour la reprise d'activité.

La technologie de clonage des données NetApp FlexClone^® permet de créer des clones de volumes inscriptibles compacts sur site qui peuvent être intégrés dans des processus CI/CD pour déployer des environnements de test/développement dans le cloud. Cela améliore la portabilité des données de l'environnement sur site vers le cloud ainsi que dans le cloud, le tout pouvant être géré à partir d’une interface de gestion unifiée. Ainsi, Cloud Volumes ONTAP aide les entreprises à gagner en agilité et à accélérer la mise sur le marché de leurs applications.

Cloud Sync est un autre service de migration des données de NetApp , qui permet de migrer avec rapidité et efficacité des données de n’importe quel référentiel vers un stockage objet dans le cloud, que ce soit à partir d’un système sur site ou entre clouds.

Conclusion

Les clients peuvent choisir parmi des outils natifs tels qu'AzCopy et Azure PowerShell pour charger des fichiers dans le stockage Blob Azure. Ils peuvent également utiliser Cloud Volumes ONTAP pour bénéficier de fonctionnalités avancées de gestion des données et de migration en utilisant notamment la réplication SnapMirror, les snapshots NetApp et FlexClone.