Comment charger des fichiers vers le stockage Blob Azure à l'aide d'AzCopy, PowerShell et autres

La migration de données d'un référentiel existant vers Azure Blob et la synchronisation des données dans des déploiements hybrides peuvent constituer des obstacles importants pour de nombreuses organisations lors de leur transition vers le cloud. Il existe plusieurs outils et services natifs Azure et tiers pour aider à migrer des données vers Azure, les plus populaires étant AzCopy, Azure Import/Export, Azure PowerShell et Azure Data Box. Comment savoir lequel est le bon choix pour votre migration vers Azure ?

Le choix des outils appropriés dépend de plusieurs facteurs, notamment les délais de migration, la taille des données, la bande passante réseau disponible, les exigences de migration en ligne/hors ligne, et plus encore. Cet article présentera et explorera certains de ces outils de migration Azure ainsi que les étapes simples pour migrer facilement des fichiers vers le stockage Azure Blob, toutes pouvant être optimisées grâce aux fonctionnalités avancées de gestion des données de NetApp Cloud Volumes ONTAP pour la migration des données, les performances et la protection dans le stockage Azure Blob.

Cliquez ci-dessous pour en savoir plus :

• Comment charger des données sur Azure à l’aide de AzCopy
• Azure PowerShell et comment l'utiliser

Outils pour charger des données dans Azure Blob Storage

La migration des données et la mobilité étant des composants essentiels de l’adoption du cloud, Microsoft propose plusieurs outils et services natifs pour accompagner les clients dans ces processus. Explorons certains de ces outils en détail.

AzCopy est un utilitaire en ligne de commande utilisé pour transférer des données vers et depuis le stockage Azure. Il s'agit d'un outil léger qui peut être installé sur vos machines Windows, Linux ou Mac pour initier le transfert de données vers Azure. AzCopy peut être utilisé dans de nombreux scénarios, pour transférer des données de l'infrastructure locale vers Azure Blob et Azure Files ou d'Amazon S3 vers le stockage Azure. L'outil peut également être utilisé pour la copie de données vers ou depuis Azure Stack.

Cliquez pour découvrir comment télécharger des données vers Azure à l’aide de AzCopy

Azure PowerShell est une autre option de ligne de commandes pour transférer des données d’un environnement local vers le stockage Azure Blob. La commande Azure PowerShell Set-AzStorageBlobContent peut être utilisée pour copier des données vers le stockage Azure Blob.

Cliquez pour en savoir plus sur Azure PowerShell et comment l'utiliser

Azure Import/Export est une méthode de transfert physique utilisée dans les scénarios de transfert de données de grande envergure où les données doivent être importées ou exportées à partir du stockage Azure Blob ou d’Azure Files. Outre les transferts de données à grande échelle, cette solution peut également être utilisée pour des cas d’usage tels que la distribution de contenu et la sauvegarde des données. Les données sont envoyées vers les data centers Azure sur des disques SSD ou HDD fournis par le client.

Azure Data Box utilise un périphérique de stockage propriétaire Data Box fourni par Microsoft pour transférer des données vers et depuis les centres de données Azure. Le service est recommandé dans les scénarios où la taille des données dépasse 40 To et où la bande passante pour transférer des données sur le réseau est limitée. Les cas d'utilisation les plus populaires sont la migration massive de données en une seule fois, les transferts initiaux de données vers Azure suivis de transferts incrémentiels sur le réseau, ainsi que le chargement périodique de données volumineuses.

Comment charger des fichiers dans Azure Blob Storage à l'aide de AzCopy

AzCopy est disponible pour Windows, Linux et MacOS. Aucune installation n'est requise car AzCopy s'exécute en tant que fichier exécutable. Le fichier zip pour Windows et Linux doit être téléchargé et extrait pour exécuter l'outil. Pour Linux, le fichier tar doit être téléchargé et décompressé avant d'exécuter les commandes.

L’outil AzCopy peut être autorisé à accéder au stockage Blob Azure soit en utilisant Azure AD, soit un jeton SAS. Lors de l’utilisation de l’authentification Azure AD, les clients peuvent choisir de s’authentifier avec un compte utilisateur avant de lancer la copie de données. Lors de l’utilisation de scripts d’automatisation, l’authentification Azure AD peut être réalisée à l’aide d’un principal de service ou d’une identité managée.

Dans ce guide de AzCopy, nous utiliserons l'authentification via un compte utilisateur Azure AD. Le compte doit être affecté soit au rôle de contributeur de données Blob de stockage, soit au rôle de propriétaire de données Blob de stockage dans le conteneur de stockage où les données doivent être copiées, ainsi que dans le compte de stockage, le groupe de ressources et l'abonnement à utiliser.

1. Accédez au dossier où AzCopy a été téléchargé et exécutez la commande suivante pour vous connecter :

   azcopy login
   

   
   
   

   Vous verrez maintenant des informations sur la procédure de connexion à https://microsoft.com/devicelogin. Suivez les instructions affichées et utilisez le code fourni pour vous authentifier.

2. Sur la page de connexion, saisissez vos identifiants Azure avec accès au stockage et cliquez sur “Suivant.”

   
   

3. De retour dans la ligne de commandes, vous recevrez un message « login succeeded ».

   
   

4. Exécutez la commande AzCopy suivante pour créer un conteneur dans le compte de stockage afin d'y télécharger des fichiers :

   azcopy make "https://.blob.core.windows.net/"
   

   Mettez à jour le <Azure storage account name> espace réservé avec le nom du compte de stockage dans Azure et <container> avec le nom du conteneur que vous souhaitez créer. Ci-dessous, vous pouvez voir un exemple de commande :

   azcopy make "https://teststor1110.blob.core.windows.net/folder1"
   

   

5. Pour copier un fichier de votre ordinateur local vers un Storage account

   azcopy copy "https://.core.windows.net//"
   

   Mettez à jour les <Local of file in local disk> et <Azure storage account name> espaces réservés dans la commande ci-dessus pour refléter les valeurs de votre environnement, et <container> avec le nom du conteneur de stockage que vous avez créé à l’étape 4.

   Exemple de commande ci-dessous :

   azcopy copy 'C:azcopyTestcopyolder1ile1.txt' 'https://teststor1110.blob.core.windows.net/folder1'
   

   Remarque : dans l'exemple ci-dessus, folder1 dans la commande ci-dessus est le conteneur qui a été créé à l'étape 4.

   

   Une fois la commande exécutée avec succès, le statut de la tâche sera affiché comme Terminé.

6. Pour copier tous les fichiers d’un dossier local vers le conteneur de stockage Azure, exécutez la commande suivante :

   azcopy copy "" 'https://.blob.core.windows.net/' --recursive
   

   Mettez à jour les <Location of folder in local disk>, <Azure storage account name>, et <container> espaces réservés dans la commande ci-dessus pour qu'ils correspondent aux valeurs de votre environnement. Commande d'exemple ci-dessous :

   azcopy copy "C:azcopyTestcopysample" "https://teststor1110.blob.core.windows.net/folder1" --recursive
   

   Le contenu de votre dossier source apparaîtra comme ci-dessous :

   

7. Si vous accédez au compte de stockage dans le portail Azure, vous pouvez voir que le dossier a été créé dans le conteneur de stockage Azure et que les fichiers sont copiés dans le dossier.

   

8. Pour copier le contenu du dossier local sans créer de nouveau dossier dans le stockage Azure, vous pouvez utiliser la commande suivante :

   azcopy copy "/*" 'https://.blob.core.windows.net/'
   

   Exemple de commande ci-dessous :

   azcopy copy "C:azcopyTestcopyolder2*" "https://teststor1110.blob.core.windows.net/folder1"
   

   
   

9. Les fichiers supplémentaires sont copiés à partir du dossier local nommé folder2 vers le dossier du conteneur Azure folder1, comme indiqué ci-dessous. Notez que le dossier source n’est pas créé dans ce cas.

   
   

Qu'est-ce qu'Azure PowerShell et comment l'utiliser

Les cmdlets Azure PowerShell peuvent être utilisées pour gérer les ressources Azure à partir de commandes et de scripts PowerShell. En plus de AzCopy, PowerShell peut également être utilisé pour charger des fichiers depuis un dossier local vers le stockage Azure. La commande Azure PowerShell Set-AzStorageBlobContent est utilisée à cette fin.

Transferts de fichiers vers Azure Blob Storage à l'aide d'Azure PowerShell

Dans cette section, nous allons examiner les commandes qui peuvent être utilisées pour charger des fichiers dans le stockage Blob Azure à l’aide de PowerShell depuis un ordinateur Windows.

1. Installez la dernière version d’Azure PowerShell pour tous les utilisateurs du système dans une session PowerShell ouverte avec des droits d’administrateur à l’aide de la commande suivante :

   Install-Module -Name Az -AllowClobber -Scope AllUsers
   

   Sélectionnez « Oui » lorsque vous êtes invité à autoriser l'installation de paquets.

   
   

2. Utilisez la commande suivante et connectez-vous à votre abonnement Azure lorsque vous y êtes invité :

   Connect-AzAccount
   

   
   

3. Obtenez le contexte du compte de stockage à utiliser pour le transfert de données à l’aide des commandes suivantes :

   $uploadstorage=Get-AzStorageAccount -ResourceGroupName <resource group name> -Name <storage account name>
   
   
   $storcontext=$uploadstorage.Context
   

   Mettez à jour les espaces réservés <resource group name> et <storage account name> avec des valeurs spécifiques à votre environnement, comme dans l'exemple de commande ci-dessous :

   $uploadstorage=Get-AzStorageAccount -ResourceGroupName cvo177 -Name teststor1110
   
   
   
   
   $storcontext=$uploadstorage.Context
   

   
   

4. Exécutez la commande suivante pour charger un fichier depuis votre répertoire local vers un conteneur dans Azure storage :

   Set-AzStorageBlobContent -Container "<storage container name>" -File "<Location of file in local disk>" -Context $storcontext
   

   Remplacez les espaces réservés <storage container name> et <Location of file in local disk> par des valeurs spécifiques à votre environnement. Exemple ci-dessous :

   Set-AzStorageBlobContent -Container "<storage container name>" -File "<Location of file in local disk>" -Context $storcontext
   

   Une fois le fichier téléchargé avec succès, vous recevrez un message similaire à ce que vous pouvez voir dans la capture d'écran ci-dessous :

   
   

5. Pour téléverser tous les fichiers du dossier actuel, exécutez la commande suivante

   Get-ChildItem -File -Recurse | Set-AzStorageBlobContent -Container "<storage container name>" -Context $storcontext
   

   Exemple de commande ci-dessous :

   Get-ChildItem -File -Recurse | Set-AzStorageBlobContent -Container "folder2" -Context $storcontext
   

   
   

6. Si vous accédez au conteneur de stockage Azure, vous verrez tous les fichiers téléchargés aux étapes 4 et 5.

   
   

NetApp Cloud Volumes ONTAP : accélérer la migration des données vers le cloud

Nous avons expliqué comment la migration des données vers Azure peut être facilement réalisée à l'aide des commandes AzCopy et Azure PowerShell. Les clients peuvent également tirer parti de NetApp Cloud Volumes ONTAP pour la migration des données vers le cloud grâce à la technologie de réplication et de clonage fiable de NetApp. Cloud Volumes ONTAP offre une solution de gestion des données hybride, couvrant les environnements sur site ainsi que plusieurs environnements cloud.

Cloud Volumes ONTAP se distingue par la valeur qu'il apporte à ses clients grâce à la haute disponibilité, à la protection des données et à l'efficacité du stockage, avec des fonctionnalités telles que la déduplication, la compression et le provisionnement fin. Les volumes Cloud Volumes ONTAP peuvent être accessibles aux machines virtuelles dans Azure via les protocoles SMB/NFS et contribuent à réaliser une économie de stockage inégalée grâce à ces fonctionnalités. Comme le stockage est utilisé de manière plus efficace, le coût du stockage Azure est également considérablement réduit.

NetApp Snapshot^™ technology ainsi que SnapMirror^® data replication peuvent faciliter la migration des données des environnements sur site vers le cloud. Alors que la technologie SnapShot peut être utilisée pour effectuer des copies de sauvegarde instantanées des données à partir du stockage NetApp sur site, la réplication des données SnapMirror permet de les répliquer vers des volumes Cloud Volumes ONTAP dans Azure. Le service peut également être utilisé pour maintenir la synchronisation des données entre les environnements sur site et cloud à des fins de reprise après sinistre.

NetApp FlexClone^® La technologie de clonage des données permet de créer des clones inscriptibles de volumes sur site, efficaces en termes de stockage, qui peuvent être intégrés dans des processus CI/CD pour déployer des environnements de test/développement dans le cloud. Cela améliore la portabilité des données du sur site vers le cloud et également au sein du cloud, le tout pouvant être géré à partir d’une interface de gestion unifiée. Ainsi, Cloud Volumes ONTAP aide les organisations à gagner en agilité et à accélérer la mise sur le marché de leurs applications.

Un autre service de migration des données NetApp est Cloud Sync, qui peut migrer rapidement et efficacement des données de n’importe quel référentiel vers un stockage objet dans le cloud, que ce soit à partir d’un système sur site ou entre clouds.

Conclusion

Les clients peuvent choisir parmi des outils natifs comme AzCopy et Azure PowerShell pour télécharger des fichiers vers Azure Blob Storage. Ils peuvent également exploiter Cloud Volumes ONTAP pour des capacités avancées de gestion des données et de migration des données en utilisant des fonctionnalités comme la réplication SnapMirror, les snapshots NetApp et FlexClone.