Come caricare file nell'archiviazione BLOB di Azure con AzCopy, PowerShell e altro ancora

La migrazione dei dati da un repository esistente ad Azure Blob e la sincronizzazione dei dati nelle implementazioni ibride possono rappresentare ostacoli significativi nel percorso cloud di molte organizzazioni. Esistono diversi strumenti e servizi nativi di Azure e di terze parti per aiutare a migrare i dati su Azure, i più popolari sono AzCopy, Azure Import/Export, Azure PowerShell e Azure Data Box. Come puoi sapere qual è la scelta giusta per la tua migrazione su Azure?

La scelta degli strumenti giusti dipende da diversi fattori, tra cui le tempistiche per la migrazione, le dimensioni dei dati, la disponibilità di larghezza di banda di rete, i requisiti di migrazione online/offline e altro ancora. Questo blog condividerà ed esplorerà alcuni di questi strumenti di migrazione di Azure e i semplici passaggi su come eseguire facilmente la migrazione dei file nell'archiviazione Blob di Azure, il tutto potenziato con l'aiuto delle funzionalità avanzate di gestione dei dati di NetApp Cloud Volumes ONTAP per la migrazione dei dati, le performance e la protezione nell'archiviazione Blob di Azure.

Strumenti per caricare dati in Azure Blob Storage

Poiché la migrazione dei dati e la mobilità sono componenti fondamentali dell'adozione del cloud, Microsoft offre diversi strumenti e servizi nativi per supportare i clienti in questi processi. Esploriamo alcuni di questi strumenti in dettaglio.

AzCopy è un'utilità da riga di comando usata per trasferire dati da e verso l'archiviazione di Azure. È uno strumento leggero che può essere installato sui computer Windows, Linux o Mac per avviare il trasferimento dei dati su Azure. AzCopy può essere usato in diversi scenari, per il trasferimento di dati dall'ambiente locale ad Azure Blob e Azure Files o da Amazon S3 all'archiviazione di Azure. Lo strumento può essere usato anche per la copia dei dati da o verso Azure Stack.

Azure PowerShell è un'altra opzione della riga di comando per trasferire dati dall'ambiente locale all'archiviazione Blob di Azure. Il comando Azure PowerShell Set-AzStorageBlobContent può essere utilizzato per copiare dati nell'archiviazione Blob di Azure.

Azure Import/Export è un metodo di trasferimento fisico utilizzato in scenari di trasferimento di grandi quantità di dati in cui i dati devono essere importati o esportati da Azure Blob storage o Azure Files. Oltre ai trasferimenti di dati su larga scala, questa soluzione può essere utilizzata anche per casi d'uso come distribuzione dei contenuti e backup/ripristino dei dati. I dati vengono spediti ai data center di Azure in SSD o HDD forniti dal cliente.

Azure Data Box utilizza un dispositivo di storage Data Box proprietario fornito da Microsoft per trasferire dati da e verso i data center di Azure. Il servizio è consigliato negli scenari in cui la dimensione dei dati è superiore a 40 TB e la larghezza di banda per trasferire dati sulla rete è limitata. I casi d'uso più diffusi sono la migrazione in blocco dei dati una tantum, i trasferimenti iniziali dei dati verso Azure seguiti da trasferimenti incrementali sulla rete, così come il caricamento periodico di dati in blocco.

Come caricare file su Azure Blob Storage usando AzCopy

AzCopy è disponibile per sistemi Windows, Linux e MacOS. Non è coinvolta alcuna installazione in quanto AzCopy viene eseguito come file eseguibile. Il file zip per Windows e Linux deve essere scaricato ed estratto per eseguire lo strumento. Per Linux, il file tar deve essere scaricato e decompresso prima di eseguire i comandi.

Lo strumento AzCopy può essere autorizzato ad accedere all'archiviazione Blob di Azure utilizzando Azure AD o un token SAS. Durante l'utilizzo dell'autenticazione Azure AD, i clienti possono scegliere di autenticarsi con un account utente prima di avviare la copia dei dati. Durante l'utilizzo di script di automazione, l'autenticazione Azure AD può essere ottenuta utilizzando un service principal o un'identità gestita.

In questa procedura dettagliata di AzCopy utilizzeremo l'autenticazione tramite un account utente di Azure AD. All'account deve essere assegnato il ruolo di collaboratore ai dati BLOB di archiviazione o di proprietario dei dati BLOB di archiviazione nel container di archiviazione in cui copiare i dati, nonché nell'account di archiviazione, nel gruppo di risorse e nella sottoscrizione da usare.

1. Individua la cartella in cui AzCopy è stato scaricato ed esegui il seguente comando per effettuare l'accesso:

azcopy login

Ora vedrai i dettagli su come accedere a https://microsoft.com/devicelogin. Segui le istruzioni nell'output e usa il codice fornito per autenticarti.

2. Nella pagina di accesso, inserisci le tue credenziali Azure con accesso allo storage e fai clic su “Next.”

3. Tornando alla riga di comando, riceverai un messaggio "login succeeded".

4. Eseguire il seguente comando AzCopy per creare un container nell'account di archiviazione per caricare i file:

azcopy make "https://.blob.core.windows.net/"

Aggiorna il segnaposto con il nome dell'account di archiviazione in Azure e con il nome del container che vuoi creare. Di seguito puoi vedere un comando di esempio:

azcopy make "https://teststor1110.blob.core.windows.net/folder1"

5. Per copiare un file dal computer locale all'account di Storage

azcopy copy "https://.core.windows.net//"

Aggiorna i segnaposto e nel comando precedente per riflettere i valori del tuo ambiente e con il nome del container di storage che hai creato nel passaggio 4.

Esempio di comando riportato di seguito:

azcopy copy 'C:azcopyTestcopyolder1ile1.txt' 'https://teststor1110.blob.core.windows.net/folder1'

Nota: Nell'esempio sopra, folder1 nel comando sopra è il container che è stato creato nel passaggio 4.

Al completamento corretto del comando, lo stato del processo verrà visualizzato come Completato.

6. Per copiare tutti i file da una cartella locale al container di storage di Azure, eseguire il comando seguente:

azcopy copy "" 'https://.blob.core.windows.net/' --recursive

Aggiornare i segnaposto , , e nel comando precedente per riflettere i valori dell'ambiente. Esempio di comando riportato di seguito:

azcopy copy "C:azcopyTestcopysample" "https://teststor1110.blob.core.windows.net/folder1" --recursive

Il contenuto della cartella di origine verrà visualizzato come segue:

7. Se si passa all'account di storage nel portale di Azure, è possibile vedere che la cartella è stata creata all'interno del container di storage di Azure e che i file sono copiati all'interno della cartella.

8. Per copiare il contenuto della cartella locale senza creare una nuova cartella in Azure storage, è possibile usare il comando seguente:

azcopy copy "/*" 'https://.blob.core.windows.net/'


Esempio di comando riportato di seguito:

azcopy copy "C:azcopyTestcopyolder2*" "https://teststor1110.blob.core.windows.net/folder1"

9. I file aggiuntivi vengono copiati dalla cartella locale denominata folder2 nella cartella container di Azure folder1, come illustrato di seguito. Si noti che in questo caso la cartella di origine non viene creata.

Cos'è Azure PowerShell e come usarlo

Trasferimenti di file su Azure Blob Storage utilizzando Azure PowerShell

In questa sezione esamineremo i comandi che possono essere usati per caricare file nell'archiviazione blob di Azure usando PowerShell da una macchina Windows.


1. Installare la versione più recente di Azure PowerShell per tutti gli utenti sul sistema in una sessione di PowerShell aperta con diritti di amministratore usando il seguente comando:

Install-Module -Name Az -AllowClobber -Scope AllUsers

Seleziona "Sì" quando ti vengono richieste le autorizzazioni per installare i pacchetti.



2. Usa il comando seguente e accedi alla tua sottoscrizione Azure quando richiesto:

Connect-AzAccount

3. Ottieni il contesto dell'account di archiviazione da usare per il trasferimento dei dati utilizzando i seguenti comandi:

$uploadstorage=Get-AzStorageAccount -ResourceGroupName -Name $storcontext=$uploadstorage.Context

Aggiorna i segnaposto e con valori specifici per il tuo ambiente, come nel comando di esempio riportato di seguito:

$uploadstorage=Get-AzStorageAccount -ResourceGroupName cvo177 -Name teststor1110 $storcontext=$uploadstorage.Context

4. Eseguire il comando seguente per caricare un file dalla directory locale in un container in Azure storage:

Set-AzStorageBlobContent -Container "" -File "" -Context $storcontext

Sostituisci i segnaposto e con valori specifici per il tuo ambiente. Esempio riportato di seguito:

Set-AzStorageBlobContent -Container "folder2" -File "C:azcopyTestcopyolder2ile1.txt" -Context $storcontext

Una volta caricato correttamente il file, riceverai un messaggio simile a quello che puoi vedere nello screenshot qui sotto:

5. Per caricare tutti i file nella cartella corrente, esegui il seguente comando

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "" -Context $storcontext

Esempio di comando riportato di seguito:

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "folder2" -Context $storcontext

6. Se si passa al container di storage di Azure, verranno visualizzati tutti i file caricati nei passaggi 4 e 5.

NetApp Cloud Volumes ONTAP: accelera la migrazione dei dati nel cloud

Abbiamo illustrato come la migrazione dei dati in Azure possa essere facilmente ottenuta utilizzando AzCopy e i comandi di Azure PowerShell. I clienti possono inoltre sfruttare NetApp Cloud Volumes ONTAP per la migrazione dei dati nel cloud tramite la tecnologia affidabile di replica e cloning NetApp. Cloud Volumes ONTAP offre una soluzione di gestione dati ibrida, che si estende sia agli ambienti on-premises che a molteplici ambienti cloud.

Cloud Volumes ONTAP si distingue per il valore che offre ai suoi clienti grazie a funzionalità di alta disponibilità, protezione dei dati ed efficienza dello storage come deduplica, compressione e thin provisioning. I volumi Cloud Volumes ONTAP possono essere accessibili dalle macchine virtuali in Azure tramite protocolli SMB/NFS e aiutano a ottenere un'economia di storage senza precedenti grazie a queste funzionalità. Poiché lo storage viene utilizzato in modo più efficiente, anche il costo dello storage Azure si riduce considerevolmente.

NetApp Snapshot^™ tecnologia, insieme a SnapMirror^® replica dei dati, può facilitare la migrazione dei dati dagli ambienti on-premises al cloud. Mentre la tecnologia SnapShot può essere utilizzata per eseguire copie di backup point-in-time dei dati dallo storage on-premises NetApp, la replica dei dati SnapMirror aiuta a replicarli sui volumi Cloud Volumes ONTAP in Azure. Il servizio può anche essere utilizzato per mantenere i dati sincronizzati tra ambienti on-premises e cloud per scopi di DR.

NetApp FlexClone^® La tecnologia di cloning dei dati aiuta a creare cloni scrivibili efficienti dal punto di vista dello storage di volumi on-premises che possono essere integrati nei processi CI/CD per implementare ambienti di test/dev nel cloud. Questo migliora la Portabilità dei dati dall'on-premises al cloud e anche all'interno del cloud, il tutto gestibile da un'unica interfaccia di gestione. Così, Cloud Volumes ONTAP aiuta le organizzazioni a raggiungere agilità e un time-to-market più rapido per le loro applicazioni.

Un altro NetApp servizio di migrazione dei dati è Cloud Sync, che consente di migrare in modo rapido ed efficiente i dati da qualsiasi repository allo storage a oggetti nel cloud, sia da un sistema on-premise che tra cloud.

Conclusione

I clienti possono scegliere tra strumenti nativi come AzCopy e Azure PowerShell per caricare file su Azure Blob Storage. Possono inoltre sfruttare Cloud Volumes ONTAP per funzionalità avanzate di gestione e migrazione dei dati utilizzando funzionalità come replica SnapMirror, Snapshot NetApp e FlexClone.