Como carregar arquivos para o Armazenamento de Blobs do Azure com AzCopy, PowerShell e mais

Migrar dados de um repositório existente para o Azure Blob e manter os dados sincronizados em implantações híbridas podem ser obstáculos significativos na jornada de muitas organizações para a nuvem. Existem diversas ferramentas e serviços nativos do Azure e de terceiro para ajudar a migrar dados para o Azure, sendo os mais populares AzCopy, Azure Import/Export, Azure PowerShell e Azure Data Box. Como você pode saber qual é a escolha certa para a sua migração para o Azure?

A escolha das ferramentas certas depende de vários fatores, incluindo prazos para migração, tamanho dos dados, disponibilidade de largura de banda da rede, requisitos de migração online/offline e mais. Este blog compartilhará e explorará algumas dessas ferramentas de migração do Azure e os passos simples sobre como migrar arquivos para Azure Blob storage com facilidade, tudo isso podendo ser aprimorado com a ajuda dos recursos avançados de gerenciamento de dados do NetApp Cloud Volumes ONTAP para migração de dados, desempenho e proteção no Azure Blob storage.

Clique para saber mais sobre:

• Como carregar dados para o Azure usando AzCopy
• Azure PowerShell e como usá-lo

Ferramentas para carregar dados no Azure Blob Storage

Com migração de dados e mobilidade sendo componentes críticos da adoção de nuvem, a Microsoft oferece diversas ferramentas e serviços nativos para auxiliar os clientes nesses processos. Vamos explorar algumas dessas ferramentas em detalhes.

AzCopy é um utilitário de linha de comando usado para transferir dados de e para o armazenamento do Azure. É uma ferramenta leve que pode ser instalada em suas máquinas Windows, Linux ou Mac para iniciar a transferência de dados para o Azure. AzCopy pode ser usado em diversos cenários, para transferir dados de ambientes locais para o Azure Blob e Azure Files ou do Amazon S3 para o armazenamento do Azure. A ferramenta também pode ser usada para cópia de dados de ou para o Azure Stack.

Clique para aprender como carregar dados para o Azure usando AzCopy

Azure PowerShell é outra opção de linha de comando para transferir dados de um ambiente local para o Azure Blob storage. O comando Azure PowerShell Set-AzStorageBlobContent pode ser usado para copiar dados para o Azure blob storage.

Clique para avançar para Azure PowerShell e como usá-lo

Azure Import/Export é um método de transferência física usado em cenários de transferência de grandes volumes de dados, onde os dados precisam ser importados para ou exportados do Azure Blob storage ou Azure Files. Além de transferências de dados em larga escala, essa solução também pode ser usada para casos de uso como distribuição de conteúdo e backup de dados/restauração. Os dados são enviados para os data centers do Azure em SSDs ou HDDs fornecidos pelo cliente.

Azure Data Box utiliza um dispositivo de storage Data Box proprietário fornecido pela Microsoft para transferir dados de e para os data centers do Azure. O serviço é recomendado em cenários onde o tamanho dos dados é superior a 40 TB e há largura de banda limitada para transferir dados pela rede. Os casos de uso mais populares são a migração única em massa de dados, transferências iniciais de dados para o Azure seguidas de transferências incrementais pela rede, bem como o upload periódico de grandes volumes de dados.

Como carregar arquivos para o Armazenamento de Blobs do Azure usando AzCopy

AzCopy está disponível para sistemas Windows, Linux e MacOS. Não há instalação envolvida, pois AzCopy é executado como um arquivo executável. O arquivo zip para Windows e Linux precisa ser baixado e extraído para executar a ferramenta. Para Linux, o arquivo tar precisa ser baixado e descompactado antes de executar os comandos.

A ferramenta AzCopy pode ser autorizada a acessar o Azure Blob storage usando Azure AD ou um SAS token. Ao usar a autenticação do Azure AD, os clientes podem optar por autenticar com uma conta de usuário antes de iniciar a cópia de dados. Ao usar scripts de automação, a autenticação do Azure AD pode ser feita usando uma service principal ou uma managed identity.

Neste passo a passo de AzCopy, usaremos autenticação por meio de uma conta de usuário do Azure AD. A conta deve ser atribuída à função de storage blob data contributor ou Storage Blob Data Owner no contêiner de armazenamento onde os dados serão copiados, assim como na conta de armazenamento, grupo de recursos e assinatura a serem usados.

1. Navegue até a pasta onde AzCopy foi baixado e execute o seguinte comando para fazer login:

   azcopy login
   

   
   
   

   Agora você verá detalhes sobre como fazer login em https://microsoft.com/devicelogin. Siga as instruções na saída e use o código fornecido para autenticar.

2. Na página de login, insira suas credenciais do Azure com acesso ao storage e clique em "Next".

   
   

3. De volta à linha de comando, você receberá uma mensagem “login succeeded”.

   
   

4. Execute o seguinte comando AzCopy para criar um contêiner na conta de armazenamento para fazer upload de arquivos:

   azcopy make "https://.blob.core.windows.net/"
   

   Atualize o <Azure storage account name> placeholder com o nome da conta de armazenamento no Azure e <container> com o nome do contêiner que você deseja criar. Abaixo, você pode ver um exemplo de comando:

   azcopy make "https://teststor1110.blob.core.windows.net/folder1"
   

   

5. Para copiar um arquivo do seu computador local para Storage account

   azcopy copy "https://.core.windows.net//"
   

   Atualize os <Local of file in local disk> e <Azure storage account name> espaços reservados no comando acima para refletir os valores do seu ambiente, e <container> com o nome do storage container que você criou na etapa 4.

   Comando de exemplo fornecido abaixo:

   azcopy copy 'C:azcopyTestcopyolder1ile1.txt' 'https://teststor1110.blob.core.windows.net/folder1'
   

   Nota: no exemplo acima, folder1 no comando acima é o contêiner que foi criado na etapa 4.

   

   Após a conclusão bem-sucedida do comando, o status do job será exibido como Completed.

6. Para copiar todos os arquivos de uma pasta local para o contêiner de armazenamento do Azure, execute o seguinte comando:

   azcopy copy "" 'https://.blob.core.windows.net/' --recursive
   

   Atualize os <Location of folder in local disk>, <Azure storage account name> e <container> marcadores no comando acima para refletir os valores do seu ambiente. Exemplo de comando abaixo:

   azcopy copy "C:azcopyTestcopysample" "https://teststor1110.blob.core.windows.net/folder1" --recursive
   

   O conteúdo da sua pasta de origem será exibido conforme abaixo:

   

7. Se você acessar a conta de Storage no portal do Azure, pode ver que a pasta foi criada dentro do contêiner de Storage do Azure e que os arquivos foram copiados dentro da pasta.

   

8. Para copiar o conteúdo da pasta local sem criar uma nova pasta no Azure storage, você pode usar o seguinte comando:

   azcopy copy "/*" 'https://.blob.core.windows.net/'
   

   Exemplo de comando fornecido abaixo:

   azcopy copy "C:azcopyTestcopyolder2*" "https://teststor1110.blob.core.windows.net/folder1"
   

   
   

9. Os arquivos adicionais são copiados da pasta local chamada folder2 para a pasta folder1 do contêiner do Azure, conforme mostrado abaixo. Observe que a pasta de origem não é criada neste caso.

   
   

O que é Azure PowerShell e como usá-lo

Os cmdlets do Azure PowerShell podem ser usados para gerenciar recursos do Azure a partir de comandos e scripts PowerShell. Além do AzCopy, o PowerShell também pode ser usado para carregar arquivos de uma pasta local para o armazenamento do Azure. O comando Azure PowerShell Set-AzStorageBlobContent é usado para o mesmo propósito.

Transferências de arquivos para o Azure Blob Storage usando o Azure PowerShell

Nesta seção, examinaremos os comandos que podem ser usados para carregar arquivos no armazenamento de blobs do Azure usando PowerShell de uma máquina Windows.

1. Instale a versão mais recente do Azure PowerShell para todos os usuários do sistema em uma PowerShell sessão aberta com direitos de administrador usando o seguinte comando:

   Install-Module -Name Az -AllowClobber -Scope AllUsers
   

   Selecione “Sim” quando solicitado para permissões de instalação de pacotes.

   
   

2. Use o seguinte comando e faça login na sua assinatura do Azure quando solicitado:

   Connect-AzAccount
   

   
   

3. Obtenha o contexto da conta de armazenamento a ser usado para a transferência de dados usando os seguintes comandos:

   $uploadstorage=Get-AzStorageAccount -ResourceGroupName <resource group name> -Name <storage account name>
   
   
   $storcontext=$uploadstorage.Context
   

   Atualize os espaços reservados <resource group name> e <storage account name> com valores específicos para o seu ambiente, como no exemplo de comando fornecido abaixo:

   $uploadstorage=Get-AzStorageAccount -ResourceGroupName cvo177 -Name teststor1110
   
   
   
   
   $storcontext=$uploadstorage.Context
   

   
   

4. Execute o seguinte comando para carregar um arquivo do seu diretório local para um contêiner no Azure storage:

   Set-AzStorageBlobContent -Container ""<storage container name>"" -File ""<Location of file in local disk>"" -Context $storcontext
   

   Substitua os espaços reservados <storage container name> e <Location of file in local disk> por valores específicos do seu ambiente. Exemplo dado abaixo:

   Set-AzStorageBlobContent -Container ""<storage container name>"" -File ""<Location of file in local disk>"" -Context $storcontext
   

   Após o upload do arquivo ser concluído com sucesso, você receberá uma mensagem semelhante à que pode ser vista na captura de tela abaixo:

   
   

5. Para enviar todos os arquivos da pasta atual, execute o seguinte comando

   Get-ChildItem -File -Recurse | Set-AzStorageBlobContent -Container "<storage container name>" -Context $storcontext
   

   Comando de exemplo fornecido abaixo:

   Get-ChildItem -File -Recurse | Set-AzStorageBlobContent -Container "folder2" -Context $storcontext
   

   
   

6. Se você acessar o contêiner de armazenamento do Azure, verá todos os arquivos carregados nas etapas 4 e 5.

   
   

NetApp Cloud Volumes ONTAP: acelere a migração de dados para a nuvem

Já discutimos como a migração de dados para o Azure pode ser facilmente realizada usando AzCopy e comandos do Azure PowerShell. Os clientes também podem aproveitar NetApp Cloud Volumes ONTAP para migração de dados para a nuvem por meio da tecnologia confiável de replicação e clonagem NetApp. Cloud Volumes ONTAP oferece uma solução de gerenciamento de dados híbrida, abrangendo ambientes locais e múltiplas nuvens.

Cloud Volumes ONTAP se destaca pelo valor que oferece aos seus clientes por meio de alta disponibilidade, proteção de dados e eficiência de storage, com recursos como deduplicação, compressão e thin provisioning. Os volumes do Cloud Volumes ONTAP podem ser acessados por máquinas virtuais no Azure por meio dos protocolos SMB/NFS e ajudam a alcançar uma economia de storage incomparável graças a esses recursos. Como o storage está sendo usado de forma mais eficiente, o custo do storage do Azure também é reduzido consideravelmente.

NetApp Snapshot^™ tecnologia, juntamente com SnapMirror^® replicação de dados, pode facilitar a migração de dados de ambientes locais para a nuvem. Enquanto a tecnologia SnapShot pode ser usada para criar cópias de backup pontuais de dados do armazenamento NetApp local, a replicação de dados SnapMirror ajuda a replicá-los para volumes do Cloud Volumes ONTAP no Azure. O serviço também pode ser usado para manter os dados sincronizados entre ambientes locais e nuvem para fins de recuperação de desastres.

NetApp FlexClone^® a tecnologia de clonagem de dados ajuda a criar clones graváveis e com armazenamento eficiente de volumes locais, que podem ser integrados a processos de CI/CD para implantar ambientes de teste/dev na nuvem. Isso aprimora a portabilidade de dados do ambiente local para a nuvem e também dentro da nuvem, tudo podendo ser gerenciado a partir de um painel de gerenciamento unificado. Assim, Cloud Volumes ONTAP ajuda as organizações a obterem agilidade e a lançarem seus aplicativos no mercado mais rapidamente.

Outro serviço de migração de dados da NetApp é o Cloud Sync, que pode migrar dados de forma rápida e eficiente de qualquer repositório para armazenamento baseado em objetos na nuvem, seja de um sistema local ou entre nuvens.

Conclusão

Os clientes podem escolher entre ferramentas nativas como AzCopy e Azure PowerShell para carregar arquivos no Azure Blob Storage. Eles também podem aproveitar Cloud Volumes ONTAP para recursos avançados de gerenciamento e migração de dados, usando funcionalidades como replicação SnapMirror, Snapshots NetApp e FlexClone.