Como carregar arquivos para o Armazenamento de Blobs do Azure com AzCopy, PowerShell e mais

Migrar dados de um repositório existente para o Azure Blob e manter os dados sincronizados em implantações híbridas podem ser obstáculos significativos na jornada de muitas organizações para a nuvem. Existem diversas ferramentas e serviços nativos do Azure e de terceiro para auxiliar na migração de dados para o Azure, sendo os mais populares AzCopy, Azure Import/Export, Azure PowerShell e Azure Data Box. Como saber qual é a escolha certa para a sua migração para o Azure?

A escolha das ferramentas certas depende de vários fatores, incluindo prazos para migração, tamanho dos dados, disponibilidade de largura de banda da rede, requisitos de migração online/offline e mais. Este blog compartilhará e explorará algumas dessas ferramentas de migração do Azure e os passos simples sobre como migrar arquivos para o Azure Blob storage com facilidade, tudo isso podendo ser aprimorado com a ajuda dos recursos avançados de gerenciamento de dados do NetApp Cloud Volumes ONTAP para migração de dados, desempenho e proteção no Azure Blob storage.

Ferramentas para carregar dados no Azure Blob Storage

Com migração de dados e mobilidade de dados sendo componentes críticos da adoção de nuvem, a Microsoft oferece diversas ferramentas e serviços nativos para auxiliar os clientes nesses processos. Vamos explorar algumas dessas ferramentas em detalhes.

AzCopy é um utilitário de linha de comando usado para transferir dados de e para o armazenamento do Azure. É uma ferramenta leve que pode ser instalada em suas máquinas Windows, Linux ou Mac para iniciar a transferência de dados para o Azure. AzCopy pode ser usado em diversos cenários, para transferir dados de ambientes locais para o Azure Blob e Azure Files ou do Amazon S3 para o armazenamento do Azure. A ferramenta também pode ser usada para cópia de dados de ou para o Azure Stack.

Azure PowerShell é outra opção de linha de comando para transferir dados de um ambiente local para o Azure Blob storage. O comando Azure PowerShell Set-AzStorageBlobContent pode ser usado para copiar dados para o Azure blob storage.

Azure Import/Export é um método de transferência física usado em cenários de transferência de grandes volumes de dados, onde os dados precisam ser importados para ou exportados do Azure Blob storage ou Azure Files. Além de transferências de dados em larga escala, essa solução também pode ser usada para casos de uso como distribuição de conteúdo e backup/restauração de dados. Os dados são enviados para os data centers do Azure em SSDs ou HDDs fornecidos pelo cliente.

Azure Data Box utiliza um dispositivo de storage Data Box proprietário fornecido pela Microsoft para transferir dados de e para os data centers do Azure. O serviço é recomendado em cenários onde o tamanho dos dados é superior a 40 TB e há largura de banda limitada para transferir dados pela rede. Os casos de uso mais populares são a migração única de grandes volumes de dados, as transferências iniciais de dados para o Azure seguidas de transferências incrementais pela rede, assim como o upload periódico de grandes volumes de dados.

Como carregar arquivos para o Armazenamento de Blobs do Azure usando AzCopy

AzCopy está disponível para sistemas Windows, Linux e MacOS. Não há instalação envolvida, pois AzCopy é executado como um arquivo executável. O arquivo zip para Windows e Linux precisa ser baixado e extraído para executar a ferramenta. Para Linux, o arquivo tar precisa ser baixado e descompactado antes de executar os comandos.

A ferramenta AzCopy pode ser autorizada a acessar o Azure Blob storage usando Azure AD ou um SAS token. Ao usar a autenticação do Azure AD, os clientes podem optar por autenticar com uma conta de usuário antes de iniciar a cópia de dados. Ao usar scripts de automação, a autenticação do Azure AD pode ser feita usando uma service principal ou uma managed identity.

Neste passo a passo de AzCopy, usaremos autenticação por meio de uma conta de usuário do Azure AD. A conta deve ter atribuída a função de colaborador de dados do blob de armazenamento ou a função de proprietário de dados do blob de armazenamento no contêiner de armazenamento onde os dados serão copiados, bem como na conta de armazenamento, no grupo de recursos e na assinatura a serem usados.

1. Navegue até a pasta em que o AzCopy foi baixado e execute o seguinte comando para fazer logon:

azcopy login

Agora você verá detalhes sobre como fazer login em https://microsoft.com/devicelogin. Siga as instruções na saída e use o código fornecido para autenticar.

2. Na página de login, insira suas credenciais do Azure com acesso ao armazenamento e clique em "Avançar".

3. De volta à linha de comando, você receberá uma mensagem de "login bem-sucedido".

4. Execute o seguinte AzCopy comando para criar um contêiner na conta de armazenamento para fazer upload de arquivos:

azcopy make "https://.blob.core.windows.net/"

Atualize o espaço reservado com o nome da conta de armazenamento no Azure e com o nome do contêiner que você deseja criar. Abaixo, você pode ver um exemplo de comando:

azcopy make "https://teststor1110.blob.core.windows.net/folder1"

5. Para copiar um arquivo do seu computador local para Storage account

azcopy copy "https://.core.windows.net//"

Atualize os placeholders e no comando acima para refletir os valores do seu ambiente e com o nome do contêiner de storage que você criou na etapa 4.

Comando de exemplo fornecido abaixo:

azcopy copy 'C:azcopyTestcopyolder1ile1.txt' 'https://teststor1110.blob.core.windows.net/folder1'

Nota: no exemplo acima, folder1 no comando acima é o contêiner que foi criado na etapa 4.

Após a conclusão bem-sucedida do comando, o status da tarefa será exibido como Concluído.

6. Para copiar todos os arquivos de uma pasta local para o contêiner de armazenamento do Azure, execute o seguinte comando:

azcopy copy "" 'https://.blob.core.windows.net/' --recursive

Atualize os marcadores , , e no comando acima para refletir os valores do seu ambiente. Exemplo de comando abaixo:

azcopy copy "C:azcopyTestcopysample" "https://teststor1110.blob.core.windows.net/folder1" --recursive

O conteúdo da sua pasta de origem será exibido conforme abaixo:

7. Se você acessar a conta de armazenamento no portal do Azure, pode ver que a pasta foi criada dentro do contêiner de armazenamento do Azure e que os arquivos são copiados dentro da pasta.

8. Para copiar o conteúdo da pasta local sem criar uma nova pasta no armazenamento do Azure, você pode usar o seguinte comando:

azcopy copy "/*" 'https://.blob.core.windows.net/'
Exemplo de comando fornecido abaixo:

azcopy copy "C:azcopyTestcopyolder2*" "https://teststor1110.blob.core.windows.net/folder1"

9. Os arquivos adicionais são copiados da pasta local chamada folder2 para a pasta folder1 do contêiner do Azure, conforme mostrado abaixo. Observe que a pasta de origem não é criada neste caso.

O que é Azure PowerShell e como usá-lo

Transferências de arquivos para o Azure Blob Storage usando o Azure PowerShell

Nesta seção, examinaremos os comandos que podem ser usados para carregar arquivos no armazenamento de blobs do Azure usando o PowerShell de um computador Windows.


1. Instale a versão mais recente do Azure PowerShell para todos os usuários no sistema em uma sessão do PowerShell aberta com direitos de administrador usando o seguinte comando:

Install-Module -Name Az -AllowClobber -Scope AllUsers

Selecione "Sim" quando solicitado a fornecer permissões para instalar pacotes.



2. Use o seguinte comando e entre em sua assinatura do Azure quando solicitado:

Connect-AzAccount

3. Obtenha o contexto da conta de armazenamento a ser usado para a transferência de dados usando os seguintes comandos:

$uploadstorage=Get-AzStorageAccount -ResourceGroupName -Name $storcontext=$uploadstorage.Context

Atualize os espaços reservados e com valores específicos para o seu ambiente, como no exemplo de comando fornecido abaixo:

$uploadstorage=Get-AzStorageAccount -ResourceGroupName cvo177 -Name teststor1110 $storcontext=$uploadstorage.Context

4. Execute o seguinte comando para carregar um arquivo do seu diretório local para um contêiner no Azure storage:

Set-AzStorageBlobContent -Container "" -File "" -Contexto $storcontext

Substitua os espaços reservados e por valores específicos do seu ambiente. Exemplo abaixo:

Set-AzStorageBlobContent -Container "folder2" -File "C:azcopyTestcopyolder2ile1.txt" -Context $storcontext

Depois que o arquivo for carregado com sucesso, você receberá uma mensagem semelhante à que pode ser vista na captura de tela abaixo:

5. Para enviar todos os arquivos da pasta atual, execute o seguinte comando

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "" -Context $storcontext

Comando de exemplo fornecido abaixo:

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "folder2" -Context $storcontext

6. Se você acessar o contêiner de armazenamento do Azure, verá todos os arquivos carregados nas etapas 4 e 5.

NetApp Cloud Volumes ONTAP: acelere a migração de dados para a nuvem

Já discutimos como a migração de dados para o Azure pode ser facilmente realizada usando AzCopy e comandos do Azure PowerShell. Os clientes também podem aproveitar NetApp Cloud Volumes ONTAP para migração de dados para a nuvem por meio da tecnologia confiável de replicação e clonagem NetApp. Cloud Volumes ONTAP oferece uma solução híbrida de gerenciamento de dados, abrangendo ambientes locais e também múltiplos ambientes de nuvem.

Cloud Volumes ONTAP se destaca pelo valor que oferece aos seus clientes por meio de alta disponibilidade, proteção de dados e recursos de eficiência de storage, como deduplicação, compressão e thin provisioning. Os volumes do Cloud Volumes ONTAP podem ser acessados por máquinas virtuais no Azure por meio dos protocolos SMB/NFS e ajudam a alcançar uma economia de storage incomparável graças a esses recursos. Como o storage está sendo usado de forma mais eficiente, o custo do storage do Azure também é reduzido consideravelmente.

NetApp Snapshot^™ tecnologia, juntamente com SnapMirror^® replicação de dados, pode facilitar a migração de dados de ambientes locais para a nuvem. Enquanto a tecnologia SnapShot pode ser usada para criar cópias de backup pontuais de dados do NetApp dispositivo de storage local, a replicação de dados SnapMirror ajuda a replicá-los para volumes do Cloud Volumes ONTAP no Azure. O serviço também pode ser usado para manter os dados sincronizados entre ambientes locais e nuvem para fins de recuperação de desastres.

NetApp FlexClone^® A tecnologia de clonagem de dados ajuda a criar clones graváveis e com eficiência de storage de volumes locais, que podem ser integrados a processos de CI/CD para implantar ambientes de teste/dev na nuvem. Isso aprimora a portabilidade de dados do ambiente local para a nuvem e também dentro da nuvem, tudo podendo ser gerenciado a partir de um painel de gerenciamento unificado. Assim, Cloud Volumes ONTAP ajuda as organizações a obterem agilidade e a lançarem seus aplicativos no mercado mais rapidamente.

Outro serviço de migração de dados da NetApp é o Cloud Sync, que pode migrar dados de forma rápida e eficiente de qualquer repositório para armazenamento baseado em objetos na nuvem, seja de um sistema local ou entre nuvens.

Conclusão

Os clientes podem escolher entre ferramentas nativas como AzCopy e Azure PowerShell para carregar arquivos no Azure Blob Storage. Eles também podem aproveitar Cloud Volumes ONTAP para recursos avançados de gerenciamento e migração de dados, usando funcionalidades como replicação SnapMirror, Snapshots NetApp e FlexClone.