Como carregar arquivos no Armazenamento de Blobs do Azure com AzCopy, PowerShell e mais

Migrar dados de um repositório existente para o Azure Blob e manter os dados sincronizados em implantações híbridas podem ser obstáculos significativos nas jornadas de nuvem de muitas organizações. Há várias ferramentas e serviços nativos do Azure e de terceiros para ajudar a migrar dados para o Azure, sendo os mais populares AzCopy, Azure Import/Export, Azure Powershell e Azure Data Box. Como você pode saber qual é a escolha certa para sua migração para o Azure?

A seleção das ferramentas certas depende de vários fatores, incluindo cronogramas de migração, tamanho dos dados, disponibilidade de largura de banda da rede, requisitos de migração online/offline e muito mais. Este blog compartilhará e explorará algumas dessas ferramentas de migração do Azure e as etapas simples sobre como migrar arquivos facilmente para o Azure Blob storage, todas as quais podem ser aprimoradas com a ajuda das avançadas capacidades de gerenciamento de dados do NetApp Cloud Volumes ONTAP para migração de dados, desempenho e proteção no Azure Blob storage.

Ferramentas para carregar dados no Azure Blob Storage

Com a migração de dados e a mobilidade sendo componentes críticos da adoção de nuvem, a Microsoft oferece várias ferramentas e serviços nativos para dar suporte aos clientes nesses processos. Vamos explorar algumas dessas ferramentas em detalhes.

AzCopy é um utilitário de linha de comando usado para transferir dados de e para o armazenamento do Azure. É uma ferramenta leve que pode ser instalada em seus computadores Windows, Linux ou Mac para iniciar a transferência de dados para o Azure. AzCopy pode ser usado em vários cenários, para transferir dados do local para Azure Blob e Azure Files ou do Amazon S3 para o armazenamento do Azure. A ferramenta também pode ser usada para cópia de dados de ou para Azure Stack.

Azure PowerShell é outra opção de linha de comando para transferir dados do local para o armazenamento de blobs do Azure. O comando Azure PowerShell Set-AzStorageBlobContent pode ser usado para copiar dados para o armazenamento de blobs do Azure.

Azure Import/Export é um método de transferência física usado em cenários de transferência de dados grandes em que os dados precisam ser importados para ou exportados do Azure Blob storage ou Azure Files. Além das transferências de dados em grande escala, essa solução também pode ser usada para casos de uso como distribuição de conteúdo e backup/restauração de dados. Os dados são enviados para data centers do Azure em SSDs ou HDDs fornecidos pelo cliente.

Azure Data Box usa um dispositivo de storage proprietário Data Box fornecido pela Microsoft para transferir dados para dentro e para fora dos data centers do Azure. O serviço é recomendado em cenários em que o tamanho dos dados está acima de 40 TB e há largura de banda limitada para transferir dados pela rede. Os casos de uso mais populares são migração em massa única de dados, transferências iniciais de dados para o Azure seguidas por transferências incrementais pela rede, bem como para upload periódico de dados em massa.

Como fazer upload de arquivos para o Azure Blob Storage usando AzCopy

AzCopy está disponível para sistemas Windows, Linux e MacOS. Não há instalação envolvida, pois AzCopy é executado como um arquivo executável. O arquivo zip para Windows e Linux precisa ser baixado e extraído para executar a ferramenta. Para Linux, o arquivo tar deve ser baixado e descompactado antes de executar os comandos.

A ferramenta AzCopy pode ser autorizada a acessar o Azure Blob storage usando o Azure AD ou um token SAS. Ao usar a autenticação do Azure AD, os clientes podem optar por se autenticar com uma conta de usuário antes de iniciar a cópia de dados. Ao usar scripts de automação, a autenticação do Azure AD pode ser obtida usando um service principal ou identidade gerenciada.

Neste passo a passo de AzCopy, usaremos a autenticação por meio de uma conta de usuário do Azure AD. A conta deve receber a função de storage blob data contributor ou Storage Blob Data Owner no contêiner de armazenamento onde os dados serão copiados, assim como na conta de armazenamento, no grupo de recursos e na assinatura a serem usados.

1. Navegue até a pasta onde AzCopy foi baixado e execute o seguinte comando para login:

azcopy login

Agora você verá detalhes sobre como fazer login em https://microsoft.com/devicelogin. Siga as instruções na saída e use o código fornecido para autenticar.

2. Na página de login, insira suas credenciais do Azure com acesso ao storage e clique em “Next.”

3. De volta à linha de comando, você receberá uma mensagem de “login succeeded”.

4. Execute o seguinte comando AzCopy para criar um contêiner na conta de armazenamento para carregar arquivos:

azcopy make "https://.blob.core.windows.net/"

Atualize o espaço reservado com o nome da conta de armazenamento no Azure e com o nome do contêiner que você deseja criar. Abaixo, você pode ver um exemplo de comando:

azcopy make "https://teststor1110.blob.core.windows.net/folder1"

5. Para copiar um arquivo do computador local para a Storage account

azcopy copy "https://.core.windows.net//"

Atualize os placeholders e no comando acima para refletir os valores do seu ambiente e com o nome do contêiner de storage que você criou na etapa 4.

Comando de exemplo fornecido abaixo:

azcopy copy 'C:azcopyTestcopyolder1ile1.txt' 'https://teststor1110.blob.core.windows.net/folder1'

Observação: no exemplo acima, folder1 no comando acima é o contêiner que foi criado na etapa 4.

Após a conclusão bem-sucedida do comando, o status do trabalho será exibido como Completed.

6. Para copiar todos os arquivos de uma pasta local para o contêiner de armazenamento do Azure, execute o seguinte comando:

azcopy copy "" 'https://.blob.core.windows.net/' --recursive

Atualize os placeholders , , e no comando acima para refletir os valores do seu ambiente. Comando de exemplo fornecido abaixo:

azcopy copy "C:azcopyTestcopysample" "https://teststor1110.blob.core.windows.net/folder1" --recursive

O conteúdo da pasta de origem aparecerá como abaixo:

7. Se você navegar até a Storage account no portal do Azure, poderá ver que a pasta foi criada dentro do Azure storage container e que os arquivos foram copiados dentro da pasta.

8. Para copiar o conteúdo da pasta local sem criar uma nova pasta no Azure storage, você pode usar o seguinte comando:

azcopy copy "/*" 'https://.blob.core.windows.net/'


Exemplo de comando fornecido abaixo:

azcopy copy "C:azcopyTestcopyolder2*" "https://teststor1110.blob.core.windows.net/folder1"

9. Os arquivos adicionais são copiados da pasta local chamada folder2 para a pasta folder1 do contêiner do Azure, conforme mostrado abaixo. Observe que a pasta de origem não é criada nesse caso.

O que é Azure PowerShell e como usá-lo

Transferências de arquivos para o Azure Blob Storage usando o Azure PowerShell

Nesta seção, examinaremos os comandos que podem ser usados para carregar arquivos no armazenamento de blobs do Azure usando PowerShell a partir de um computador Windows. 


1. Instale a versão mais recente do Azure PowerShell para todos os usuários no sistema em uma sessão do PowerShell aberta com direitos de administrador usando o seguinte comando:

Install-Module -Name Az -AllowClobber -Scope AllUsers

Selecione "Sim" quando solicitado a fornecer permissões para instalar pacotes. 



2. Use o seguinte comando e faça login em sua assinatura do Azure quando solicitado:

Connect-AzAccount

3. Obtenha o contexto da conta de armazenamento a ser usado para a transferência de dados usando os seguintes comandos:

$uploadstorage=Get-AzStorageAccount -ResourceGroupName -Name $storcontext=$uploadstorage.Context

Atualize os espaços reservados e com valores específicos para seu ambiente, como no comando de exemplo fornecido abaixo:

$uploadstorage=Get-AzStorageAccount -ResourceGroupName cvo177 -Name teststor1110 $storcontext=$uploadstorage.Context

4. Execute o seguinte comando para carregar um arquivo do seu diretório local para um contêiner no armazenamento do Azure:

Set-AzStorageBlobContent -Container "" -File "" -Context $storcontext

Substitua os espaços reservados e por valores específicos do seu ambiente. Exemplo abaixo:

Set-AzStorageBlobContent -Container "folder2" -File "C:azcopyTestcopyolder2ile1.txt" -Context $storcontext

Assim que o arquivo for carregado com sucesso, você receberá uma mensagem semelhante ao que pode ver na captura de tela abaixo:

5. Para carregar todos os arquivos na pasta atual, execute o seguinte comando

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "" -Context $storcontext

Comando de exemplo fornecido abaixo:

Get-ChildItem -File -Recurse \| Set-AzStorageBlobContent -Container "folder2" -Context $storcontext

6. Se você navegar até o contêiner de storage do Azure, verá todos os arquivos carregados nas etapas 4 e 5.

NetApp Cloud Volumes ONTAP: acelere a migração de dados para a nuvem

Discutimos como a migração de dados para o Azure pode ser facilmente realizada usando AzCopy e comandos do Azure PowerShell. Os clientes também podem aproveitar o NetApp Cloud Volumes ONTAP para migração de dados para a nuvem por meio da confiável tecnologia de replicação e clonagem NetApp. Cloud Volumes ONTAP oferece uma solução de gerenciamento de dados híbrida, abrangendo ambientes locais e múltiplos ambientes de nuvem.

Cloud Volumes ONTAP se diferencia pelo valor que oferece aos clientes por meio de recursos de alta disponibilidade, proteção de dados e eficiência de storage, como deduplicação, compactação e thin provisioning. Os volumes do Cloud Volumes ONTAP podem ser acessados por máquinas virtuais no Azure por meio dos protocolos SMB/NFS e ajudam a alcançar uma economia de storage incomparável por meio desses recursos. Como o storage está sendo usado com mais eficiência, o custo de storage do Azure também é reduzido consideravelmente.

NetApp Snapshot^™ tecnologia, juntamente com SnapMirror^® replicação de dados, pode facilitar a migração de dados de ambientes locais para a nuvem. Enquanto a tecnologia SnapShot pode ser usada para fazer cópias de backup pontuais dos dados do dispositivo de storage local NetApp, as replicações de dados SnapMirror ajudam a replicá-las para volumes do Cloud Volumes ONTAP no Azure. O serviço também pode ser usado para manter os dados sincronizados entre ambientes locais e de nuvem para fins de recuperação de desastre.

NetApp FlexClone^® A tecnologia de clonagem de dados ajuda a criar clones graváveis com eficiência de storage de volumes locais que podem ser integrados a processos de CI/CD para implantar ambientes de teste/dev na nuvem. Isso aumenta a portabilidade de dados do local para a nuvem e também dentro da nuvem, que podem ser gerenciados a partir de um gerenciamento unificado. Assim, o Cloud Volumes ONTAP ajuda as organizações a obter agilidade e menor tempo de lançamento no mercado para seus aplicativos.

Outro NetApp serviço de migração de dados é o Cloud Sync, que pode migrar dados de qualquer repositório de forma rápida e eficiente para o storage baseado em objetos na nuvem, seja de um sistema local ou entre nuvens.

Conclusão

Os clientes podem escolher entre ferramentas nativas como AzCopy e Azure PowerShell para carregar arquivos no Azure Blob Storage. Eles também podem utilizar Cloud Volumes ONTAP para gerenciamento avançado de dados e migração usando recursos como replicação SnapMirror, Snapshots NetApp e FlexClone.