No mundo da TI, você frequentemente precisará de cópias extras de um conjunto de dados — por exemplo, ao desenvolver e testar aplicativos (DevTest) e ao provisionar novas máquinas virtuais. No entanto, criar essas cópias é mais fácil na teoria do que na prática.
Existem alguns desafios importantes associados à clonagem de dados, especialmente quando se lida com grandes conjuntos de dados. Criar cópias dos dados relevantes pode ser demorado e levar à dispersão do storage, aumento de custos, desempenho mais lento e sobrecarga do processo. Tudo isso aumentará seu tempo total de lançamento no mercado, o que afetará seus resultados financeiros.
Seu desenvolvimento não pode esperar tanto tempo. O Amazon FSx para NetApp ONTAP oferece recursos integrados de gerenciamento de dados fornecidos como um serviço AWS próprio e pode ajudar a superar esses desafios.
Continue lendo para saber mais ou acesse estes links:
Por que copiar seu conjunto de dados é importante (e o que torna isso difícil)
Todos sabem que os dados são um dos ativos mais importantes que uma organização pode ter. Mas a forma como esses dados são usados é o que faz a diferença. Dada a importância dos dados, eles não são algo que você queira adulterar. Para fazer uso adequado dos seus dados, você precisa de uma "cópia dourada" — uma versão idêntica do seu conjunto de dados que sirva como um ambiente de teste que você pode recriar repetidamente. Uma cópia dourada mantém o conjunto de dados primário protegido contra seus testes, e você pode submetê-la a testes sem afetar a produção.
As duas maiores áreas em que essas cópias entram em ação são no pipeline de desenvolvimento e na criação de novos ambientes.
Quando se trata de DevTest, uma métrica importante é quantos testes você pode executar em uma base de código por hora. Quanto mais testes forem executados, maior será a agilidade, de modo que a base de código progride mais rapidamente. Alguns testes exigem centenas de execuções, envolvendo centenas de cópias.
As cópias de dados também são amplamente utilizadas em testes de ambiente de recuperação de desastres (DR), que envolvem o uso de cópias de dados para restaurar serviços de aplicativos fora do seu local de dados primário. Outros casos de uso populares para cópias de dados incluem atualização de banco de dados, análise exploratória de dados, computação de alto desempenho para mídia e entretenimento (M&E), análise e IA.
No entanto, criar cópias para esses fins pode ser desafiador por vários motivos.
- Copiar dados leva tempo. Para criar uma versão dos dados que você possa testar com segurança, você precisará criar uma cópia da cópia dourada. Tradicionalmente, esse é um processo que leva muito tempo. Dependendo do tamanho do seu conjunto de dados, criar as cópias necessárias pode consumir a maior parte do tempo de execução do teste. Isso limita o número de testes por hora, o que, por sua vez, atrasa seu lançamento.
- Uso e custos de storage crescem rapidamente. Como as cópias de dados duplicam totalmente o conjunto de dados original, cada cópia dobra o consumo de storage e aumenta seus recursos de computação e rede. O processo DevTest pode exigir a criação de muitas (às vezes centenas) dessas cópias, aumentando seus custos. Além disso, seus desenvolvedores e administradores gastarão muito tempo administrativo e energia valiosos no processamento dessas cópias.
- Tempo de lançamento atrasado. Novos lançamentos mantêm os aplicativos ágeis e competitivos. Você não pode fazer isso se o seu cronograma de lançamentos estiver sendo sobrecarregado por mecanismos de cópia excessivamente longos e complexos.
- Problemas de desempenho. Acessar e atualizar cópias de dados em contextos multiusuário ou multiaplicativo pode resultar em É necessário um planejamento meticuloso para garantir que os clones sejam consistentes e atualizados, o que aumenta a sobrecarga operacional.
Os desafios para trabalhar com cópias de dados são consideráveis, mas a NetApp e a AWS fizeram uma parceria para fornecer uma solução para cópias de clone fino graváveis: Amazon FSx para NetApp ONTAP.
Há uma maneira mais eficiente de clonar dados com o FSx para ONTAP
O Amazon FSx para NetApp ONTAP tem um recurso de clonagem de dados integrado que é fornecido pela tecnologia NetApp® FlexClone®. Esse recurso permite criar cópias locais instantâneas e pontuais dos seus volumes de dados — cópias graváveis que consomem o mínimo de espaço de storage.
Esses clones "finos" tornam muito mais rápido e barato criar seus ambientes de teste, atualizar seus bancos de dados e muito mais.
Como funciona a clonagem do FSx para ONTAP
O FSx para ONTAP usa a tecnologia FlexClone para criar cópias graváveis com alta eficiência de espaço. Veja como funciona:
- Você pode criar instantaneamente cópias locais graváveis de volumes, LUNs e arquivos. As cópias instantâneas de volumes de dados criadas pelo FSx para ONTAP utilizam uma camada virtual sobre uma cópia existente do NetApp Snapshot™. Essa cópia do Snapshot atua como uma cópia dourada e requer pouquíssimos metadados. As cópias clonadas são criadas independentemente da cópia mestre, tornando o processo de clonagem extremamente eficiente em termos de espaço.
- Os clones são atualizados independentemente dos volumes pai. Uma cópia clonada compartilha todos os mesmos blocos que seu pai, e espaço de storage adicional é consumido somente quando há uma alteração nos dados. A alteração nos dados é atualizada em incrementos de blocos de 4K.
Os clones, portanto, não têm impacto no desempenho em aplicativos que utilizam os volumes de dados de produção. Se necessário, você também pode separar os clones da cópia mestre e usá-los independentemente, mas isso exigiria espaço em disco adicional.
Ao clonar volumes de DR que correspondem ao seu ambiente de produção, para testes ou outros fins, o recurso SnapMirror® funciona continuamente para replicar dados para os volumes pai dos clones enquanto sua equipe de DevTest trabalha nos clones.
- Os clones economizam espaço, o que reduz os custos. Considere o exemplo do DevTest para um banco de dados de produção de 100 GB. Normalmente, isso requer um espelho completo e, em seguida, muitas cópias para desenvolvedores e testadores usarem. Considerando que três de cada tipo são necessários, o storage total necessário é de 800 GB, incluindo o do banco de dados de produção.
Mesmo que uma cópia espelhada completa dos dados seja mantida para evitar afetar o storage de produção, o uso do FlexClone para cópias do DevTest reduz o consumo de storage para 260 GB. Isso reduz a quantidade total de storage necessária em 67% e reduz os custos proporcionalmente. Saiba mais sobre como determinar o espaço usado por um volume FlexClone.
- Clones têm baixa sobrecarga de desempenho. Como os clones têm impacto quase zero no storage, você não precisa se preocupar em atualizá-los com frequência com dados de produção atualizados. Isso significa que você sempre pode testar com dados atuais, em vez de dados obsoletos.
Clones também permitem que você realize testes sem afetar o ambiente de produção. Após a conclusão do teste, basta excluir o clone e criar uma nova imagem de clone limpa em questão de segundos.
Você também pode usar APIs para automatizar o processo de clonagem e integrá-lo ao seu pipeline de CI/CD (integração e implantação contínuas). Essa abordagem evita os desafios de clonagem do DevTest discutidos anteriormente.
- Se você consegue testar mais rápido, libera compilações mais rapidamente.
Como os pipelines de desenvolvimento se beneficiam da clonagem de dados com o FSx para ONTAP
Vamos dar uma olhada em alguns dos benefícios que você pode alcançar com a clonagem de dados do FSx para ONTAP.
- Tempo de lançamento no mercado mais rápido com ambientes de desenvolvimento criados instantaneamente. Com o recurso FlexClone, cópias de ambientes de produção são criadas instantaneamente. Os desenvolvedores que usam o FlexClone gastam menos tempo esperando por cópias e mais tempo trabalhando, pois os clones são criados e limpos rapidamente. Isso, por sua vez, resulta em mais agilidade, melhor produtividade da equipe de desenvolvimento e menor tempo de lançamento no mercado.
- Economia de custos. Como clones finos consomem espaço mínimo de storage, eles não geram muitos custos extras na AWS.
- Atualização rápida do ambiente. Como o FSx for ONTAP cria clones de dados instantaneamente, você pode atualizar o ambiente DevTest com os dados do ambiente de produção sempre que necessário. Essa velocidade de atualização permite que você teste com mais frequência — e com os dados mais atualizados.
- Testes de impacto zero. O FlexClone permite que você realize testes sem comprometer seu ambiente de produção ou seu conjunto de dados principal. Quando o teste for concluído, você pode simplesmente remover o clone e produzir um novo clone em segundos. Esse recurso reduz a sobrecarga e acelera o processo de desenvolvimento.
Como um grande provedor de jogos como serviço acelera o desenvolvimento usando o FSx para clonagem ONTAP
Este desenvolvedor de jogos e provedor de jogos como serviço lança alguns dos títulos mais populares da atualidade, com centenas de milhões de jogadores em todo o mundo conectados por meio de redes internas. A migração para o FSx para ONTAP teve um grande impacto na forma como esta empresa realiza tudo isso.
A empresa de jogos buscava acelerar o ciclo de desenvolvimento em suas operações de build-farm na AWS. Como o produto do jogo está ativo, ele requer lançamentos curtos constantes. A AWS ofereceu acesso a mais poder computacional e escalabilidade, dobrando o número de builds diários realizados. Com o FSx for ONTAP como camada de storage, a empresa conseguiu fazer ainda mais:
- Reduziu o tempo de transferência do código-fonte para novas instâncias de horas para minutos. Anteriormente, o trabalho no código precisava ser interrompido enquanto cópias de dados eram criadas, o que tornava todo o processo de CI/CD mais lento. Com a clonagem fina com o FSx para ONTAP, novas cópias puderam ser criadas instantaneamente e facilmente compartilhadas.
- Reduziu os custos de storage para testes massivos de base de código. Há centenas de instâncias executando testes paralelos em desenvolvimento. A tecnologia FlexClone cria clones de dados com custo zero de capacidade, em vez de copiar volumes inteiros de dados para cada cópia de teste e armazená-los pelo custo total. A economia resultante é significativa.
- Eliminou o potencial de tempo de inatividade. Com a alta disponibilidade de múltiplas Zonas de Disponibilidade (multi-AZs) incorporada ao FSx for ONTAP, os dados existem em dois nós que são mantidos sincronizados em duas AZs separadas. Mesmo que ocorra uma interrupção em uma AZ, o processo de compilação pode continuar sem interrupção, pois os desenvolvedores ainda podem acessar os dados armazenados no nó do FSx para ONTAP na AZ não afetada.
Conclusão: Desenvolvimento mais rápido, custos mais baixos
As demandas do ciclo de desenvolvimento na camada de storage podem levar a altos custos e atrasos no cronograma. Com a clonagem fina do Amazon FSx para NetApp ONTAP, você não apenas obtém clones instantâneos e com desempenho neutro, como também evita o pagamento por capacidade de storage extra ao criar cópias.
Não deixe que seus dados o atrapalhem. Deixe que a capacidade de clone fino do FSx para ONTAP economize seu tempo e dinheiro.