NetApp StorageGRID para modernizar o gerenciamento de dados

A infraestrutura de TI moderna deve ser flexível, escalável e resiliente, especialmente ao gerenciar grandes volumes de dados. Na TI da NetApp, enfrentamos esse desafio de frente ao expandir nosso uso do StorageGRID para atender às crescentes necessidades de nossa organização e de nossos clientes. Desde o suporte a uploads globais de arquivos até a transformação de nossa arquitetura de data lake para Active IQ, o StorageGRID se tornou um pilar de nossa estratégia de infraestrutura de dados.

Quando apresentamos o StorageGRID pela primeira vez, há mais de uma década, foi uma medida cautelosa. Começamos fazendo backup de dados estáticos do ONTAP usando NetBackup e AltaVault. Depois que o AltaVault foi desativado, mantivemos o ambiente para atender aos requisitos de retenção da SOX. Os recursos de storage de objetos do StorageGRID logo se mostraram ideais para mais do que apenas backups; ele se tornou um back-end confiável para logs do Splunk, repositórios Git e backups de VMs da Veeam.

Hoje, nossa arquitetura inclui três ambientes StorageGRID distintos:

• StorageGRID corporativo (somente uso interno, 6 PB, 67 nós)
• StorageGRID DMZ (voltado para o cliente, 6 PB, 23 nós)
• StorageGRID bare-metal para Active IQ (6 PB, 24 nós)

Esses ambientes são implantados em vários locais, com consideração cuidadosa à postura de segurança, balanceamento de carga (via Avi ou nós de gateway de VM) e gerenciamento do ciclo de vida do hardware. 

Um desafio recorrente para o Suporte da NetApp era permitir que os clientes fizessem o upload de arquivos grandes importantes (até 2 TB) com segurança para solucionar problemas do ONTAP. A solução original baseada em plugin do navegador era desajeitada, propensa a erros e frequentemente falhava, particularmente para clientes fora dos Estados Unidos.

Projetamos um novo sistema de upload baseado em navegador usando o StorageGRID e os principais serviços da plataforma:

• Uploads em várias partes permitem recursos de pausa/retomada e transferências mais rápidas.
• URLs pré-assinados concedem acesso seguro, baseado em sessão.
• O CloudMirror replica arquivos carregados da DMZ para nossa grade interna sem comprometer a segurança.
• O SNS (Simple Notification Service) notifica nosso sistema imediatamente quando um arquivo é carregado, acionando um fluxo de trabalho automatizado para movê-lo para o domínio da engenharia.
• O Cloud Sync transfere arquivos da AWS S3 para instâncias internas do StorageGRID quando necessário.

Essa arquitetura melhorou a confiabilidade e nos permitiu escalar globalmente, utilizando a AWS S3 como uma plataforma de upload transitório em regiões sem data centers. Depois que os dados chegam à AWS, eles são replicados para os EUA por meio do backbone da AWS e rapidamente movidos para o StorageGRID. 

O resultado? Uploads contínuos e seguros para clientes em todo o mundo, sem plug-ins, exceções de firewall ou alterações de infraestrutura.

Nosso segundo caso de uso principal envolveu migrar o data lake do Active IQ de uma enorme arquitetura baseada em Hadoop para uma plataforma Dreamio nativa do Kubernetes com suporte do StorageGRID.

• Os números contam a história:
• Recursos de computação reduzidos em 60%
• Espaço físico de storage reduzido em 2 PB
• Os tempos de consulta melhoraram em 10 a 20x, com a maior consulta passando de 45 minutos para 2,5 minutos

Implantamos um ambiente StorageGRID bare-metal usando arrays de storage E-Series recuperados do sistema Hadoop. Otimizamos para desempenho, resiliência e capacidade de manutenção usando codificação de apagamento (4+2) e Red Hat 9.4.

A jornada da TI da NetApp com o StorageGRID reflete os desafios dos clientes: infraestrutura legada, restrições de segurança, requisitos em evolução e orçamentos apertados. Aprendemos que:

• Serviços de plataforma são importantes: ferramentas como CloudMirror e SNS trazem automação e flexibilidade.
• O design híbrido é fundamental: equilibrar grades internas com serviços nativos da nuvem estende o alcance sem custos excessivos.
• A reutilização acelera o ROI: reutilizar hardware e fazer a transição inteligente de workloads mantém a inovação econômica.

Não estamos apenas criando soluções para hoje, mas estabelecendo as bases para escalabilidade e agilidade futuras.