Uma nova arquitetura de dados para fábricas de IA em escala

Hoje marca o início de uma nova era na infraestrutura de dados para fábricas de IA em escala de gigawatts. NetApp Novus, uma nova classe de arquitetura de storage, ultrapassa 100TB/s de taxa de transferência agregada e pode manter centenas de milhares de GPUs produtivas. Projetada para capacidade em escala de zettabytes, a Novus separa metadados e dados em planos escaláveis de forma independente e, em seguida, unifica milhares de nós de storage em um único namespace. Com esses recursos, NetApp Novus transformará a eficiência, a utilização e a lucratividade para operadores de Neocloud, hiperescaladores, grandes empresas que constroem nuvens de GPU e provedores de GPU como serviço.

O Novus é construído com base no acesso pNFS baseado em padrões, portanto não há clientes proprietários para implantar em servidores GPU e nada para gerenciar no ciclo de vida à medida que os kernels e as gerações de GPU mudam. O Novus traz a resiliência, a segurança e a alocação a vários clientes do  NetApp ONTAP^® para uma arquitetura criada especificamente para fábricas de IA.

A aritmética de alimentar 50.000 GPUs

A matemática da AI Factory é implacável. Uma única GPU pode exigir uma taxa de transferência de até 2 GB/s para se manter ocupada, e sustentar isso em 50.000 GPUs requer 100 TB/s de largura de banda cumulativa. Os arrays de storage tradicionais oferecem de 40 a 80 GB/s. Portanto, atingir 100 TB/s com arrays convencionais significa implantar mais de cem deles, cada um com seu próprio namespace, domínio de falha e sobrecarga no gerenciamento. Os operadores acabam executando uma frota de sistemas de storage e lidando com problemas complexos de movimentação de dados.

A rentabilidade é manter as GPUs ocupadas

Para fábricas de IA em escala de gigawatts, as GPUs são o maior item de capital no balanço patrimonial e o único que gera receita. Cada hora que uma GPU passa aguardando dados é uma hora de depreciação sem retorno.

Isso faz com que a diferença entre um cluster de GPUs bem alimentado e um faminto seja crítica para os negócios. A utilização em AI Factories pode cair para um único dígito quando o armazenamento não consegue fornecer dados com rapidez suficiente para manter as GPUs funcionando. Nesse ponto, acreditamos que o gargalo de armazenamento deixa de ser um problema de desempenho; passa a ser um problema de margem, que só aumenta à medida que as operações se expandem.

Eliminando o gargalo de metadados

Aumentar o número de controladores por si só não resolverá o problema. Os metadados representam um gargalo mesmo antes que a capacidade ou a largura de banda limitem a atividade da GPU. Cada solicitação de abertura, busca e layout recai sobre os mesmos controladores que estão tentando fornecer dados. Uma importação de espaço de trabalho envolve milhões de pequenas operações de arquivo. Um checkpoint é uma gravação sequencial em escala de terabytes, emitida por todos os nós simultaneamente, chegando logo após um pico de tráfego de metadados. Ao escalar o cluster, as operações de metadados escalam com ele, até que inevitavelmente o sistema de arquivos fique lento ou trave.

É difícil contornar dois padrões de acesso que são conflitantes. O tráfego de metadados de arquivos pequenos exige que muitas operações independentes sejam processadas rapidamente. As gravações de checkpoint exigem que todo o sistema seja dedicado a um fluxo sequencial. Se ambos forem executados nos mesmos controladores, cada um deles degrada o outro.

O Novus separa metadados dos dados, permitindo que cada um seja dimensionado independentemente. Para isso, criamos dois sistemas especializados, cada um otimizado para uma tarefa diferente, e os unificamos em um único sistema. Os dados residem em sistemas ONTAP de nível empresarial. Na primeira versão, incluiremos o storage AFF A90 NetApp de alto desempenho. O Novus Data Director move os metadados para uma camada de controle definido por software escalável de forma independente, executada em computação x86 padrão. Um cliente pergunta ao Data Director onde um arquivo está, recebe um layout e, em seguida, se comunica diretamente com o storage. Nenhuma das camadas espera pela outra, e os dados operam em line rate.

Clientes padrão, namespace único, vários locatários

O Novus foi projetado com acesso pNFS/NFS baseado em padrões por meio de ambientes de cliente Linux compatíveis para ajudar os operadores a evitar a implantação, a aplicação de patches e a validação de clientes proprietários em milhares de imagens de nós, gerações de GPUs e ambientes de locatários. Isso visa eliminar uma importante fonte de sobrecarga recorrente, preservando um único namespace para infraestrutura de IA compartilhada com alocação a vários clientes.

Um único namespace proporciona simplicidade operacional. Quando os dados de uma carga de trabalho estão distribuídos por sistemas separados, eles precisam ser movidos, remontados, rebalanceados, e cada cópia contabilizada. Um único namespace em escala de zettabytes elimina esse trabalho, mantendo os conjuntos de dados, pontos de verificação e artefatos de modelo continuamente acessíveis à medida que o ambiente cresce. O Novus foi projetado para permitir que os operadores adicionem capacidade e desempenho sem forçar alterações nos aplicativos, remontagens disruptivas ou interrupções de locatários. Em vez de tornar a topologia de storage visível para cada carga de trabalho, o Novus apresenta um ambiente de dados consistente, criado para a escala de uma fábrica de IA.

Em escala de AI Factory, a infraestrutura compartilhada só funciona se a confiança acompanhar o desempenho. O Novus foi projetado para trazer os fundamentos comprovados de segurança, resiliência, qualidade de serviço e alocação a vários clientes do ONTAP para uma única arquitetura criada para concorrência extrema. Os provedores podem manter os locatários isolados, as cargas de trabalho previsíveis e as GPUs produtivas, mesmo quando milhares de tarefas competem pelo mesmo plano de dados.

A escala é um alvo móvel

No ano passado, 10.000 GPUs em um cluster era um número grande. Este ano, são 50.000. Ninguém acredita que as fábricas de IA de hoje sejam o estado final. A arquitetura que você escolhe precisa ser adequada não apenas para o cluster que você está executando hoje, mas também para aquele que você estará operando daqui a três anos.

Gary Grider, Diretor Sênior de Tecnologias de Computação no Los Alamos National Labs, resumiu bem a situação: "As arquiteturas que nos levaram ao início da era da IA não conseguirão atender às demandas que impomos a elas à medida que continuamos a acelerar a inovação. À medida que as AI Factories continuam a escalar, veremos centenas de milhares de GPUs atingindo um único namespace, criando um enorme acúmulo de operações de metadados que desacelerará ou até paralisará o sistema de arquivos. O Novus é uma arquitetura inédita que oferece escalabilidade independente tanto da camada de metadados quanto da camada de dados, para que as AI Factories possam crescer sem ficar limitadas pela capacidade de acessar dados."

O que a Novus permite que as operadoras façam

Maximize a utilização da GPU. Elimine o gargalo de dados e mantenha os ambientes de GPU caros abastecidos e monetizados.

Aumente o desempenho de forma independente. Combine nós de dados de alto desempenho com uma camada de metadados desagregada e dimensione cada um de forma independente.

Aumente a lucratividade. Execute modelos operacionais com alocação a vários clientes, em escala de nuvem, em uma arquitetura criada para fábricas de IA em escala de gigawatts, permitindo que você aumente o retorno sobre seus ativos mais caros.

As fábricas de IA rapidamente superaram a arquitetura em que foram construídas, forçando os operadores a migrar para algo novo. O Novus foi projetado para que o crescimento futuro não exija uma nova arquitetura.

NetApp INSIGHT 2026 acontece de 29 de setembro a 1º de outubro em Las Vegas. Assista ao vivo ou sob demanda. Saiba mais no NetApp solution brief Novus.