Una nuova architettura dei dati per le fabbriche di AI su larga scala

Oggi segna l'inizio di una nuova era nell'infrastruttura dati per le AI Factory su scala gigawatt. NetApp Novus, una nuova classe di architettura di storage, supera 100TB/s di throughput aggregato e può mantenere produttive centinaia di migliaia di GPU. Progettato per una capacità su scala zettabyte, Novus separa metadati e dati in piani scalabili in modo indipendente, quindi unifica migliaia di nodi di storage dietro un unico namespace. Con queste capacità, NetApp Novus trasformerà efficienza, utilizzo e redditività per gli operatori Neocloud, gli hyperscaler, le grandi aziende che creano cloud GPU e i provider di GPU-as-a-Service.

Novus si basa sull'accesso pNFS standardizzato, quindi non ci sono client proprietari da distribuire sui server GPU e nulla da gestire a livello di ciclo di vita al variare dei kernel e delle generazioni di GPU. Novus offre la resilienza, la sicurezza e la multi-tenancy di NetApp ONTAP^® in un'architettura costruita ad hoc per le AI Factory.

I calcoli per alimentare 50.000 GPU

I calcoli di AI Factory sono spietati. Una singola GPU può richiedere fino a 2GB/s di throughput per rimanere attiva, e mantenere questo livello su 50.000 GPU richiede 100TB/s di larghezza di banda cumulativa. Gli array di storage tradizionali offrono da 40 a 80GB/s. Quindi, raggiungere 100TB/s con array convenzionali significa distribuirne più di cento, ciascuno con il proprio namespace, dominio di errore e overhead di gestione. Gli operatori finiscono per gestire una flotta di sistemi di storage e affrontare complessi problemi di spostamento dei dati.

La redditività mantiene occupate le GPU

Per le fabbriche di AI su scala gigawatt, le GPU rappresentano la voce di spesa più consistente nel bilancio e l'unica a generare ricavi. Ogni ora in cui una GPU rimane in attesa di dati si traduce in un'ora di deprezzamento senza alcun ritorno.

Questo fa sì che la differenza tra un cluster GPU ben alimentato e uno a corto di dati diventi cruciale per il business. L'utilizzo nelle AI Factory può scendere a percentuali a una sola cifra quando lo storage non riesce a fornire i dati abbastanza velocemente da mantenere le GPU al lavoro. A quel punto, riteniamo che il collo di bottiglia dello storage non sia più un problema di prestazioni, ma un problema di margini, che non fa che aumentare con l'espansione delle attività.

Eliminare il collo di bottiglia dei metadati

Aggiungere più controller da soli non risolverà il problema. I metadati rappresentano un collo di bottiglia ancor prima che la capacità o la larghezza di banda limitino l'attività delle GPU. Ogni richiesta di apertura, ricerca e layout arriva agli stessi controller che stanno cercando di servire i dati. L'importazione di un workspace consiste in milioni di piccole operazioni sui file. Un checkpoint è una scrittura sequenziale su scala terabyte, emessa contemporaneamente da ogni nodo, che arriva subito dopo un picco di traffico di metadati. Quando ridimensioni il cluster, anche le operazioni sui metadati aumentano con esso, finché inevitabilmente il file system rallenta o si blocca.

È difficile progettare un sistema che tenga conto di due modelli di accesso incompatibili. Il traffico dei metadati di file di piccole dimensioni richiede che molte operazioni indipendenti vengano gestite rapidamente. Le scritture di checkpoint, invece, richiedono che l'intero sistema sia dedicato a un singolo flusso sequenziale. Se li esegui entrambi sugli stessi controller, ognuno degrada le prestazioni dell'altro.

Novus separa i metadati dai dati, consentendo a ciascuno di scalare in modo indipendente. Per farlo, abbiamo creato due sistemi specializzati, ciascuno ottimizzato per un compito diverso, e li abbiamo unificati in un unico sistema. I dati risiedono su sistemi ONTAP di livello enterprise. Nella prima release, verrà fornito storage NetApp AFF A90 dalle performance elevate. Novus Data Director sposta i metadati in un livello di controllo software-defined scalabile in modo indipendente, che viene eseguito su sistemi di calcolo x86 standard. Un client chiede a Data Director dove si trova un file, riceve un layout e poi comunica direttamente con lo storage. Nessuno dei due piani aspetta l'altro e i dati vengono eseguiti alla velocità di linea.

Clienti standard, un unico namespace, molti tenant

Novus è progettato con accesso pNFS/NFS basato su standard attraverso ambienti client Linux supportati, per aiutarti a evitare di distribuire, applicare patch e convalidare client proprietari su migliaia di immagini dei nodi, generazioni di GPU e ambienti tenant. L'obiettivo è eliminare una delle principali fonti di overhead ricorrente, preservando al contempo un unico namespace per un'infrastruttura AI condivisa e multi-tenant.

Un singolo namespace offre semplicità operativa. Quando i dati di un workload sono distribuiti su sistemi separati, devono essere spostati, rimontati, ribilanciati e ogni copia deve essere tracciata. Un singolo namespace su scala zettabyte elimina questo lavoro, mantenendo dataset, checkpoint e artefatti del modello continuamente indirizzabili man mano che l'ambiente cresce. Novus è progettato per consentire agli operatori di aggiungere capacità e prestazioni senza imporre modifiche alle applicazioni, rimontaggi invasivi o interruzioni per i tenant. Invece di rendere la topologia dello storage visibile a ogni workload, Novus presenta un unico ambiente dati coerente costruito per la scala di una AI factory.

Su scala AI Factory, l'infrastruttura condivisa funziona solo se la fiducia cresce di pari passo con le prestazioni. Novus è progettato per portare in un'unica architettura costruita per una concorrenza estrema le comprovate basi di sicurezza, resilienza, qualità del servizio e multi-tenancy di ONTAP. I provider possono mantenere i tenant isolati, i carichi di lavoro prevedibili e le GPU produttive anche quando migliaia di processi competono per lo stesso data plane.

La scalabilità è un obiettivo in continuo movimento

L'anno scorso, 10.000 GPU in un cluster rappresentavano un numero elevato. Quest'anno sono 50.000. Nessuno crede che le attuali "fabbriche di intelligenza artificiale" rappresentino il punto di arrivo. L'architettura che scegli deve essere adatta non solo al cluster che usi oggi, ma anche a quello che utilizzerai tra tre anni.

Gary Grider, Senior Director for Computing Technologies presso Los Alamos National Labs, lo ha spiegato bene: "Le architetture che ci hanno portato all'inizio dell'era dell'IA non saranno in grado di soddisfare le esigenze che imponiamo loro man mano che continuiamo ad accelerare l'innovazione. Con la continua espansione delle AI Factory, vedremo centinaia di migliaia di GPU accedere a un singolo namespace, creando un enorme accumulo di operazioni sui metadati che rallenterà o addirittura bloccherà il file system. Novus è un'architettura unica nel suo genere che offre la scalabilità indipendente sia del livello dei metadati sia del tier di dati, consentendo alle AI Factory di crescere senza essere limitate dalla loro capacità di accedere ai dati."

Cosa permette agli operatori di fare Novus

Massimizza l'utilizzo della GPU. Elimina il collo di bottiglia dei dati e mantieni alimentati e redditizi gli ambienti GPU costosi.

Scala le prestazioni in modo indipendente. Abbina nodi dati dalle performance elevate a un tier di metadati disaggregato e scala ciascuno in modo indipendente.

Incrementa la redditività. Esegui modelli operativi multi-tenant su scala cloud su un'architettura costruita ad hoc per fabbriche di AI su scala gigawatt, consentendoti di aumentare il ritorno sulle tue risorse più costose.

Le AI Factories hanno rapidamente superato l'architettura su cui erano state costruite, costringendo gli operatori a passare a qualcosa di nuovo. Novus è progettata in modo che la crescita futura non richieda una nuova architettura.

NetApp INSIGHT 2026 si terrà dal 29 settembre al 1° ottobre a Las Vegas. Guarda in diretta o on demand. Scopri di più nel NetApp Novus solution brief.