Une nouvelle architecture de données pour les usines d’IA à grande échelle

Aujourd'hui marque le début d'une nouvelle ère de l'infrastructure de données pour les AI Factories à l'échelle du gigawatt. NetApp Novus, une nouvelle classe d'architecture de stockage, dépasse les 100 To/s de débit agrégé et peut maintenir la productivité de centaines de milliers de GPU. Conçu pour une capacité à l'échelle du zettaoctet, Novus sépare les métadonnées et les données en plans évolutifs indépendants, puis unifie des milliers de nœuds de stockage derrière un espace de noms unique. Grâce à ces capacités, NetApp Novus transformera l'efficacité, l'utilisation et la rentabilité pour les opérateurs de Neocloud, les hyperscalers, les grandes entreprises créant des clouds GPU et les fournisseurs de GPU-as-a-Service.

Novus repose sur un accès pNFS standardisé, ce qui élimine le besoin de déployer des clients propriétaires sur les serveurs GPU et simplifie la gestion du cycle de vie lors des évolutions des noyaux et des générations de GPU. Novus apporte la résilience, la sécurité et la mutualisation de NetApp ONTAP^® à une architecture conçue spécifiquement pour les AI Factories.

Les calculs nécessaires pour alimenter 50 000 GPU

Les calculs pour AI Factory sont impitoyables. Un seul GPU peut exiger un débit de 2 Go/s pour rester occupé, et maintenir ce débit sur 50 000 GPU nécessite une bande passante cumulée de 100 To/s. Les baies de stockage traditionnelles offrent de 40 à 80 Go/s. Par conséquent, atteindre 100 To/s avec des baies conventionnelles implique d’en déployer plus d’une centaine, chacune avec son propre espace de noms, son domaine de défaillance et sa surcharge de gestion. Les opérateurs finissent par gérer un parc de systèmes de stockage et par se heurter à des problèmes complexes de déplacement des données.

La rentabilité consiste à maintenir les GPU occupés

Pour les usines d’IA à l’échelle du gigawatt, les GPU constituent le plus grand poste d’investissement au bilan et le seul qui génère des revenus. Chaque heure qu’un GPU passe à attendre des données équivaut à une heure d’amortissement sans aucun retour.

C'est ce qui rend cruciale pour l'entreprise la différence entre un cluster GPU bien alimenté et un cluster sous-alimenté. L'utilisation dans les AI Factories peut tomber à un seul chiffre lorsque le stockage ne peut pas fournir les données assez rapidement pour maintenir les GPU en fonctionnement. À ce stade, nous estimons que le goulot d'étranglement du stockage n'est plus un problème de performance, mais un problème de marge, qui ne fait que s'aggraver à mesure que les opérations se développent.

Éliminer le goulot d'étranglement des métadonnées

L’ajout de contrôleurs à lui seul ne résoudra pas le problème. Les métadonnées constituent un goulot d’étranglement avant même que la capacité ou la bande passante ne limite l’activité du GPU. Chaque requête d’ouverture, de recherche et de disposition aboutit aux mêmes contrôleurs qui tentent de fournir les données. L’importation d’un espace de travail représente des millions d’opérations sur de petits fichiers. Un point de contrôle correspond à une écriture séquentielle à l’échelle du téraoctet, émise simultanément par chaque nœud, juste après un pic de trafic de métadonnées. Lorsque vous faites évoluer le cluster, les opérations sur les métadonnées évoluent avec lui, jusqu’à ce que le système de fichiers ralentisse ou se bloque inévitablement.

Il est difficile de concevoir un système qui contourne deux modes d'accès antagonistes. Le trafic de métadonnées de petits fichiers exige le traitement rapide de nombreuses opérations indépendantes. Les écritures de points de contrôle nécessitent que l'ensemble du système soit dédié à un flux séquentiel. Si ces deux opérations sont exécutées sur les mêmes contrôleurs, chacune dégrade l'autre.

Novus dissocie les métadonnées des données, permettant à chacune d’évoluer indépendamment. Pour ce faire, nous avons conçu deux systèmes spécialisés, chacun optimisé pour une tâche différente, et les avons unifiés en un seul système. Les données résident sur des systèmes ONTAP de classe entreprise. Dans la première version, nous livrerons un stockage NetApp AFF A90 haute performance. Novus Data Director déplace les métadonnées vers une couche de contrôle logicielle, évolutive indépendamment, qui s’exécute sur un calcul x86 standard. Un client demande à Data Director où se trouve un fichier, reçoit une disposition, puis communique directement avec le stockage. Aucun des deux plans n’attend l’autre, et les données s’exécutent à pleine vitesse de ligne.

Clients standard, espace de noms unique, plusieurs locataires

Novus est conçu avec un accès pNFS/NFS standardisé via des environnements clients Linux compatibles, permettant aux opérateurs d'éviter le déploiement, l'application de correctifs et la validation de clients propriétaires sur des milliers d'images de nœuds, de générations de GPU et d'environnements de locataires. L'objectif est d'éliminer une source importante de surcharge récurrente tout en préservant un espace de noms unique pour une infrastructure d'IA partagée et multilocataire.

Un espace de noms unique simplifie les opérations. Lorsque les données d'une charge de travail sont réparties sur plusieurs systèmes, il faut les déplacer, les remonter, les rééquilibrer et comptabiliser chaque copie. Un espace de noms unique à l'échelle du zettaoctet élimine ce travail, en assurant l'adressabilité continue des ensembles de données, des points de contrôle et des artefacts de modèle à mesure que l'environnement se développe. Novus est conçu pour permettre aux opérateurs d'ajouter de la capacité et des performances sans imposer de modifications des applications, de remontages perturbateurs ni d'interruptions pour les locataires. Au lieu de rendre la topologie de stockage visible pour chaque charge de travail, Novus présente un environnement de données cohérent, conçu pour une AI factory à grande échelle.

À l'échelle d'une usine d'IA, l'infrastructure partagée n'est viable que si la confiance évolue au même rythme que les performances. Novus est conçu pour intégrer dans une architecture unique pensée pour une concurrence extrême les fondements éprouvés d'ONTAP en matière de sécurité, de résilience, de qualité de service et de mutualisation. Les fournisseurs peuvent ainsi maintenir l'isolation des clients, la prévisibilité des charges de travail et la productivité des GPU, même lorsque des milliers de tâches se disputent le même plan de données.

L’échelle est une cible mouvante

L'an dernier, un cluster de 10 000 GPU était considérable. Cette année, il est de 50 000. Personne ne croit que les usines d'IA d'aujourd'hui constituent l'état final. L'architecture que vous choisissez doit être adaptée non seulement au cluster que vous exploitez aujourd'hui, mais aussi à celui que vous exploiterez dans trois ans.

Gary Grider, directeur principal des technologies informatiques au Los Alamos National Labs, l'a bien résumé : « Les architectures qui nous ont menés au début de l'ère de l'IA ne pourront pas répondre aux exigences que nous leur imposerons à mesure que nous continuerons à accélérer l'innovation. À mesure que les AI Factories continuent de se développer, nous verrons des centaines de milliers de GPU accéder à un seul espace de noms, créant un énorme arriéré d'opérations de métadonnées qui ralentira, voire bloquera, le système de fichiers. Novus est une architecture inédite qui permet la mise à l'échelle indépendante à la fois du niveau de métadonnées et du niveau de données afin que les AI Factories puissent se développer sans être limitées par leur capacité à accéder aux données. »

Ce que Novus permet aux opérateurs de faire

Optimisez l'utilisation du GPU. Éliminez le goulot d'étranglement des données et alimentez en continu les environnements GPU coûteux afin de les rentabiliser.

Faites évoluer les performances indépendamment. Associez des nœuds de données hautes performances à un niveau de métadonnées désagrégé et faites évoluer chacun indépendamment.

Optimisez votre rentabilité. Déployez des modèles d'exploitation mutualisés à l'échelle du cloud sur une architecture conçue pour les usines d'IA à l'échelle du gigawatt, vous permettant ainsi d'accroître le rendement de vos actifs les plus précieux.

Les usines d'IA ont rapidement dépassé les capacités de leur architecture d'origine, obligeant les opérateurs à adopter une nouvelle solution. Novus est conçu pour que la croissance future ne nécessite pas de nouvelle architecture.

NetApp INSIGHT 2026 se déroule du 29 septembre au 1er octobre à Las Vegas. Regardez en direct ou à la demande. Explorez-en davantage dans le NetApp descriptif de solution Novus.