Eine neue Datenarchitektur für KI-Fabriken in großem Maßstab

Heute beginnt eine neue Ära der Dateninfrastruktur für KI-Fabriken im Gigawatt-Bereich. NetApp Novus, eine neue Klasse von Speicherarchitektur, erreicht einen aggregierten Durchsatz von über 100TB/s und kann Hunderttausende von GPUs produktiv halten. Novus wurde für Kapazitäten im Zettabyte-Bereich entwickelt, trennt Metadaten und Daten in unabhängig skalierbare Ebenen und vereint dann Tausende von Speicherknoten hinter einem einzigen Namespace. Mit diesen Funktionen wird NetApp Novus die Effizienz, Auslastung und Rentabilität für Neocloud-Betreiber, Hyperscaler, große Unternehmen beim Aufbau von GPU-Clouds und GPU-as-a-Service-Anbieter grundlegend verändern.

Novus basiert auf standardbasiertem pNFS-Zugriff, sodass keine proprietären Clients auf GPU-Servern bereitgestellt werden müssen und kein Lebenszyklusmanagement erforderlich ist, wenn sich Kernel und GPU-Generationen ändern. Novus vereint die Ausfallsicherheit, Sicherheit und Mandantenfähigkeit von  NetApp ONTAP^® mit einer speziell für KI-Fabriken entwickelten Architektur.

Die Arithmetik der Versorgung von 50.000 GPUs

Die Mathematik der AI Factory ist unerbittlich. Eine einzelne GPU kann bis zu 2 GB/s Durchsatz benötigen, um ausgelastet zu bleiben, und um dies über 50.000 GPUs hinweg aufrechtzuerhalten, sind 100 TB/s kumulative Bandbreite erforderlich. Herkömmliche Storage-Arrays bieten 40 bis 80 GB/s. Um also 100 TB/s mit herkömmlichen Arrays zu erreichen, müssten mehr als hundert davon bereitgestellt werden, jeweils mit eigenem Namespace, eigener Fehlerdomäne und eigenem Verwaltungsaufwand. Betreiber müssen letztlich eine Flotte von Storage-Systemen betreiben und sich mit komplexen Problemen der Datenbewegung auseinandersetzen.

Rentabilität bedeutet, GPUs auszulasten

Für KI-Fabriken im Gigawatt-Bereich sind GPUs der größte Kapitalposten in der Bilanz und der einzige, der Einnahmen generiert. Jede Stunde, die eine GPU auf Daten wartet, bedeutet eine Stunde Abschreibung ohne Ertrag.

Das macht den Unterschied zwischen einem gut ausgelasteten und einem unterversorgten GPU-Cluster geschäftskritisch. Die Auslastung in KI-Fabriken kann in den einstelligen Bereich fallen, wenn der Speicher nicht schnell genug Daten liefern kann, um die GPUs am Laufen zu halten. Ab diesem Punkt ist der Speicherengpass unserer Ansicht nach kein Leistungsproblem mehr, sondern ein Margenproblem, das mit zunehmender Betriebsgröße nur noch größer wird.

Beseitigung des Metadaten Engpasses

Mehr Controller allein lösen das Problem nicht. Metadaten sind ein Engpass, noch bevor Kapazität oder Bandbreite die GPU-Aktivität drosseln. Jede Anfrage zum Öffnen, Nachschlagen und Layouten landet auf denselben Controllern, die auch Daten bereitstellen. Ein Workspace Import besteht aus Millionen kleiner Dateivorgänge. Ein Checkpoint ist ein sequenzielles Schreiben im Terabyte-Bereich, das von allen Knoten gleichzeitig ausgeführt wird und direkt nach einem Schub von Metadatenverkehr eintrifft. Wenn Sie den Cluster skalieren, skalieren auch die Metadatenoperationen mit, bis das Dateisystem unweigerlich langsamer wird oder stehen bleibt.

Es ist schwierig, zwei Zugriffsmuster zu handhaben, die sich gegenseitig behindern. Der Metadatenverkehr kleiner Dateien erfordert die schnelle Verarbeitung vieler unabhängiger Operationen. Checkpoint Schreibvorgänge hingegen beanspruchen das gesamte System für einen einzigen sequenziellen Datenstrom. Werden beide auf denselben Controllern ausgeführt, beeinträchtigt jedes das andere.

Novus entkoppelt Metadaten von Daten, sodass beide unabhängig voneinander skalieren können. Dazu haben wir zwei spezialisierte Systeme entwickelt, die jeweils für unterschiedliche Aufgaben optimiert sind, und sie zu einem einzigen System zusammengeführt. Die Daten befinden sich auf ONTAP Systemen der Enterprise-Klasse. In der ersten Version liefern wir mit hochleistungsfähigem NetApp AFF A90 Speicher aus. Novus Data Director verlagert Metadaten in eine unabhängig skalierbare, softwaredefinierte Steuerungsschicht, die auf Standard x86 Compute ausgeführt wird. Ein Client fragt den Data Director, wo sich eine Datei befindet, erhält ein Layout und kommuniziert dann direkt mit dem Speicher. Keine der beiden Ebenen wartet auf die andere, und die Daten werden mit Leitungsgeschwindigkeit übertragen.

Standard-Clients, ein einzelner Namespace, viele Mandanten

Novus ist so konzipiert, dass der Zugriff über unterstützte Linux-Clientumgebungen auf standardbasiertes pNFS/NFS erfolgt. Dadurch entfällt für Betreiber die Notwendigkeit, proprietäre Clients auf Tausenden von Knoten-Images, GPU-Generationen und Mandantenumgebungen bereitzustellen, zu patchen und zu validieren. Ziel ist es, einen wesentlichen, wiederkehrenden Aufwand zu eliminieren und gleichzeitig einen einheitlichen Namensraum für die gemeinsam genutzte, mandantenfähige KI-Infrastruktur zu erhalten.

Ein einziger Namensraum sorgt für betriebliche Einfachheit. Wenn die Daten einer Arbeitslast auf separate Systeme verteilt sind, müssen sie verschoben, neu eingebunden, neu ausbalanciert und jede Kopie erfasst werden. Ein einziger Namensraum im Zettabyte-Maßstab eliminiert diesen Aufwand und gewährleistet, dass Datensätze, Checkpoints und Modellartefakte auch bei wachsender Umgebung kontinuierlich adressierbar bleiben. Novus ist so konzipiert, dass Betreiber Kapazität und Leistung hinzufügen können, ohne Anwendungsänderungen, störende Neueinbindungen oder Unterbrechungen für Mandanten zu erzwingen. Anstatt die Speichertopologie für jede Arbeitslast sichtbar zu machen, stellt Novus eine konsistente Datenumgebung bereit, die für den Maßstab einer AI Factory entwickelt wurde.

Im Maßstab einer KI-Fabrik funktioniert gemeinsam genutzte Infrastruktur nur, wenn Vertrauen mit der Leistung skaliert. Novus wurde speziell entwickelt, um die bewährten Grundlagen von ONTAP in Bezug auf Sicherheit, Ausfallsicherheit, Servicequalität und Mandantenfähigkeit in eine einzige Architektur für extreme Parallelität zu überführen. Anbieter können Mandanten isolieren, Workloads vorhersagbar halten und GPUs produktiv nutzen, selbst wenn Tausende von Jobs um dieselbe Datenebene konkurrieren.

Skalierung ist ein bewegliches Ziel

Letztes Jahr waren 10.000 GPUs in einem Cluster eine große Zahl. Dieses Jahr sind es 50.000. Niemand geht davon aus, dass die heutigen KI-Fabriken den Endzustand darstellen. Die gewählte Architektur muss nicht nur für den Cluster geeignet sein, den Sie heute betreiben, sondern auch für den, den Sie in drei Jahren betreiben werden.

Gary Grider, Senior Director für Computertechnologien bei Los Alamos National Labs, brachte es auf den Punkt: „Die Architekturen, die uns an den Beginn des KI-Zeitalters gebracht haben, werden die Anforderungen, die wir an sie stellen, während wir die Innovation weiter beschleunigen, nicht erfüllen können. Mit der weiteren Skalierung von KI-Fabriken werden wir Hunderttausende von GPUs sehen, die auf einen einzigen Namespace treffen und einen massiven Rückstau bei Metadatenoperationen verursachen, der das Dateisystem verlangsamen oder sogar zum Stillstand bringen wird. Novus ist eine einzigartige Architektur, die die unabhängige Skalierung sowohl der Metadatenebene als auch der Datenebene ermöglicht, sodass KI-Fabriken wachsen können, ohne durch ihre Fähigkeit zum Datenzugriff eingeschränkt zu werden.“

Was Novus Betreibern ermöglicht

Maximale GPU-Auslastung. Beseitigung des Datenengpasses und Sicherstellung, dass teure GPU-Umgebungen ausreichend versorgt werden und Erträge erzielen.

Unabhängige Skalierung der Leistung. Kombinieren Sie Hochleistungsdatenknoten mit einer disaggregierten Metadatenebene und skalieren Sie jede Ebene unabhängig.

Mehr Rentabilität. Mandantenfähige Betriebsmodelle im Cloud-Maßstab auf einer Architektur, die für KI-Fabriken im Gigawatt-Maßstab entwickelt wurde und Ihnen ermöglicht, die Rendite Ihrer teuersten Anlagen zu steigern.

KI-Fabriken sind der Architektur, auf der sie aufgebaut wurden, schnell entwachsen, sodass Betreiber gezwungen sind, auf etwas Neues umzusteigen. Novus ist so konzipiert, dass zukünftiges Wachstum keine neue Architektur erfordert.

NetApp INSIGHT 2026 findet vom 29. September bis 1. Oktober in Las Vegas statt. Live oder auf Abruf. Mehr im NetApp Novus Lösungsüberblick.