Domino Data Lab: Enterprise-KI im großen Maßstab ... mit einem Klick

Der menschliche Fortschritt wird durch Innovation angetrieben, mit stetigen Fortschritten über Jahrtausende hinweg, unterbrochen von Spitzen von Erfindungen, die die Zukunft über Nacht neu gestalten – große Ideen mit großer Wirkung wie die Druckerpresse, die Dampfmaschine, das Internet. Viele glauben, dass die Industrialisierung der künstlichen Intelligenz (KI), die die Datenwissenschaft vorantreibt, einer dieser Meilensteine ist. Deshalb verlangen viele Unternehmen jetzt von ihren Mitarbeitern, dass sie zuerst KI-Tools verwenden, wenn neue Talente eingestellt, klare Antworten auf komplexe Fragen benötigt, Markteinführungsstrategien formalisiert und Produkte der nächsten Generation entworfen werden.

An dieser Front gibt es aufregende Neuigkeiten. Domino Data Lab (Domino) und NetApp sahen etwas Tieferes, etwas mit breiterem Potenzial, das über den Hype um ChatGPT überall und das allgegenwärtige KI-Washing hinausgeht. Sie erkannten, dass eine der größten Herausforderungen bei der Überführung von KI-Workloads vom Prototyp in die Produktion darin bestand, Daten effizient, sicher und nahtlos in verschiedenen Umgebungen zu verwalten und darauf zuzugreifen.

Die meisten Unternehmen arbeiten heute mit Daten, die über mehrere Umgebungen verteilt sind, und ein effizienter Datenzugriff bleibt eine anhaltende Herausforderung. Die Partnerschaft zwischen Domino und NetApp adressiert dieses kritische Problem auf einzigartige Weise, indem sie KI-Teams den nahtlosen Zugriff auf verwaltete Datensätze ermöglicht, das Infrastrukturmanagement vereinfacht und Innovationen in großem Maßstab beschleunigt – und das alles, ohne aus Sicht der IT, Sicherheit oder Compliance zu beeinträchtigen. Da KI sich aus ihrem Hype-Zyklus bereits weit entwickelt hat, beginnt eine neue Phase der KI-Einführung, in der Unternehmen, Regierungen und Industrien Partner suchen, um KI-Prototypen in großem Maßstab in die Produktion zu bringen.

Die Partnerschaft hat zur ersten Integration der führenden MLOps-Plattform von Domino mit der fortschrittlichen zugrunde liegenden Datenmanagementlösung von NetApp geführt. Data Scientists erhalten Self-Service-Funktionen, um KI-Workloads direkt in Domino mit Domino Volumes for NetApp^​ ONTAP^​ (DVNO) zu managen. Domino nutzt Amazon FSx for NetApp^​ ONTAP^​ als Grundlage für sein SaaS-Angebot, was zu einer 2-fachen Performance-Steigerung im Vergleich zu Alternativen führt, während die vollständige Rückverfolgbarkeit der Modelle und Agenten erhalten bleibt. Dieser optimierte Ansatz ermöglicht es Data Scientists und Forschern, sich auf Innovation statt auf Infrastruktur zu konzentrieren.

Dieser Meilenstein in den Bereichen KI, Machine Learning Operations (MLOps) und Storage stellt einen bedeutenden Fortschritt dar. Er beruht auf der Erkenntnis, dass das volle Potenzial von KI nahtlos integrierte Funktionen erfordert: robuste Rechenleistung, effizientes Datenmanagement und optimierte Workflows, die Data Scientists Self-Service bieten, während die IT die Integrität des Betriebs mithilfe bewährter Standardpraktiken sichert – wodurch Datenwildwuchs eingedämmt und die KI-Einführung beschleunigt wird. ​​​

Alles beginnt, wenn Kollegen bei NVIDIA Freunden bei Domino und NetApp ein gemeinsames Mittagessen empfehlen. Schon bald erkannten die Führungskräfte der Unternehmen, dass sie eine gemeinsame Vision für eine Zukunft teilten, in der KI-Compute und KI-Storage per Definition hybrid oder Multi-Cloud sind. Ihre Vision versprach eine neue Möglichkeit für Data Scientists und Storage Engineers, gemeinsam eine neue Ära der Datenwissenschaft einzuläuten.

Domino, die führende MLOps-Plattform für Unternehmen, verfügt über ​​Expertise im Bereich KI-Lifecycle-Management und Compute-Orchestrierung​​​. Und NetApp, das Unternehmen für intelligente Dateninfrastruktur, verfügt über Expertise im Bereich Datenspeicherung. Aber die Partnerschaft ist mehr als nur ein Aufeinandertreffen von Köpfen, sie ist auch eine Kombination technischer Fähigkeiten. Thomas „T-Rob“ Robinson, Chief Operating Officer von Domino, beschreibt die Partnerschaft als ähnlich wie „ein Erdnussbutter-Gelee-Sandwich (oder, für das internationale Publikum, Marmite und Käse)“. Es ist einfach gut.

Diese Vision für einen neuen Weg in die Zukunft bedeutet, dass Data Scientists und Organisationen heute einfach und zuversichtlich über Prototypmodelle hinausgehen und zu autonom funktionierenden Agenten in der realen Welt übergehen können, wo KI auf einer Unified-Plattform einen echten Unterschied machen kann.

Thomas Been, Chief Marketing Officer bei Domino, sagt: „Eine Herausforderung, die eine erfolgreiche KI-Einführung durch viele Unternehmen behindert, ist Vertrauen.“ Vertrauen darauf, dass die auf Pilotebene ermittelten KI-Ergebnisse auf die gleichen Ergebnisse auf Agentenebene skaliert werden, wo regulatorische Governance und harte Kosten besonders wichtige Aspekte sind.

Ebenso herausfordernd ist, dass die meisten KI-Pilotprojekte in der Cloud durchgeführt werden, einer Umgebung, die sich für Data Scientists als agil, skalierbar und kostengünstig erwiesen hat und eine elastische Pay-as-you-need-Datenverarbeitung und -Speicherung ermöglicht. Die Cloud ermöglicht es heterogenen Teams auch, auf fließende, hochgradig kollaborative Weise auf Daten zuzugreifen und diese gemeinsam zu nutzen.

Infolgedessen erhalten Unternehmen und Organisationen beim Einrichten von Prototypen in der Cloud oft verlockende Einblicke in den Wert von KI. Aber wenn sie isoliert und mit sorgfältig kuratierten Datensätzen betrieben werden, neigen Modelle zu Übertraining und erlernten Verzerrungen, um nur zwei Fallstricke zu nennen. Den Wert in großem Maßstab außerhalb der Testumgebung zu erschließen, bleibt schwieriger, da größere Datensätze Variationen einführen, die ein Modell nicht erkennt. Modellhalluzinationen, ungenaue Vorhersagen und verminderte Effektivität erklären, warum 85 % der KI-Investitionen im Pilotmodus stecken bleiben. Thomas merkt an: „Die meisten Organisationen ziehen nicht alle Optionen in Betracht, indem sie ihre Daten zur KI bringen.“ Aus Gewohnheit bedeutet das: in die Cloud. Doch mit Amazon FSx for NetApp^​ ONTAP^​ ändern sich alte Gewohnheiten.

Sie tun dies in Hybrid- und Multi-Cloud-Umgebungen, da sich die meisten der weltweit wichtigsten Daten nach wie vor On-Prem befinden. Wie Jensen Huang, CEO von NVIDIA, feststellt: „Fast die Hälfte der Dateien weltweit werden lokal auf NetApp gespeichert.“ Deshalb schlagen die gemeinsamen Kunden von Domino und NetApp nach Abwägung ihrer Optionen einen anderen Weg ein. Thomas sagt: „Sie bringen die KI zu ihren Daten.“ Ein Beispiel ist die Art und Weise, wie die KI- und Data-Science-Plattform von Domino in Hybrid- und Multi-Cloud-Umgebungen skaliert, in denen die intensivsten KI-Workloads von Unternehmen einen hohen Durchsatz erfordern, insbesondere wenn Data Scientists mehrere Modelle auf gemeinsame Datensätze anwenden, die sich sowohl On-Prem als auch in der Cloud befinden. Amazon FSx for NetApp^​ ONTAP^​ ermöglicht es, die Modelle so schnell einzuspeisen, wie die GPUs die Daten verarbeiten – das ist schon für sich genommen ein echter Wendepunkt, aber es gibt noch mehr zu berichten.

Die Kosten für KI-Computing variieren stark, von GPUs der Einstiegsklasse bis hin zu High-End-Optionen, sowohl für den tatsächlichen Preis eines Chips als auch für die Zeit, die zur Verarbeitung eines Datensatzes benötigt wird, sei es in der Cloud oder On-Prem. Aber Thomas spricht ein ebenso wichtiges Thema an. Er sagt: „Man muss auch die Kosten für die Zeit der Menschen einrechnen.“

In der Vergangenheit folgten Data Scientists einem sehr linearen Prozess, der mit der Einhaltung von gesetzlichen Vorschriften, Unternehmensrichtlinien und Sicherheitsprotokollen begann und den verwalteten Zugriff auf Data Lakes und Warehouses ​​über zugelassene Tools wie SQL und Tableau umfasste. Dieser Prozess des Anforderns, Gatekeepings, Wartens und Herunterladens kann das Forschungsprojekt eines Data Scientists um Stunden, Tage, sogar Wochen verlängern. Diese Hindernisse können Data Scientists nicht nur dazu veranlassen, Schatten-IT aufzusuchen, sondern sie verlangsamen auch die Zeit bis zur Produktion erheblich. Schließlich birgt jede Verschiebung von Daten von einer Umgebung in eine andere Risiken für die Daten selbst, von Datenverlust und Duplizierung bis hin zu Beschädigungen durch die Gefährdung mit weniger sicheren Systemen. Bedenken Sie, dass IDC festgestellt hat, dass ein typischer Data Scientist diesen Prozess 7-10 Mal durchläuft, um ein einzelnes Modell zu erstellen. Die Höhe der einzelnen Zahlen – von TBs und GPUs bis hin zu Tagen und Dollar – kann erheblich sein, insbesondere wenn sie mit der Anzahl der Data Scientists eines Unternehmens und ihren zahlreichen aktuellen Experimenten multipliziert werden.

NetApp entwickelte „Snapshotting“ als Kernfunktion des ONTAP Betriebssystems vor Jahren. Das heißt, sie ermöglichten es Data Scientists, jederzeit sofortige Kopien ihrer Daten zu erstellen, ohne die Mühe umständlicher und zeitraubender „Speichern unter“-Prozesse. Heute ist das Speichern dieser unveränderlichen Kopien ein zentrales Wertversprechen der Domino Lösung mit Amazon FSx for NetApp^​ ONTAP^​ -Snapshots von Daten und Datenmodellen werden ohne zusätzlichen Platzbedarf, mit nur einem Klick erfasst. Dies ist nicht nur für Audit- und Referenzzwecke von unschätzbarem Wert, sondern auch für die Rückkehr zu früheren, nützlicheren Modellen und für den Austausch mit Kollegen. Jetzt können Data Scientists forschen und Storage Engineers können sich auf das Management und die Sicherung ihrer Domäne konzentrieren.

Die FSx for ONTAP^​ Lösung ermöglicht KI im großen Maßstab in einem wiederholbaren MLOps-Lebenszyklus. Sie nutzt außerdem die Fülle an intelligenter Datenmanagement-Technologie, die in NetApp verfügbar ist, ohne dass Benutzer etwas über Storage oder die Verwaltung von Volumes wissen müssen. Ein Pharma-Kunde von Domino’s sagte: „Das ist genau das, was wir brauchen!“ FSx for ONTAP^​ ist das Ergebnis einer produktgetriebenen Strategie, die Anwender befähigt, mehr mit weniger zu erreichen – also schneller zu arbeiten und schneller fertig zu werden, bei geringeren Kosten. Es ist das Gegenteil von dem, was vorher war. Nämlich generischer Hyperscaler-Storage mit geringerer Performance, GPU-Engpässen und Ineffizienzen. Das Replatforming mit der Domino und NetApp Lösung macht bereits einen Unterschied für Early Adopters, die nun die Vorteile von Modellen erkennen, die im großen Maßstab für ihre hybride Domäne ausgeführt werden – alles mit schnellerem Durchsatz und ohne verschwendete GPU-Kapazität.

Und in den Schlagzeilen über den rasanten Energieverbrauch von KI stellt sich heraus, dass KI umweltfreundlicher sein kann als ihr Ruf, denn ein höherer Durchsatz und eine schnellere Verarbeitung verringern nicht nur den ökologischen Fußabdruck eines Unternehmens, sondern auch deren GPU- und Stromkosten. FSx for ONTAP^​ kann ein weiterer Schritt für ein Unternehmen auf seinem Weg zur Nachhaltigkeit sein.

Thomas Been sieht 2025 als einen Wendepunkt mit einem „Vorher“ und „Nachher“, wenn Unternehmen das „handwerkliche Zeitalter“ der KI hinter sich lassen und die industrielle KI beginnt. Er sagt: „Wir freuen uns über unsere Partnerschaft mit NetApp, weil wir gemeinsam die Spielregeln verändert haben.“ Domino und NetApp haben standardisierte Prozesse – mit der richtigen Governance – entwickelt, damit Unternehmen KI in großem Maßstab einsetzen können.“ Aber das Angebot von Domino über Amazon FSx for NetApp^​ ONTAP^​ ist erst der Anfang. Was kommt als Nächstes?

Zunächst steht das Produktdesign auf dem Programm, um die Funktionen von Domino direkt innerhalb von NetApp ONTAP zu integrieren, sowie eine Reihe von „NetApp aware“ Funktionen, die MLOps-Profis nutzen können, wenn sie ihre Pilot-zu-Agent-KI-Pipeline weiterentwickeln.

Auch wenn es nicht die Singularität ist, bringt FSx for ONTAP^​ eine einzigartige Lösung mit einzigartigen Funktionen und wertvollen Vorteilen für Datenwissenschaftler, die Ernteerträge steigern, sicherere Medikamente entwickeln und die Produktion autonomer Fahrzeuge beschleunigen möchten. T-Rob fasst zusammen und sagt: „Der immense Wert eines Stacks mit Domino und NetApp sowie Partnern wie AWS und NVIDIA besteht darin, dass er eine Enterprise-Basis mit all der Resilienz, Effizienz und Sicherheit bietet, die KI benötigt.“ Erdnussbutter und Gelee, in der Tat.