Domino Data Lab: IA empresarial a escala... en un clic

El progreso humano se nutre de la innovación, con avances constantes a lo largo de milenios, interrumpidos por oleadas de inventos que transforman el futuro de la noche a la mañana: grandes ideas con un impacto trascendental, como la imprenta, la máquina de vapor e internet. Muchos consideran que la industrialización de la inteligencia artificial (IA), que impulsa la ciencia de datos, es uno de esos hitos. Por ello, muchas empresas ahora exigen a sus empleados que utilicen lo primero herramientas de IA al contratar nuevo talento, buscar respuestas claras a preguntas complejas, formalizar estrategias de comercialización y diseñar productos de última generación.

Hay noticias alentadoras al respecto. Domino Data Lab (Domino) y NetApp vislumbraron algo más profundo, algo con un potencial mayor que el auge de ChatGPT y la omnipresente promoción de la IA. Reconocieron que uno de los desafíos más importantes para trasladar las cargas de trabajo de IA del prototipo a la producción era gestionar y acceder a los datos de forma eficiente, segura y fluida en diversos entornos.

Actualmente, la mayoría de las empresas operan con datos distribuidos en múltiples entornos, y el acceso eficiente a los datos sigue siendo un desafío constante. La alianza entre Domino y NetApp aborda este problema crítico de forma única, permitiendo a los equipos de IA acceder sin problemas a conjuntos de datos gobernados, simplificar la gestión de la infraestructura y acelerar la innovación a gran escala, todo ello sin comprometer la seguridad ni el cumplimiento normativo desde la perspectiva de TI. Con la IA en pleno auge, se está iniciando una nueva fase de adopción, en la que empresas, gobiernos e industrias buscan socios que les ayuden a llevar los prototipos de IA a producción a gran escala.

Esta alianza ha dado como resultado la primera integración de la plataforma MLOps líder de Domino con la avanzada solución de gestión de datos subyacente de NetApp. Los científicos de datos obtienen capacidades de autoservicio para gestionar cargas de trabajo de IA directamente en Domino mediante Domino Volumes for NetApp® ONTAP® (DVNO). Domino utiliza Amazon FSx for NetApp® ONTAP® como base para su oferta SaaS, lo que se traduce en una mejora del rendimiento del doble en comparación con otras alternativas, a la vez que se mantiene la trazabilidad completa de sus modelos y agentes. Este enfoque optimizado permite a los científicos de datos e investigadores centrarse en la innovación en lugar de en la infraestructura.

Este hito en IA, operaciones de aprendizaje automático (MLOps) y almacenamiento de datos representa un avance significativo. Surge del reconocimiento de que para aprovechar todo el potencial de la IA se requieren capacidades perfectamente integradas: una sólida potencia de cómputo, una gestión de datos eficiente y flujos de trabajo optimizados que brinden a los científicos de datos libertad de autoservicio, mientras que el departamento de TI mantiene la integridad operativa mediante prácticas estándar y confiables, reduciendo la proliferación de datos y acelerando la implementación de la IA. ​​​

Todo comenzó cuando colegas de NVIDIA recomendaron a amigos de Domino y NetApp para almorzar. Rápidamente, los líderes de ambas compañías se dieron cuenta de que compartían una visión de un futuro en el que la computación y el almacenamiento de IA serían, por definición, híbridos o multicloud. Su visión prometía una nueva forma para que científicos de datos e ingenieros de almacenamiento impulsaran conjuntamente una nueva era de la ciencia de datos.

Domino, la plataforma MLOps empresarial líder, cuenta con la experiencia en gestión del ciclo de vida de la IA y orquestación de computación. Y NetApp, la empresa de infraestructura de datos inteligente, posee la experiencia en almacenamiento de datos. Pero la alianza va más allá de una simple coincidencia de ideas; también representa una sinergia de capacidades técnicas. Thomas ‘T-Rob’ Robinson, director de operaciones de Domino, describe la alianza como algo similar a «un sándwich de mantequilla de cacahuete y mermelada (o la versión europea de jamón y queso)». Es, sencillamente, excelente.

Esta visión de un nuevo camino a seguir significa que los científicos de datos y las organizaciones de hoy pueden pasar con facilidad y confianza de los modelos prototipo a agentes que funcionan de forma autónoma en el mundo real, donde la IA en una plataforma unificada puede marcar una verdadera diferencia.

Thomas Been, director de marketing de Domino, afirma: «Uno de los desafíos que dificulta la adopción exitosa de la IA por parte de muchas organizaciones es la confianza». Confianza en que los resultados de la IA descubiertos en la fase piloto se replicarán a nivel de agente, donde la gobernanza regulatoria y los costos directos son consideraciones especialmente críticas.

Igualmente desafiante es que la mayoría de los proyectos piloto de IA se ejecutan en la nube, un entorno que ha demostrado ser ágil, escalable y rentable para los científicos de datos, gracias al procesamiento y almacenamiento elástico de pago por uso. La nube también permite que equipos diversos accedan a los datos y los compartan de forma fluida y altamente colaborativa.

Como resultado, las empresas y organizaciones suelen vislumbrar el potencial de la IA al implementar prototipos en la nube. Sin embargo, al ejecutarse de forma aislada y con conjuntos de datos cuidadosamente seleccionados, los modelos son propensos al sobreajuste y a sesgos aprendidos, por mencionar solo dos problemas. Aprovechar el valor a gran escala fuera del entorno de prueba sigue siendo más difícil, ya que los conjuntos de datos más grandes introducen variaciones que el modelo no reconoce. Las alucinaciones del modelo, las predicciones inexactas y la menor eficacia explican por qué el 85 % de las inversiones en IA permanecen estancadas en la fase piloto. Thomas señala: «La mayoría de las organizaciones no consideran todas sus opciones al migrar sus datos a la IA». Por costumbre, esto significa a la nube. Pero con Amazon FSx para NetApp® ONTAP®, las viejas costumbres están cambiando.

Lo están haciendo en entornos híbridos y multicloud, porque la mayor parte de los datos más importantes del mundo aún se encuentran en servidores locales. Como señala Jensen Huang, CEO de NVIDIA: «Casi la mitad de los archivos del mundo se almacenan localmente en NetApp». Por eso, los clientes conjuntos de Domino y NetApp están optando por una estrategia diferente tras analizar sus opciones. Thomas afirma: «Están integrando la IA en sus datos». Un ejemplo es la forma en que la plataforma de IA y ciencia de datos de Domino escala en entornos híbridos y multicloud, donde las cargas de trabajo de IA empresarial más intensivas requieren un alto rendimiento, especialmente cuando los científicos de datos ejecutan múltiples modelos con conjuntos de datos comunes que abarcan tanto servidores locales como la nube. Amazon FSx para NetApp® ONTAP® permite alimentar los modelos tan rápido como las GPU procesan los datos, lo cual supone un cambio radical, pero la historia no termina ahí.

El coste de la computación de IA varía enormemente, desde las GPU básicas hasta las de gama alta, tanto por el precio del chip como por el tiempo necesario para procesar un conjunto de datos, ya sea en la nube o en las instalaciones. Pero Thomas plantea un tema de igual importancia: «También hay que tener en cuenta el coste del tiempo de las personas».

Anteriormente, los científicos de datos seguían un proceso muy lineal, que comenzaba con el cumplimiento de la normativa, las políticas de la empresa y los protocolos de seguridad, e incluía el acceso gestionado a lagos y almacenes de datos mediante herramientas aprobadas como SQL y Tableau. Este proceso de solicitud, control de acceso, espera y descarga puede añadir horas, días e incluso semanas al proyecto de investigación de un científico de datos. Estos obstáculos no solo pueden impulsar a los científicos de datos a recurrir a la TI en la sombra, sino que también ralentizan significativamente el tiempo de puesta en producción. Por último, cada transferencia de datos de un entorno a otro introduce riesgos para los propios datos, desde la pérdida y la duplicación hasta la corrupción por exposición a sistemas menos seguros. Ahora bien, IDC ha constatado que un científico de datos típico realiza este proceso entre 7 y 10 veces al construir un solo modelo. Las cifras —desde terabytes y GPU hasta días y dólares— pueden ser significativas, especialmente si se multiplican por el número de científicos de datos de una organización y sus numerosos experimentos en curso.

NetApp desarrolló la función de «instantáneas» como una característica fundamental del sistema operativo ONTAP hace años. Esto significa que permitió a los científicos de datos crear copias instantáneas de sus datos en cualquier momento, sin la complejidad de los engorrosos y lentos procesos de «guardar como». Hoy en día, guardar estas copias inmutables es una de las principales ventajas de la solución Domino a través de Amazon FSx para NetApp® ONTAP®: instantáneas de datos y modelos de datos sin dejar rastro, capturadas al instante con un solo clic. Esto resulta invaluable no solo para auditorías y consultas, sino también para recuperar modelos anteriores más útiles y para compartir con colegas. Ahora, los científicos de datos pueden dedicarse a la investigación, y los ingenieros de almacenamiento pueden centrarse en la gestión y la seguridad de su dominio..

La solución FSx para ONTAP® permite la IA a gran escala en un ciclo de vida MLOps repetible. Además, aprovecha la amplia gama de tecnología de gestión inteligente de datos disponible en NetApp sin que los usuarios tengan que preocuparse por el almacenamiento ni la administración de volúmenes. Un cliente farmacéutico de Domino's comentó: "¡Esto es justo lo que necesitábamos!". FSx para ONTAP® es el resultado de una estrategia centrada en el producto que permite a los usuarios lograr más con menos recursos: trabajar más rápido, terminar antes y a menor costo. Es la antítesis de las soluciones anteriores: almacenamiento genérico para hiperescaladores con menor rendimiento, cuellos de botella en la GPU e ineficiencias. La migración a la solución de Domino y NetApp ya marca la diferencia para los primeros usuarios, quienes ahora disfrutan de las ventajas de ejecutar modelos a gran escala en su dominio híbrido, con mayor velocidad de procesamiento y sin desperdiciar capacidad de la GPU.

Y, eclipsado por los titulares sobre el creciente consumo energético de la IA, resulta que esta puede ser más ecológica de lo que se cree, ya que un mayor rendimiento y una mayor velocidad de procesamiento también reducen el impacto ambiental de una organización, más allá de sus gastos en GPU y energía. FSx para ONTAP® puede ser un paso más en el camino hacia la sostenibilidad para una empresa.sostenibilidad.

Thomas Been considera que 2025 marcará un punto de inflexión, un antes y un después, cuando las organizaciones superen la era artesanal de la IA y comience la IA industrial. Afirma: «Estamos entusiasmados con nuestra alianza con NetApp, porque juntos hemos revolucionado el sector. Domino y NetApp han creado procesos estandarizados —con la gobernanza adecuada en todo momento— para que las empresas puedan adoptar la IA a gran escala». Pero la oferta de Domino a través de Amazon FSx para NetApp® ONTAP® es solo el principio. ¿Qué viene a continuación?

En primer lugar, se está trabajando en el diseño del producto para integrar las capacidades de Domino directamente en NetApp ONTAP, así como en un conjunto de funciones compatibles con NetApp para que los profesionales de MLOps las utilicen a medida que perfeccionan su flujo de trabajo de IA desde el piloto hasta el agente.

Si bien no se trata de la Singularidad, FSx para ONTAP® es una solución única que aporta características únicas y valiosos beneficios a los científicos de datos que buscan aumentar el rendimiento de los cultivos, diseñar fármacos más seguros y acelerar la producción de vehículos autónomos. T-Rob lo resume diciendo: “El inmenso valor de una pila con Domino y NetApp, y socios como AWS y NVIDIA, radica en que constituye una base empresarial con toda la resiliencia, eficiencia y seguridad que necesita la IA”. Sin duda, una combinación perfecta.