Domino Data Lab: IA empresarial em escala... em um clique

O progresso humano é alimentado pela inovação, com avanços constantes ao longo de milênios, pontuados por picos de invenções que remodelam o futuro da noite para o dia—grandes ideias com grande impacto, como a imprensa, a máquina a vapor, a Internet. Muitos acreditam que a industrialização da inteligência artificial (IA) que alimenta a ciência de dados é um desses marcos. É por isso que muitas empresas agora exigem que os funcionários usem ferramentas de IA primeiro ao contratar novos talentos, buscar respostas claras para perguntas complexas, formalizar estratégias de go-to-market e projetar produtos de nova geração.

Há notícias empolgantes nessa frente. A Domino Data Lab (Domino) e a NetApp viram algo mais profundo, algo com potencial mais amplo além da presença ampla do ChatGPT e da IA. Elas reconheceram que um dos desafios mais significativos para mover cargas de trabalho de IA do protótipo para a produção era gerenciar e acessar dados de forma eficiente, segura e contínua em diversos ambientes.

Atualmente, a maioria das empresas opera com dados distribuídos em vários ambientes, e o acesso eficiente a dados continua sendo um desafio persistente. A parceria entre a Domino e a NetApp aborda esse problema crítico de maneira exclusiva, permitindo que as equipes de IA acessem conjuntos de dados controlados, simplifiquem o gerenciamento da infraestrutura e acelerem a inovação em escala — tudo isso sem comprometer a segurança ou a conformidade do ponto de vista da TI. Com a IA bem adiantada em seu ciclo de hype, uma nova fase de adoção de IA está em andamento, com empresas, governos e indústrias buscando parceiros para ajudá-los a colocar protótipos de IA em produção em escala.

A parceria resultou na primeira integração da plataforma MLOps líder da Domino com a avançada solução de gerenciamento de dados subjacente da NetApp. Os cientistas de dados ganham recursos de autoatendimento para gerenciar workloads de IA diretamente no Domino usando o Domino Volumes for NetApp^® ONTAP^® (DVNO). A Domino usa Amazon FSx for NetApp^® ONTAP^® como base para sua oferta de SaaS, resultando em uma melhoria de desempenho 2x melhor em comparação com alternativas, preservando a rastreabilidade total de seus modelos e agentes. Essa abordagem simplificada permite que cientistas e pesquisadores de dados se concentrem na inovação em vez da infraestrutura.

Este marco em IA, operações de machine learning (MLOps) e storage representa um avanço significativo. Ele decorre do reconhecimento de que desbloquear todo o potencial da IA requer capacidades perfeitamente integradas: poder computacional robusto, gerenciamento eficiente de dados e fluxos de trabalho simplificados que oferecem aos cientistas de dados liberdade de autoatendimento enquanto a TI mantém a integridade operacional usando práticas padrão e confiáveis – reduzindo a dispersão de dados e acelerando a implantação de IA. ​​​

Tudo começa quando colegas da NVIDIA recomendam que amigos tanto da Domino quanto da NetApp almocem juntos. Em pouco tempo, os líderes das empresas perceberam que compartilhavam uma visão para um futuro em que a computação de IA e o storage de IA fossem, por definição, híbridos ou de várias nuvens. Sua visão prometia uma nova maneira para cientistas de dados e engenheiros de storage inaugurarem juntos uma nova era da ciência de dados.

A Domino, a plataforma MLOps empresarial líder, tem ​​expertise em gerenciamento de ciclo de vida de IA e orquestração de computação. E a NetApp, a empresa de infraestrutura de dados inteligente, tem a expertise em storage. Mas a parceria é mais do que um encontro de mentes, é também uma combinação de capacidades técnicas. Thomas 'T-Rob' Robinson, diretor de operações da Domino, descreve a parceria como semelhante a “um sanduíche de manteiga de amendoim e geleia”. É simplesmente bom.

Essa visão de um novo caminho a seguir significa que os cientistas de dados e as organizações de hoje podem ir além dos modelos de protótipo com facilidade e confiança para agentes que funcionam de forma autônoma no mundo real, onde a IA em uma plataforma unificada pode fazer uma diferença real.

Thomas Been, diretor de marketing da Domino, diz: “Um desafio que impede a adoção bem-sucedida de IA por muitas organizações é a confiança.” Confiança de que os resultados de IA descobertos no nível piloto serão dimensionados para os mesmos resultados no nível do agente, onde a governança regulatória e os custos rígidos são considerações especialmente críticas.

Tão desafiador quanto, a maioria dos pilotos de IA é executada na nuvem, um ambiente comprovadamente ágil, escalável e econômico para processamento e armazenamento elásticos com pagamento conforme a necessidade. A nuvem também permite que equipes diferentes acessem e compartilhem dados de maneiras fluidas e altamente colaborativas.

Como resultado, empresas e organizações geralmente têm vislumbres tentadores do valor da IA ao criar protótipos na nuvem. Mas, executados isoladamente e usando conjuntos de dados cuidadosamente selecionados, os modelos são propensos ao excesso de treinamento e a vieses aprendidos, para citar apenas duas armadilhas. Desbloquear o valor em escala fora do ambiente de teste permanece mais difícil, pois conjuntos de dados maiores introduzem variações que um modelo não reconhece. Alucinações de modelos, previsões imprecisas e eficácia reduzida explicam por que 85% dos investimentos em IA permanecem presos no modo piloto. Thomas observa: “A maioria das organizações não está considerando todas as suas opções ao levar seus dados para a IA.” Por hábito, isso significa para a nuvem. Mas com o Amazon FSx for NetApp^® ONTAP^®, velhos hábitos estão mudando.

Eles estão fazendo isso em ambientes híbridos e de várias nuvens, porque a maioria dos dados mais importantes do mundo ainda está no local. Como Jensen Huang, CEO da NVIDIA, observa, “Quase metade dos arquivos no mundo são armazenados no local com NetApp.” É por isso que os clientes conjuntos da Domino e da NetApp estão seguindo um caminho diferente depois de considerarem suas opções. Thomas diz: “Eles estão trazendo a IA para seus dados.” Um exemplo é a maneira como a plataforma de IA e ciência de dados da Domino é dimensionada em ambientes híbridos e de várias nuvens, onde as cargas de trabalho de IA empresarial mais intensas exigem alta taxa de transferência, especialmente quando os cientistas de dados estão executando vários modelos em conjuntos de dados comuns que abrangem o local e a nuvem. O Amazon FSx para NetApp^® ONTAP^® permite alimentar os modelos tão rápido quanto as GPUs processam os dados, uma virada de jogo por si só, mas há ainda mais nessa história.

O custo monetário da computação de IA varia muito, desde GPUs básicas até opções avançadas, tanto pelo preço real de um chip quanto pelo tempo necessário para processar um conjunto de dados, seja na nuvem ou no local. Mas Thomas levanta um tópico de igual importância. Ele diz: "você também precisa adicionar o custo do tempo das pessoas".

No passado, os cientistas de dados seguiam um processo altamente linear, começando com a adesão à governança regulatória, política da empresa e protocolos de segurança, e incluindo acesso gerenciado a data lakes e warehouses por meio de ferramentas aprovadas como SQL e Tableau. Esse processo de solicitação, controle, espera e download pode adicionar horas, dias, até semanas ao projeto de pesquisa de um cientista de dados. Esses obstáculos não apenas estimulam os cientistas de dados a procurar a TI de sombra, mas também diminuem significativamente o tempo até a produção. Por fim, cada movimentação de dados de um ambiente para outro apresenta riscos para os próprios dados, desde perda de dados e duplicação até corrupção por meio da exposição a sistemas menos seguros. Agora, considere que a IDC descobre que o cientista de dados típico passa por esse processo 7-10 vezes na criação de um único modelo. Os números — de TBs e GPUs a dias e dólares — podem ser significativos, especialmente quando multiplicados pelo número de cientistas de dados de uma organização e seus inúmeros experimentos atuais.

A NetApp desenvolveu o 'snapshotting' como um recurso central do sistema operacional ONTAP anos atrás. Ou seja, eles capacitaram os cientistas de dados a fazer cópias instantâneas de seus dados a qualquer momento, sem o incômodo de processos complicados e demorados de 'salvar como'. Hoje, salvar essas cópias imutáveis é uma proposta de valor central da solução Domino por meio do Amazon FSx for NetApp^® ONTAP^®—snapshots de dados e modelos de dados sem pegada capturados em tempo real com apenas um clique. Isso é inestimável não apenas para fins de auditoria e referência, mas também para reverter para modelos anteriores mais úteis e para compartilhar com colegas. Agora, os cientistas de dados podem fazer pesquisas, e os engenheiros de storage podem se concentrar em gerenciar e proteger seu domínio.

A solução FSx for ONTAP^® permite IA em escala em um ciclo de vida MLOps repetível. Ela também aproveita a riqueza da tecnologia de gerenciamento de dados inteligente disponível na NetApp sem que os usuários precisem saber nada sobre storage ou como administrar volumes. Um cliente farmacêutico da Domino disse: “Isso é exatamente o que precisamos!” O FSx for ONTAP^® é o resultado de uma estratégia orientada ao produto para capacitar os usuários a fazer mais por menos — ou seja, trabalhar mais rápido e terminar mais rápido, com custos mais baixos. É o oposto do que veio antes. Ou seja, storage de hyperscaler genérico com desempenho inferior, gargalos de GPU e ineficiências. A replataformização com a solução da Domino e NetApp já faz a diferença para os primeiros usuários, que agora percebem os benefícios dos modelos executados em escala em seu domínio híbrido, tudo com taxa de transferência mais rápida e sem desperdício de capacidade de GPU.

E perdido nas manchetes do crescente consumo de energia da IA, descobriu-se que a IA pode ser mais verde do que sua reputação, porque maior taxa de transferência e processamento mais rápido também reduzem a pegada ambiental de uma organização, não apenas suas despesas com GPU e energia. O FSx for ONTAP^® pode ser mais um passo para uma empresa em sua jornada de sustentabilidade.

Thomas Been vê 2025 como um ponto de inflexão com um 'antes' e um 'depois', quando as organizações vão além da 'era artesanal' da IA e a IA industrial começa. Ele diz: “Estamos entusiasmados com nossa parceria com a NetApp, porque mudamos o jogo juntos. Domino e NetApp criaram processos padronizados — com a governança certa em todo o processo — para permitir que as empresas adotem a IA em escala.” Mas a oferta da Domino por meio do Amazon FSx for NetApp^® ONTAP^® é apenas o começo. O que vem a seguir?

Primeiro, há o trabalho de design de produto para integrar os recursos da Domino diretamente no NetApp ONTAP, bem como um conjunto de recursos compatíveis com NetApp para profissionais de MLOps usarem à medida que amadurecem ainda mais seu pipeline de IA de piloto para agente.

O FSx for ONTAP^® pode não ser uma revolução futurista, mas é uma solução singular que traz recursos exclusivos e benefícios valiosos para cientistas de dados que buscam aumentar o rendimento das culturas, projetar medicamentos mais seguros e acelerar a produção de veículos autônomos. T-Rob resume as coisas, dizendo: “O imenso valor de uma pilha com Domino e NetApp, e parceiros como AWS e NVIDIA, vem de ser uma base empresarial com toda a resiliência, eficiência e segurança que a IA precisa.”