Automating MLOps, DevOps, and DataOps for Data Scientists

ONTAP AI

Mike McNamara

2020-06-24

automating-mlops-dataops-data-science-pipeline-1024x576

The unprecedented promise of machine learning (ML) is still unrealized, because data scientists are spending most of their time on non-data-science work. The common practice is that ML development through deployment relies on ad hoc tools, plug-ins, scripts, and a myriad of siloed tools that are impeding organizations, large and small, from streamlining ML development.

NetApp and cnvrg.io have partnered to deliver an AI/ML data science pipeline solution that is streamlined and drives productivity and efficiency. The solution incorporates industry-leading Kubernetes managed clusters (for example, Red Hat OpenShift), cached datasets for extreme performance, and the one-click attachments of models to datasets with NVIDIA NGC integration. NetApp® ONTAP® AI provides high-performance compute and storage for any scale of operation, and cnvrg.io software streamlines data science workflows, improving resource utilization.

Automating MLOps, DevOps, and DataOps for Data Sci - Inline Image 2

With NetApp and cnvrg.io, you can cache datasets (and/or their versions) and make sure that they’re located in the ONTAP node attached to the GPU cluster or CPU cluster that is exercising the training. Once the datasets are cached, they can be used multiple times by different team members. With caching, datasets are ready to be used in seconds rather than hours, and cached datasets can be authorized and used by multiple teams in the same compute cluster connected to the NetApp cached data.

NetApp and cnvrg.io have written a detailed technical paper, Hybrid-cloud AI Operating System with Data Caching, which presents an innovative solution that enables IT professionals and data engineers to create a truly hybrid-cloud AI platform with a topology-aware data hub. Data scientists can instantly and automatically create a cache of their datasets in proximity to the compute, wherever the compute is located. As a result, high-performance model training can be easily accomplished and multiple AI practitioners can collaborate with immediate access to the cached datasets and versions, and with the ability to create a dataset-version hub.

To learn more, read the technical report. To experiment with cnvrg.io, download the free community version.

Mike McNamara

É líder sênior de marketing de produtos e soluções na NetApp, com mais de 25 anos de experiência em gerenciamento de dados e marketing de storage em nuvem. Antes de ingressar na NetApp há mais de dez anos, Mike trabalhou na Adaptec, Dell EMC e HPE. Mike foi um dos principais líderes da equipe que impulsionou o lançamento de uma oferta de armazenamento em nuvem de primeira empresa e a primeira solução de IA/ML conetada à nuvem (NetApp), sistema e software de armazenamento em nuvem híbrida (NetApp), iSCSI e SAS (Adaptec) e sistema de armazenamento de dados Fibre Channel (EMC CLARiiON).Além de seu papel anterior como presidente de marketing da Fibre Channel Industry Association, ele é membro do Conselho Consultivo da Conferência de Cúpula de tecnologia Ethernet, membro da Ethernet Alliance, colaborador regular de revistas da indústria e palestrante frequente de eventos. Mike também publicou um livro através da FriesenPress intitulado "Scale-out Storage - The Next Frontier in Enterprise Data Management" e foi listado como um dos 50 B2B melhores profissionais de marketing de produtos para assistir pela Kapos.

Ver todas as publicações de Mike McNamara

Próximas etapas

Blogs

Informe-se sobre as últimas tendências e avanços em nuvem, on premises e em tudo relacionado. É aqui que tudo fica real, com uma cereja no topo.

Comece a ler

Comunidade

Explore uma ampla variedade de fóruns abertos onde você pode postar perguntas, compartilhar respostas e, em geral, saber mais sobre todas as tecnologias da NetApp que mais importam para você.

Participe da discussão