Domino Data Lab: 한 번의 클릭으로 확장 가능한 엔터프라이즈 AI

인류의 진보는 혁신을 통해 이루어졌으며, 수천 년에 걸쳐 꾸준한 발전과 함께 하룻밤 사이에 미래를 재편하는 획기적인 발명품들이 탄생했습니다. 인쇄기, 증기 기관, 인터넷처럼 큰 영향을 미친 획기적인 아이디어들이 그 예입니다. 많은 사람들은 데이터 과학을 촉진하는 인공지능(AI)의 산업화가 그러한 이정표 중 하나라고 생각합니다. 이것이 바로 많은 기업이 신규 인력 채용, 복잡한 질문에 대한 명확한 해답 찾기, 시장 진출 전략 수립, 차세대 제품 설계 등에서 직원들에게 AI 도구를 먼저 사용하도록 요구하는 이유입니다.

이와 관련하여 흥미로운 소식이 있습니다. Domino Data Lab(Domino)과 NetApp은 ChatGPT의 도처에 널린 거품과 유비쿼터스 AI 워싱을 넘어 더 깊고 광범위한 잠재력을 지닌 무언가를 발견했습니다. 이들은 AI 워크로드를 프로토타입에서 운영 환경으로 전환하는 데 있어 가장 중요한 과제 중 하나가 다양한 환경에서 효율적이고 안전하며 원활하게 데이터를 관리하고 액세스하는 것이라는 점을 인지했습니다.

​​​​오늘날 대부분의 기업은 여러 환경에 분산된 데이터를 사용하여 운영되고 있으며, 효율적인 데이터 액세스는 여전히 지속적인 과제로 남아 있습니다. Domino와 NetApp의 파트너십은 AI 팀이 관리형 데이터 세트에 원활하게 액세스하고, 인프라 관리를 간소화하고, 규모에 맞춰 혁신을 가속할 수 있도록 함으로써 이 중요한 문제를 독창적으로 해결합니다. 이 모든 것이 IT 관점에서 보안이나 규정 준수를 저해하지 않고 이루어집니다. AI가 과대광고 주기에서 한창 진행 중인 가운데, 기업, 정부 및 산업계가 AI 프로토타입을 규모에 맞춰 운영으로 전환하는 데 도움이 되는 파트너를 찾고 있어 AI 도입의 새로운 단계가 진행 중입니다.

이 파트너십을 통해 Domino의 선도적인 MLOps 플랫폼과 NetApp의 고급 기반 데이터 관리 솔루션이 최초로 통합되었습니다. 데이터 과학자는 Domino Volumes for NetApp® ONTAP®(DVNO)을 사용하여 Domino 내에서 직접 AI 워크로드를 관리할 수 있는 셀프 서비스 기능을 확보합니다. Domino는 Amazon FSx for NetApp® ONTAP®을 SaaS 솔루션의 기반으로 사용하여 모델과 에이전트의 완전한 추적성을 유지하면서도 다른 솔루션 대비 2배 향상된 성능을 제공합니다. 이러한 간소화된 접근 방식을 통해 데이터 과학자와 연구자는 인프라가 아닌 혁신에 집중할 수 있습니다.

AI, 머신 러닝 운영(MLOps), 데이터 스토리지 분야에서 이러한 획기적인 발전은 상당한 진전을 의미합니다. AI의 잠재력을 최대한 활용하려면 강력한 컴퓨팅 성능, 효율적인 데이터 관리, 간소화된 워크플로와 같은 완벽하게 통합된 기능이 필요하다는 인식에서 비롯된 것입니다. 이러한 기능은 데이터 과학자에게 셀프 서비스 자유를 제공하는 동시에 IT 부서가 신뢰할 수 있는 표준 방식을 사용하여 운영 무결성을 유지함으로써 데이터 확산을 줄이고 AI 배포를 가속합니다.

모든 것은 NVIDIA 동료들이 Domino와 NetApp의 지인들에게 점심 식사를 권하면서 시작되었습니다. 곧, 두 회사의 리더들은 AI 컴퓨팅과 AI 스토리지가 본질적으로 하이브리드 또는 멀티 클라우드인 미래에 대한 비전을 공유하고 있음을 깨달았습니다. 그들의 비전은 데이터 과학자와 스토리지 엔지니어가 함께 새로운 데이터 과학 시대를 열 수 있는 새로운 방법을 약속했습니다..

업계를 선도하는 MLOps 플랫폼인 Domino는 AI 라이프사이클 관리 및 컴퓨팅 오케스트레이션 전문성을 보유하고 있으며, 지능형 데이터 인프라 기업인 NetApp은 데이터 스토리지 전문성을 보유하고 있습니다. 이 파트너십은 단순히 두 사람의 생각이 만나는 것을 넘어, 기술적 역량의 결합이기도 합니다. Domino의 최고운영책임자(COO)인 Thomas ‘T-Rob’ Robinson은 이 파트너십을 '땅콩버터와 젤리 샌드위치(혹은 세계 각국에서는 마마이트와 치즈)'에 비유합니다. 정말 맛있습니다.

이러한 새로운 방향에 대한 비전은 오늘날의 데이터 과학자와 조직이 프로토타입 모델을 넘어 현실 세계에서 자율적으로 기능하는 에이전트로 쉽고 자신 있게 전환할 수 있음을 의미하며, 통합 플랫폼의 AI가 실질적인 변화를 가져올 수 있습니다.

Domino의 최고 마케팅 책임자인 Thomas Been은 "많은 조직이 AI를 성공적으로 도입하는 데 있어 가장 큰 걸림돌 중 하나는 바로 신뢰입니다"라고 말합니다. 파일럿 단계에서 발견된 AI 결과가 에이전트 수준에서도 동일한 결과를 낼 것이라는 신뢰는 특히 규제 거버넌스와 고정 비용이 중요한 고려 사항입니다.

마찬가지로, 대부분의 AI 파일럿은 클라우드에서 실행됩니다. 클라우드는 데이터 과학자들이 민첩하고 확장 가능하며 비용 효율적인 환경에서 필요에 따라 비용을 지불하는 유연한 처리 및 저장을 제공하는 것으로 입증된 환경입니다. 또한 클라우드는 서로 다른 팀이 유연하고 고도로 협업적인 방식으로 데이터에 액세스하고 공유할 수 있도록 지원합니다.

결과적으로, 기업과 조직은 클라우드에서 프로토타입을 구축할 때 AI의 가치를 엿볼 수 있는 기회를 종종 얻습니다. 하지만 격리된 환경에서 신중하게 큐레이팅된 데이터 세트를 사용하여 모델을 실행할 경우, 모델은 과도한 학습과 학습된 편향에 취약하며, 이는 두 가지 함정에 불과합니다. 테스트 환경 밖에서 대규모로 가치를 실현하는 것은 더욱 어렵습니다. 더 큰 데이터 세트는 모델이 인식하지 못하는 변형을 야기하기 때문입니다. 모델 환각, 부정확한 예측, 그리고 효율성 저하로 인해 AI 투자의 85%가 여전히 파일럿 모드에 머물러 있습니다. Thomas는 "대부분의 조직은 데이터를 AI로 이전하면서 모든 옵션을 고려하지 않고 있습니다"라고 지적합니다. 습관적으로 클라우드로 이전하는 것을 의미합니다. 하지만 Amazon FSx for NetApp® ONTAP®을 통해 기존의 관행이 바뀌고 있습니다.

그들은 하이브리드 및 멀티 클라우드 환경에서 이를 수행하고 있습니다.가장 중요한 전 세계 데이터의 대부분이 여전히 온프레미스에 있기 때문입니다.NVIDIA의 CEO인 Jensen Huang은 "전 세계 파일의 거의 절반이 NetApp의 온프레미스에 저장되어 있습니다"라고 말했습니다.이것이 Domino와 NetApp의 공동 고객이 옵션을 고려한 후 다른 경로를 선택하는 이유입니다. Thomas는 "그들은 데이터에 AI를 도입하고 있습니다"라고 말합니다. 한 가지 예는 Domino의 AI 및 데이터 과학 플랫폼이 하이브리드 및 멀티 클라우드 환경에서 확장되는 방식입니다. 가장 집약적인 엔터프라이즈 AI 워크로드는 높은 처리량을 필요로 하며, 특히 데이터 과학자가 온프레미스와 클라우드에서 공통 데이터 세트에 대해 여러 모델을 실행할 때 더욱 그렇습니다. Amazon FSx for NetApp® ONTAP®은 GPU가 데이터를 처리하는 것만큼 빠르게 모델을 공급할 수 있어 그 자체로 획기적인 변화를 가져오지만, 그 이상의 의미가 있습니다.

AI 컴퓨팅의 화폐 비용은 칩의 실제 가격표와 클라우드 또는 온사이트에서 데이터 세트를 처리하는 데 필요한 시간 모두에 따라 엔트리 레벨 GPU에서 고급 옵션까지 매우 다양합니다. 하지만 Thomas는 마찬가지로 중요한 주제를 제기합니다. 그는 "사람들의 시간 비용도 추가해야 합니다"라고 말합니다.

과거에는 데이터 과학자들이 규제 거버넌스, 회사 정책 및 보안 프로토콜을 준수하는 것부터 시작하여 SQL 및 Tableau와 같은 승인된 도구를 통해 데이터 레이크 및 웨어하우스에 대한 관리형 액세스를 포함하는 매우 선형적인 프로세스를 따랐습니다. 요청, 게이트키핑, 대기 및 다운로드와 같은 이러한 프로세스는 데이터 과학자의 연구 프로젝트에 몇 시간, 며칠, 심지어 몇 주를 추가할 수 있습니다. 이러한 장애물은 데이터 과학자들이 섀도 IT를 찾도록 부추길 뿐만 아니라 운영 시간을 크게 지연시킵니다. 마지막으로, 한 환경에서 다른 환경으로 데이터를 이동할 때마다 데이터 손실 및 복제에서 보안이 취약한 시스템에 대한 노출로 인한 데이터 손상까지 데이터 자체에 위험이 발생합니다. IDC에 따르면, 일반적인 데이터 과학자는 단일 모델을 구축하는 데 이 과정을 7~10회 반복합니다. TB, GPU, 일수, 비용 등 그 숫자는 상당할 수 있으며, 특히 조직의 데이터 과학자 수와 그들이 진행 중인 수많은 실험들을 곱하면 더욱 그렇습니다.

NetApp은 수년 전 ONTAP 운영 체제의 핵심 기능으로 '스냅샷'을 개발했습니다. 즉, 데이터 과학자들이 번거롭고 시간이 많이 소요되는 '다른 이름으로 저장' 프로세스 없이 언제든지 데이터의 즉각적인 복사본을 만들 수 있도록 했습니다. 오늘날 Amazon FSx for NetApp® ONTAP®을 통해 이러한 변경 불가능한 복사본을 저장하는 것은 Domino 솔루션의 핵심 가치 제안입니다. 단 한 번의 클릭으로 데이터 및 데이터 모델의 제로 풋프린트 스냅샷을 즉시 캡처할 수 있습니다. 이는 감사 및 참조 목적뿐만 아니라 이전의 더 유용한 모델로 되돌리고 동료와 공유하는 데에도 매우 중요합니다. 이제 데이터 과학자는 연구에 집중하고 스토리지 엔지니어는 도메인 관리 및 보안에 집중할 수 있습니다.

FSx for ONTAP® 솔루션은 반복 가능한 MLOps 라이프사이클에서 대규모 AI를 지원합니다. 또한 NetApp에서 제공하는 풍부한 지능형 데이터 관리 기술을 활용하여 사용자가 스토리지나 볼륨 관리 방법에 대해 전혀 알 필요가 없습니다. Domino의 한 제약 고객은 "바로 이것이 우리에게 필요한 것입니다!"라고 말했습니다. FSx for ONTAP®은 사용자가 더 적은 비용으로 더 많은 작업을 수행할 수 있도록 지원하는 제품 중심 전략의 결과물입니다. 즉, 더 낮은 비용으로 더 빠르게 작업하고 더 빨리 완료할 수 있습니다. 이는 이전의 일반적인 하이퍼스케일러 스토리지, 즉 낮은 성능, GPU 병목 현상, 비효율성과는 정반대입니다. Domino와 NetApp 솔루션을 통한 플랫폼 재구축은 이미 얼리 어답터들에게 큰 변화를 가져왔습니다. 이들은 하이브리드 도메인에서 대규모로 모델을 실행하여 더 빠른 처리량과 낭비 없는 GPU 용량을 모두 누릴 수 있다는 이점을 이미 인지하고 있습니다.

AI의 급증하는 에너지 소비라는 뉴스에 묻혀 있지만, AI는 그 명성보다 더 친환경적일 수 있다는 사실이 밝혀졌습니다. 더 높은 처리량과 더 빠른 처리 속도는 GPU 및 전력 비용뿐만 아니라 기업의 환경 발자국까지 줄여주기 때문입니다. FSx for ONTAP®은 기업이 지속가능성 여정을 향한 또 다른 발걸음이 될 수 있습니다.

Thomas Been은 2025년을 기업이 AI의 '장인 시대'를 넘어 산업용 AI가 시작되는 '이전'과 '이후'가 공존하는 변곡점으로 보고 있습니다. 그는 "NetApp과의 파트너십에 대해 매우 기쁘게 생각합니다. 함께 판도를 바꾸었기 때문입니다. Domino와 NetApp은 기업이 규모에 맞춰 AI를 도입할 수 있도록 적절한 거버넌스를 갖춘 표준화된 프로세스를 구축했습니다"라고 말했습니다. 하지만 Amazon FSx for NetApp® ONTAP®을 통한 Domino의 솔루션은 시작에 불과합니다. 다음은 무엇일까요?

첫 번째는 Domino의 기능을 NetApp ONTAP에 직접 통합하는 제품 설계 작업과 MLOps 전문가들이 파일럿-에이전트 AI 파이프라인을 더욱 발전시키는 과정에서 사용할 수 있는 NetApp 인식 기능 제품입니다.

FSx for ONTAP®이 '특이점(Singularity)'은 아닐 수 있지만, 작물 수확량 증대, 더 안전한 약물 설계, 자율주행차 생산 가속화를 모색하는 데이터 과학자들에게 독보적인 기능과 가치 있는 이점을 제공하는 단일 솔루션입니다. T-Rob은 "Domino와 NetApp, 그리고 AWS와 NVIDIA와 같은 파트너와 함께 스택을 구축하는 엄청난 가치는 AI에 필요한 모든 복원력, 효율성, 보안을 갖춘 엔터프라이즈 기반에서 비롯됩니다"라고 요약했습니다. 정말 땅콩버터와 젤리 같죠.