대규모 AI 팩토리를 위한 새로운 데이터 아키텍처

오늘, 기가와트급 AI 팩토리를 위한 데이터 인프라의 새로운 시대가 시작됩니다. NetApp Novus는 새로운 차원의 스토리지 아키텍처로, 100TB/s 이상의 총 처리량을 제공하며 수십만 대의 GPU를 효율적으로 가동할 수 있습니다. 제타바이트급 용량을 위해 설계된 Novus는 메타데이터와 데이터를 독립적으로 확장 가능한 플레인으로 분리한 후, 수천 개의 스토리지 노드를 단일 네임스페이스로 통합합니다. 이러한 기능을 통해 NetApp Novus는 네오클라우드 운영자, 하이퍼스케일러, GPU 클라우드를 구축하는 대기업, 그리고 GPU-as-a-Service 제공업체의 효율성, 활용도 및 수익성을 획기적으로 향상시킬 것입니다.

Novus는 표준 기반 pNFS 액세스를 기반으로 구축되었으므로 GPU 서버 전반에 배포해야 하는 독점 클라이언트가 없으며 커널 및 GPU 세대가 변경되더라도 수명 주기 관리가 필요하지 않습니다. Novus는 AI 팩토리를 위해 특별히 구축된 아키텍처에 NetApp ONTAP^®의 복원력, 보안 및 멀티 테넌시(multi-tenancy)를 제공합니다.

5만 개의 GPU에 데이터를 공급하는 계산

AI 팩토리의 연산 능력은 매우 까다롭습니다. 단일 GPU가 활발하게 작동하려면 최대 2GB/s의 처리량이 필요하며, 5만 개의 GPU에서 이를 유지하려면 총 100TB/s의 누적 대역폭이 필요합니다. 기존 스토리지 어레이는 40~80GB/s의 처리량만 제공합니다. 따라서 기존 어레이로 100TB/s를 달성하려면 각각 고유한 네임스페이스, 장애 도메인 및 관리 오버헤드를 갖는 100개 이상의 어레이를 구축해야 합니다. 결국 운영자는 수많은 스토리지 시스템을 운영하고 복잡한 데이터 이동 문제에 직면하게 됩니다.

수익성 덕분에 GPU는 끊임없이 가동되고 있습니다.

기가와트급 AI 공장에서 GPU는 재무제표상 가장 큰 자본 항목이며, 유일하게 수익을 창출하는 부품입니다. GPU가 데이터를 기다리는 매 시간은 아무런 수익도 없이 감가상각되는 시간입니다.

이는 GPU 클러스터에 충분한 데이터가 공급되느냐 그렇지 않느냐의 차이를 비즈니스에 매우 중요하게 만듭니다. AI 팩토리에서 스토리지가 GPU 작동에 필요한 데이터를 충분히 빠르게 제공하지 못하면 활용률이 한 자릿수로 떨어질 수 있습니다. 이 시점에서 스토리지 병목 현상은 더 이상 성능 문제가 아니라 마진 문제이며, 운영 규모가 커질수록 이 문제는 더욱 심각해집니다.

메타데이터 병목 현상 제거

컨트롤러 수를 늘리는 것만으로는 문제를 해결할 수 없습니다. 메타데이터는 용량이나 대역폭 부족으로 GPU 활동이 제한되기 전부터 병목 현상을 일으킵니다. 모든 열기, 조회, 레이아웃 요청은 데이터를 처리하려는 동일한 컨트롤러에 집중됩니다. 워크스페이스 가져오기는 수백만 개의 작은 파일 작업으로 구성됩니다. 체크포인트는 테라바이트 규모의 순차 쓰기 작업으로, 모든 노드에서 동시에 실행되며 메타데이터 트래픽 폭증 직후에 처리됩니다. 클러스터 규모를 확장하면 메타데이터 작업도 함께 확장되어 결국 파일 시스템 속도가 느려지거나 멈추게 됩니다.

두 가지 상충되는 액세스 패턴을 모두 고려하여 시스템을 설계하는 것은 어렵습니다. 소형 파일 메타데이터 트래픽은 여러 독립적인 작업을 신속하게 처리해야 합니다. 체크포인트 쓰기 작업은 시스템 전체를 하나의 순차적인 스트림에 전용해야 합니다. 이 두 가지 패턴을 동일한 컨트롤러에서 실행하면 각각이 서로의 성능을 저하시킵니다.

Novus는 메타데이터와 데이터를 분리하여 각각 독립적으로 확장할 수 있도록 합니다. 이를 위해 서로 다른 작업에 최적화된 두 가지 특수 시스템을 구축하고 이를 단일 시스템으로 통합했습니다. 데이터는 엔터프라이즈급 ONTAP 시스템에 저장됩니다. 첫 번째 릴리스에서는 고성능 NetApp AFF A90 스토리지를 제공할 예정입니다. Novus Data Director는 메타데이터를 표준 x86 컴퓨팅에서 실행되는 독립적으로 확장 가능한 소프트웨어 정의 제어 계층으로 이동시킵니다. 클라이언트는 Data Director에 파일 위치를 문의하고 레이아웃을 수신한 다음 스토리지와 직접 통신합니다. 어느 쪽도 다른 쪽을 기다리지 않으며 데이터는 회선 속도로 처리됩니다.

표준 클라이언트, 단일 네임스페이스, 다수의 테넌트

Novus는 지원되는 Linux 클라이언트 환경을 통해 표준 기반 pNFS/NFS 액세스를 제공하도록 설계되어 운영자가 수천 개의 노드 이미지, GPU 세대 및 테넌트 환경에 걸쳐 독점 클라이언트를 배포, 패치 및 검증하는 번거로움을 피할 수 있도록 지원합니다. 이는 공유되는 멀티 테넌시(multi-tenancy) AI 인프라를 위한 단일 네임스페이스를 유지하면서 반복적으로 발생하는 주요 오버헤드 원인을 제거하는 것을 목표로 합니다.

단일 네임스페이스는 운영을 간소화합니다. 워크로드의 데이터가 여러 시스템에 분산되어 있는 경우, 데이터를 이동하고, 다시 마운트하고, 재균형을 맞추고, 모든 복사본을 관리해야 합니다. 제타바이트 규모의 단일 네임스페이스를 사용하면 이러한 작업이 필요 없어지며, 환경이 확장됨에 따라 데이터 세트, 체크포인트 및 모델 아티팩트를 지속적으로 액세스할 수 있습니다. Novus는 운영자가 애플리케이션 변경, 중단이 발생하는 다시 마운트 또는 테넌트 중단 없이 용량과 성능을 추가할 수 있도록 설계되었습니다. Novus는 모든 워크로드에 스토리지 토폴로지를 노출하는 대신, AI 팩토리 규모에 맞춰 구축된 일관된 단일 데이터 환경을 제공합니다.

AI 팩토리 규모에서 공유 인프라는 신뢰도가 성능에 맞춰 확장될 때만 제대로 작동합니다. Novus는 검증된 보안, 복원력, 서비스 품질 및 멀티 테넌시(multi-tenancy) 기반을 ONTAP에서 극한의 동시성을 지원하도록 설계된 단일 아키텍처에 통합하도록 설계되었습니다. 공급자는 수천 개의 작업이 동일한 데이터 플레인을 놓고 경쟁하는 상황에서도 테넌트를 격리하고 워크로드를 예측 가능하게 유지하며 GPU 생산성을 극대화할 수 있습니다.

규모는 끊임없이 변화하는 목표입니다

작년에는 클러스터에 1만 개의 GPU가 있으면 상당한 규모였습니다. 올해는 5만 개로 늘어났습니다. 오늘날의 AI 팩토리가 최종 단계라고 생각하는 사람은 아무도 없습니다. 선택하는 아키텍처는 현재 운영 중인 클러스터뿐만 아니라 3년 후 운영할 클러스터에도 적합해야 합니다.

Gary Grider Los Alamos National Labs 컴퓨팅 기술 부문 시니어 디렉터는 다음과 같이 잘 표현했습니다. “우리를 AI 시대의 시작으로 이끈 아키텍처는 우리가 혁신을 지속적으로 가속화함에 따라 요구되는 사항들을 충족할 수 없을 것입니다. AI Factory가 계속 확장됨에 따라 단일 네임스페이스에 수십만 개의 GPU가 접속하게 되면서, 파일 시스템을 느리게 하거나 심지어 중단시킬 수 있는 메타데이터 작업의 대규모 백로그가 생성될 것입니다. Novus는 메타데이터 계층과 데이터 계층 모두의 독립적인 확장을 제공하는 최초의 아키텍처로, AI Factory가 데이터 액세스 능력에 제약을 받지 않고 성장할 수 있도록 지원합니다.”

Novus를 통해 통신 사업자가 할 수 있는 것

GPU 활용률을 극대화하십시오. 데이터 병목 현상을 제거하고 고가의 GPU 환경에 필요한 데이터를 지속적으로 공급하여 수익을 창출하십시오.

성능을 독립적으로 확장하십시오. 고성능 데이터 노드를 분산형 메타데이터 계층과 연결하고 각각을 독립적으로 확장할 수 있습니다.

수익성을 극대화하세요. 기가와트급 AI 팩토리에 최적화된 아키텍처에서 멀티 테넌시(multi-tenancy) 클라우드 규모 운영 모델을 실행하여 가장 값비싼 자산의 수익률을 높이세요.

AI 팩토리는 빠르게 성장하면서 기존 아키텍처의 한계를 넘어서게 되었고, 운영자들은 새로운 아키텍처로 전환해야 했습니다. Novus는 미래의 성장에 맞춰 새로운 아키텍처가 필요하지 않도록 설계되었습니다.

NetApp INSIGHT 2026은 9월 29일부터 10월 1일까지 라스베이거스에서 개최됩니다. 실시간 또는 주문형으로 시청하십시오. NetApp Novus 솔루션 브리핑에서 더 자세한 내용을 살펴보십시오.