大規模なAIファクトリー向けの新しいデータ アーキテクチャ

本日、ギガワット規模のAIファクトリー向けデータインフラストラクチャにおける新時代の幕開けを迎えます。NetApp Novusは、新しいクラスのストレージ アーキテクチャであり、総スループットは100TB/秒を超え、数十万個のGPUを稼働させ続けることができます。ゼタバイト規模の容量に対応するように設計されたNovusは、メタデータとデータをそれぞれ独立して拡張可能なプレーンに分離し、数千ものストレージノードを単一のネームスペースの背後に統合します。これらの機能により、NetApp Novusは、ネオクラウド事業者、ハイパースケーラー、GPUクラウドを構築する大企業、およびGPUaaS（GPU as a Service）プロバイダーの効率性、利用率、収益性を変革します。

Novusは標準規格に基づいたpNFSアクセスを基盤としているため、GPUサーバー全体に展開する独自のクライアントは不要であり、カーネルやGPUの世代が変わってもライフサイクル管理を行う必要もありません。Novusは、 NetApp ONTAP^®の回復力、セキュリティ、およびマルチテナンシーを、AI Factories向けに目的に即したストレージ アーキテクチャに取り入れています。

50,000個のGPUにデータを供給する計算

AIファクトリーの計算は容赦がない。単一のGPUが処理を継続的に行うには、最大で2GB/秒のスループットが必要となる場合があり、5万個のGPUでこれを維持するには、合計100TB/秒の帯域幅が必要となります。従来のストレージアレイでは、40～80GB/秒のスループットが得られます。つまり、従来型のアレイで100TB/秒を実現するには、100台以上のアレイを導入する必要があり、それぞれが独自のネームスペース、障害ドメイン、および管理オーバーヘッドを抱えることになります。オペレーターは最終的に、多数のストレージシステムを運用し、複雑なデータ移動の問題に対処することになります。

収益性の高さがGPUの稼働率を高めている

ギガワット規模のAIファクトリーにとって、GPUは貸借対照表上で最大の設備投資項目であり、収益を生み出す唯一の項目でもあります。GPUがデータ待ちに費やす1時間は、何のリターンも得られない1時間の減価償却に等しいことになります。

それが、十分なリソースが供給されるGPUクラスターと、リソース不足のGPUクラスターとの違いをビジネス クリティカルなものにするのです。ストレージがGPUを動作させ続けるのに十分な速度でデータを供給できない場合、AIファクトリーにおける利用率は一桁台にまで低下する可能性があります。その時点で、ストレージのボトルネックはもはやパフォーマンスの問題ではなく、マージンの問題であると私たちは考えています。そして、そのマージンの問題は業務規模の拡大に伴ってさらに大きくなるばかりです。

メタデータのボトルネックを解消する

コントローラーの数を増やすだけでは問題は解決しません。メタデータは、容量や帯域幅がGPUの動作を制限する以前から、ボトルネックとなっています。すべてのオープン、ルックアップ、レイアウト要求は、データを提供しようとしている同じコントローラーに到達します。ワークスペースのインポートは、数百万もの小さなファイル操作から成り立っています。チェックポイントとは、テラバイト規模のシーケンシャル書き込みであり、すべてのノードから同時に発行され、メタデータトラフィックの急増の直後に到着します。クラスターを拡張すると、メタデータ操作もそれに合わせて拡張され、最終的にはファイルシステムが遅くなったり停止したりするのは避けられません。

互いに相反する2つのアクセスパターンを回避するような設計は困難です。小さなファイルのメタデータトラフィックは、多くの独立した操作を迅速に処理する必要があります。チェックポイント書き込みでは、システム全体を1つのシーケンシャルストリーム専用にする必要があります。両方を同じコントローラーで実行すると、それぞれがもう一方の性能を低下させます。

Novusはメタデータとデータを分離することで、それぞれが独立してスケーリングできるようにしています。そのため、私たちはそれぞれ異なる業務に最適化された2つの専門システムを構築し、それらを1つのシステムに統合しました。データはエンタープライズグレードのONTAPシステムに保存されます。最初のリリースでは、ハイパフォーマンスな NetApp AFF A90ストレージを提供します。Novus Data Directorはメタデータを、標準的なx86コンピュート上で動作する独立してスケーリング可能なソフトウェアで定義される制御層に移動させます。クライアントはData Directorにファイルの保存場所を問い合わせ、レイアウトを受け取った後、ストレージと直接通信します。どちらのプレーンも相手を待つことはなく、データはライン レートで伝送されます。

標準クライアント、単一ネームスペース、多数のテナント

Novusは、サポートされているLinuxクライアント環境を介した標準ベースのpNFS/NFSアクセスを備えたアーキテクチャを採用しており、数千ものノードイメージ、GPU世代、テナント環境にわたって独自のクライアントを展開、パッチ適用、検証する手間をオペレーターが省けるよう支援します。これは、共有マルチテナントAIインフラストラクチャの単一の名前空間を維持しながら、繰り返し発生するオーバーヘッドの主要な原因を取り除くことを目的としています。

単一のネームスペースを使用することで、運用上の簡素化が実現します。ワークロードのデータが複数のシステムに分散している場合、データの移動、再マウント、再バランスを行い、すべてのコピーを把握する必要があります。単一のゼタバイト規模のネームスペースを使用することで、そのような作業が不要になり、環境が拡大してもデータセット、チェックポイント、モデル成果物に継続的にアクセスできるようになります。Novusは、アプリケーションの変更、サービスの中断を伴う再マウント、テナントのサービス停止などを強制することなく、オペレーターが容量とパフォーマンスを追加できるように設計されています。Novusは、ストレージトポロジーをすべてのワークロードに可視化するのではなく、AIファクトリー規模向けに構築された、一貫性のある単一のデータ環境を提供します。

AIファクトリー規模では、共有インフラは信頼性がパフォーマンスと連動して向上する場合にのみ有効です。Novusは、実績のあるセキュリティ、回復力、サービス品質、およびマルチテナンシーのONTAPの基盤を、極めて高い並行処理能力のために構築された単一のアーキテクチャに統合するよう設計されています。プロバイダーは、数千ものジョブが同じデータプレーンを競合する場合でも、テナントを隔離し、ワークロードを予測可能にし、GPUの生産性を維持することができます。

規模は常に変化する目標である

昨年は、クラスター内の GPU が 10,000 個というのは大きな数でした。今年は 50,000 個です。今日の AI ファクトリーが最終形態だと考えている人は誰もいません。選択するアーキテクチャは、現在運用しているクラスターだけでなく、3 年後に運用するクラスターにも適している必要があります。

Gary Grider、Los Alamos National Labsのコンピューティング技術担当シニアディレクターは、次のように的確に述べています。「AI時代の幕開けを支えてきたアーキテクチャは、イノベーションの加速に伴い、私たちが求める要求を満たすことができなくなるでしょう。AIファクトリーの規模が拡大し続けるにつれて、数十万ものGPUが単一のネームスペースにアクセスし、膨大な量のメタデータ操作のバックログが発生し、ファイルシステムの速度が低下したり、場合によっては停止したりするでしょう。Novusは、メタデータ層とデータ層の両方を独立してスケーリングできる、他に類を見ないアーキテクチャです。これにより、AIファクトリーはデータへのアクセス能力に制約されることなく成長できます。」

Novusが通信事業者にもたらすもの

GPUの利用率を最大化する。データのボトルネックを解消し、高コストなGPU環境へのデータ供給と収益化を維持します。

パフォーマンスを個別に拡張する。ハイパフォーマンスデータノードを分離されたメタデータ層と組み合わせ、それぞれを独立してスケーリングできます。

収益性を向上させる。ギガワット規模のAIファクトリー向けに構築されたアーキテクチャ上で、マルチテナント、クラウド規模の運用モデルを実行し、最もコストのかかる資産からの収益率を高めることができます。

AIファクトリーは、構築当初のアーキテクチャを急速に凌駕するようになり、運営者は新たなアーキテクチャへの移行を余儀なくされている。Novusは、将来の成長に合わせて新たなアーキテクチャを必要としないように設計されています。

NetApp INSIGHT 2026は、ラスベガスで9月29日から10月1日まで開催されます。ライブまたはオンデマンドでご視聴ください。詳細については、NetApp Novus ソリューション概要をご覧ください。