

今天標誌著千兆瓦級人工智慧工廠資料基礎架構新時代的開始。NetApp Novus 是一種新型的儲存架構,其彙總處理量超過 100TB/s,可確保數十萬個 GPU 高效運作。Novus 專為 Zettabyte 級容量而設計,將中繼資料和資料分隔成獨立且易擴充的層面,然後將數千個儲存設備節點統一在一個命名空間下。憑藉這些功能,NetApp Novus 將為 Neocloud 營運商、超大規模資料中心營運商、建置 GPU 雲端的大型企業,以及 GPU 即服務供應商帶來效率、使用率和獲利能力的變革。
Novus 建構於基於標準的 pNFS 存取之上,因此無需在 GPU 伺服器上部署專屬用戶端,也無需隨著核心與 GPU 世代的變更而進行生命週期管理。Novus 將 NetApp ONTAP® 的復原力、安全性與多租戶特性,帶入專為 AI 工廠特定用途所打造的架構中。
AI 工廠的運算非常嚴苛。單一 GPU 需要高達 2GB/s 的處理量才能保持滿載運行,而要在 50,000 個 GPU 上維持此處理量,則需要 100TB/s 的累積頻寬。傳統的儲存設備陣列可提供 40 到 80GB/s。因此,要使用傳統陣列達到 100TB/s,意味著需要部署一百多個陣列,每個陣列都有自己的命名空間、故障網域和管理成本。維運人員最終會運行一整個機組的儲存設備系統,並應對複雜的資料搬移問題。
對千兆瓦級人工智慧工廠而言,GPU 是資產負債表上最大的資本項目,也是唯一能產生營收的項目。GPU 每花一小時等待資料,就是一小時毫無回報的折舊。
這使得 GPU 叢集資源充足和資源匱乏之間的差異對業務至關重要。當儲存設備無法以足夠快的速度交付資料以確保 GPU 正常運作時,AI 工廠的使用率可能會降至單一位數。我們認為,此時儲存設備瓶頸不再是效能問題,而是利潤問題——而且隨著業務規模的擴充,這個問題只會愈演愈烈。
僅僅增加控制器數量並不能解決問題。中繼資料本身就是瓶頸,甚至在容量或頻寬限制 GPU 活動之前就已經存在。所有開啟、尋找和佈局請求都會落在試圖提供資料的相同控制器上。工作區匯入涉及數百萬次小檔案操作。檢查點操作是 TB 級的連續寫入,由所有節點同時發出,緊接著中繼資料流量的爆發。當您擴充叢集時,中繼資料操作也會隨之擴充,直到檔案系統不可避免地變慢或停滯。
要針對兩種相互衝突的存取模式進行工程設計非常困難。小檔案中繼資料流量需要快速處理許多獨立的操作。檢查點寫入需要整個系統專用於一個連續的資料流。如果將它們運行在同一控制器上,則每一種都會降低另一種的效能。
Novus 將中繼資料與資料解耦,使二者能夠獨立擴充。為此,我們建立了兩個專用系統,各自針對不同的工作最佳化的,並將它們整合到單一系統中。資料儲存在企業級 ONTAP 系統上。在第一個版本中,我們將配備高效能 NetApp AFF A90 儲存設備。Novus Data Director 將中繼資料移至獨立且易擴充的軟體定義控制階層,該階層在標準的 x86 運算上執行。用戶端向 Data Director 查詢檔案所在位置,接收佈局,然後直接與儲存設備通訊。兩個層面互不等待,資料以線速執行。
Novus 採用基於標準的 pNFS/NFS 存取架構,並透過受支援的 Linux 用戶端環境實現,從而幫助維運人員避免在數千個節點映像、GPU 世代和租戶環境中部署、修補和驗證專屬用戶端。此舉旨在移除一項主要的例行成本,同時為共享的多租戶 AI 基礎架構保留命名空間。
命名空間提供維運的簡便性。當工作負載的資料分散在分隔的系統中時,必須進行搬移、重新掛載、重新平衡,並確保每個複本都得到妥善處理。單一 Zettabyte 級命名空間消除了這些工作,隨著環境的增長,資料集、檢查點和模型工件始終可持續定址。Novus 的架構允許維運人員在不強制更改應用程式、不進行破壞性重新掛載或不中斷租戶的情況下,增加容量和效能。Novus 並非將儲存設備拓撲暴露給每個工作負載,而是提供了一個專為 AI 工廠規模而建構的一致資料環境。
在 AI Factory 規模下,共享基礎架構只有在信任度隨效能擴充時才能發揮作用。Novus 旨在將 ONTAP 獲證實的安全性、彈性、服務品質和多租戶基礎整合到專為極端並行性而建構的單一架構中。即使數千個工作爭用相同的資料平面,供應商也能保持租戶隔離的、工作負載可預測,並確保 GPU 的高效運作。
去年,叢集中有 10,000 個 GPU 已經是很大的數字。今年則是 50,000 個。沒有人認為現今的 AI 工廠就是最終狀態。您選擇的架構不僅要適合您目前運作的叢集,還要適合您三年後將要運作的叢集。
Gary Grider,洛斯阿拉莫斯國家實驗室運算技術資深總監,精闢地指出:「引領我們進入 AI 時代的架構,將無法在我們持續加速創新時,滿足我們對其提出的需求。隨著 AI 工廠持續擴充,我們將看到數十萬個 GPU 存取命名空間,造成大量中繼資料作業積壓,進而拖慢甚至停滯檔案系統。Novus 是一種首創的架構,可提供中繼資料層與資料層的獨立擴充,讓 AI 工廠能夠成長,而不受其存取資料能力的限制。」
最大化 GPU 使用率。消除資料瓶頸,確保昂貴的 GPU 環境獲得充足的資料支援並從中獲利。
獨立擴充效能。將高效能資料節點與分離的中繼資料分層配對,並各自獨立擴充。
提升盈利能力。在專為千兆瓦級 AI 工廠建置的架構上執行多租戶、雲端規模的營運模式,讓您能夠提高最昂貴資產的回報率。
AI 工廠的發展速度已經迅速超越了其建構基礎的架構,迫使營運商必須移轉至新的架構。Novus 的設計讓未來的成長不需要新的架構。
NetApp INSIGHT 2026 將於 9 月 29 日至 10 月 1 日在拉斯維加斯舉行。觀看直播或隨需觀看。在 NetApp Novus 解決方案簡介 中探索更多資訊。
Arindam 是 NetApp 的第一位技術院士。他同時也是首席架構師暨 NetApp 平台副總裁,負責 NetApp 的技術願景、策略和架構。他目前正引領下一代 AI 基礎架構和 AI 資料平台的架構與設計。Arindam 在分散式儲存基礎架構和資料平台領域擁有超過 25 年的經驗。他在 NetApp 工作了 19 年,並在檔案系統、分散式儲存設備和 AI 領域推動了多項創新。Arindam 撰寫或共同撰寫了超過 50 項專利和專利出版物,這些專利在電腦資料系統和技術領域已獲得超過 500 次引用。