NetApp StorageGRID 實現資料管理現代化

現代化 IT 基礎架構必須具備靈活彈性、可擴充性和恢復能力，尤其是在管理大量資料時。在 NetApp IT，我們透過改進對 StorageGRID 的使用來滿足組織和客戶不斷增長的需求，從而直面這一挑戰。從支援全球檔案上傳，到轉型 Active IQ 的資料湖架構，StorageGRID 已成為我們資料基礎架構策略的基石。

十多年前，我們首次推出StorageGRID時，這是一個謹慎的步驟。我們首先使用 NetBackup 和 AltaVault 備份靜態 ONTAP 資料。當 AltaVault 停止服務後，我們保留該環境以滿足 SOX 保留要求。StorageGRID 的物件儲存功能很快就被證明不僅適用於備份，它還成為 Splunk 日誌、Git 儲存庫和 Veeam VM 備份的可靠後端。

現在，我們的架構包括三個不同的 StorageGRID 環境：

• 公司 StorageGRID（僅限內部使用，6PB，67 個節點）
• DMZ StorageGRID（面向客戶，6PB，23 個節點）
• 適用於 Active IQ 的裸機 StorageGRID（6PB，24 個節點）

這些環境部署在多個網站中，並仔細考慮了安全狀況、負載平衡（透過 Avi 或 VM 閘道節點）和硬體生命週期管理。 

NetApp 支援部門經常面臨的挑戰是讓客戶能夠安全地上傳大型核心檔（最多 2TB），以便排查 ONTAP 問題。最初基於瀏覽器外掛程式的解決方案笨拙，容易出錯，並且經常失敗，特別是對於美國以外的客戶。

我們使用 StorageGRID 和關鍵平台服務設計了一個新的基於瀏覽器的上傳系統：

• 分段上傳允許暫停/恢復功能和更快的傳輸。
• 預簽名 URL 授予以工作階段為基礎的安全存取權限。
• CloudMirror 會將上傳的檔案從 DMZ 複製到內部網格，而不會影響安全性。
• SNS（Simple Notification Service）在上傳檔案時立即通知我們的系統，觸發自動化工作流程將其移動到工程領域。
• Cloud Sync 會在需要時將檔案從 AWS S3 傳輸到內部 StorageGRID 執行個體。

這種架構提高了可靠性，使我們能夠在沒有資料中心的地區利用 AWS S3 作為瞬態上傳平台，在全球範圍內進行擴展。一旦資料登陸 AWS，就會透過 AWS 骨幹網複製到美國，並迅速移入 StorageGRID。 

結果是？為全球客戶提供無縫、安全的上傳服務，無需外掛程式、防火牆例外或更改基礎架構。

我們的第二個主要使用案例是將 Active IQ 的資料湖從基於 Hadoop 的大型架構遷移到由 StorageGRID 支援的 Kubernetes 原生 Dreamio 平台。

• 數字說明了一切：
• 運算資源減少 60%
• 儲存空間減少 2PB
• 查詢時間提高了 10-20 倍，最大查詢時間從 45 分鐘縮短到 2.5 分鐘

我們使用從 Hadoop 系統回收的 E-Series 儲存陣列部署了裸機 StorageGRID 環境。我們使用抹除編碼（4+2）和 Red Hat 9.4 來最佳化效能、恢復能力和可維護性。

NetApp IT 的 StorageGRID 之旅反映了我們客戶面臨的挑戰：舊有的基礎架構、安全限制、不斷變化的需求和緊縮的預算。我們瞭解到：

• 平台服務至關重要——CloudMirror 和 SNS 等工具可解鎖自動化和靈活性。
• 混合式設計是關鍵 - 平衡內部網格與雲端原生服務可以擴展覆蓋範圍，無需產生過多成本。
• 重複使用可加速投資報酬率 - 重複使用硬體並智慧地轉換工作負載，使創新保持成本效益。

我們不只是針對當前構建解決方案，更是為未來的可擴展性和敏捷性奠定基礎。