NetApp Tech OnTap NetApp Logo
NetApp Tech OnTap
     
StorageGRID Webscale:因應企業和雲端需求設計的不中斷物件式儲存設備
Ingo Fuchs
雲端解決方案資深經理

談到資料儲存設備,除了效能以外,還有很多需要考量的事物,包括:

  • 龐大資料量:當儲存設備的檔案數量從數百萬增加到數十億時,該如何有效管理資料?
  • 儲存位置:如何確定資料存放在所需的位置,而且確保敏感資料不會存放在不當之處?
  • 持久性:如何確定資料在儲存數年之後,即使鮮少或從未使用,現在仍然可以存取?
  • 法規遵循:如何確保自己符合公司的內部治理和外部法規要求?
  • 保留政策:在可能橫跨數世代儲存硬體的漫長時期中,該如何保留資料?
  • 相關成本:最後,如何確定資料在整個生命週期中,是儲存在最具成本效益的媒體上?

直到現在,市場上都很難找到能夠解決上述任一問題的有效方案,更別提一次解決這些所有難題;但 NetApp 確確實實透過 StorageGRID® Webscale 辦到了。

StorageGRID Webscale 是以軟體定義的物件式儲存設備,易於大幅擴充,專為大型歸檔、媒體儲存庫及網路資料儲存區而設計。

我將在本文中介紹物件式儲存設備的一些概念,探討 StorageGRID Webscale 的多項特色與功能,並討論幾個使用案例。

為何要選擇物件式儲存設備,現在為何是適當時機?

物件式儲存設備與我們熟悉的區塊及檔案儲存設備有些不同,它會將資料整理到可以靈活調整大小的資料容器中,稱為物件。物件儲存在一個扁平命名空間中,可能橫跨多個位置,而且每個物件都含有資料(未解譯順序的位元組)和中繼資料(唯一 ID 加上一組描述物件的可延伸屬性)。簡而言之,物件式儲存設備就像代客泊車:只要把停車票交給泊車小弟,就可以將車子取回,完全不需要知道車子之前停在哪裡。

圖 1) 物件式儲存設備使用靈活的容器和可延伸的中繼資料,能夠有效管理數十億個檔案。

這種儲存方法的好處是可以根據任何屬性來參照及查詢資料;與太容易錯置不見的紙本停車票不同,您有許多方法可以找到正確的「停車票」,而且能輕鬆設定停車票的使用難易(安全)程度。ID 標記的檔案索引編製能力高於單一檔案系統數倍之多,讓物件式儲存設備非常適合做為分散於世界各地、涵蓋數十億個檔案的企業級儲存設備。

從最近的三大趨勢中,物件式儲存設備更加引起關注:

  • 非結構化資料的數量持續增加,必須尋求全新方法來儲存及保護資料;物件式資料管理方式可實現智慧型資料放置功能,滿足對於效能、持久性、可用度、儲存位置及使用壽命等各種需求。
  • 企業面對分散式資料的建立及使用,挑戰性與日俱增;「一線資料中心與災難恢復 (DR) 資料中心」模式將被多站台方法取而代之,讓使用者、工作負載及資料越來越緊密結合。
  • 混合式雲端現在成為平衡成本與效能的新選項,IT 團隊正在尋求以最佳方式同時運用內部部署和雲端型儲存設備。

StorageGRID Webscale 簡介

StorageGRID Webscale 是企業級儲存平台,具備其他物件式儲存設備方案難以匹敵的重大優勢。以軟體定義的獨特儲存架構可支援在單一命名空間中,橫跨多個位置儲存數十億個物件和數十 PB 的資料。

StorageGRID Webscale 專為支援混合式雲端而打造,提供全年無休的資料可用度,並透過 S3 和 CDMI 的 API 穩定支援雲端應用程式。動態原則引擎可讓您充分發揮每個儲存資料物件的可用度、效能及成本效益,大為提高資料管理的精細度。

StorageGRID Webscale 善用原先 StorageGRID 產品在部署物件式儲存設備方面十年以上的豐富經驗,並傳承多項功能;因此 NetApp 能夠提供:

  • 業界最先進的原則架構,適用於資料生命週期管理。
  • 真正可跨地理區散佈與選擇地理區存放的物件放置方法。
  • 無與倫比的資料持久性。
  • 將磁帶當作使用中的階層(能從磁帶擷取單一物件)。

表 1) StorageGRID Webscale 特色。

StorageGRID Webscale:重要功能
• 每個命名空間可儲存一千億個物件 • 整合式資料保護
• 每個命名空間有 70PB 容量 • 物件大小高達 5TB
• 最多 16 個資料中心位置 • 完整稽核及報告(與 Splunk 相容)
• 不中斷營運的升級方法 • 專為密度、效能與可用度所設計的 E 系列
• 根據原則選擇儲存位置與儲存層 • 橫向擴充
• 完整性驗證與自我修復 • 長期保留
• 符合 REST 限制的原生 S3 和 CDMI API  

動態原則引擎

StorageGRID Webscale 所提供的精細度與靈活度在業界中無人能及,其他解決方案需要根據容器來管理資料,使您的選擇大受限制,然而 StorageGRID Webscale 具備動態原則引擎,讓您得以針對多種條件自定原則,包括:

  • 資源可用度和延遲。
  • 資料保留需求。
  • 地理位置需求。
  • 網路成本(網路連結成本因素)。

它會根據所設條件來評估物件,例如自訂的使用者和應用程式中繼資料、存入方式、大小或上次存取時間,然後套用適當的原則定義:

  • 物件的放置地理區。
  • 適用於儲存物件的儲存設備類型(SSD、HDD 或磁帶)。
  • 物件包含的複本數量。
  • 保留原則,包括隨著時間而改變放置方法、儲存設備等級、複本數量和刪除(如適用)。

物件的中繼資料會指出其儲存位置和複本數量,中繼資料也可包括自訂欄位,因此能隨需求變動而新增欄位。此中繼資料會散佈至整個 StorageGRID Webscale 環境,以提升擴充性及恢復能力,並加快擷取速度。

圖 2) StorageGRID Webscale 原則引擎和可延伸中繼資料的優點。

確認遵循原則要求:StorageGRID Webscale 的原則引擎十分獨特,不僅會在存入時針對物件執行原則,也會定期確認遵循狀態,並採取修正行動。例如,某個原則可能規定某特定類型的物件必須永久保存三份複本;則在此原則下,如果某個物件的複本受到故障影響,則系統將自動建立新複本,使物件能重新�合遵循要求。

回溯套用原則:原則變更甚至可以回溯套用。例如,若您設定一項原則,讓資料儲存一份複本在美國、一份在德國、一份在日本,之後法律規定改變了,日本不再允許您儲存該類資料;此時您只要變更該原則,StorageGRID Webscale 便會視需要自動搬移資料,確保一切符合法規要求。原本可能負擔沉重的資料管理工作,現在只需按幾下滑鼠便能輕鬆完成。

可用度與資料持久性

StorageGRID Webscale 具備容錯架構,支援不中斷營運的運作、升級和基礎架構更新。無論是個別節點或整個站台故障,都能迅速回應,提供持續的資料存取。在一般作業和發生故障期間,負載平衡功能會自動分配工作負載,在各種情況下達到最佳效能。發生問題時,NetApp AutoSupport 會對您的系統管理員和 NetApp 發出自動通知。

雙重確認,多份複本:存入時,物件會立即進行雙重確認(建立兩份本機複本)以提供保護,而且所有物件均會複寫到多個位置。所有物件複本均有效,能夠隨時用於滿足擷取要求。

資料完整性:為了保護資料完整性,我們採取層層相扣的防衛機制,包括驗證、雜湊及總和檢查碼 (checksum)。存入時,系統會為每個物件建立數位指紋,而且在擷取、複寫、移轉及物件閒置時均會加以驗證,並自動取代可疑的物件。若您想擷取某個物件,但該物件未通過某項測試,則系統將自動從不同位置擷取該物件並建立新複本,整個過程對使用者和系統管理員來說均通透無所察覺。

定期檢查健全狀態:StorageGRID Webscale 會對可能未定期(依原則定義)存取的資料執行「健全狀態檢查」,以確定其完整性;這表示您可長時間儲存資料,並確保一旦需要時,資料仍然可供存取。

符合 REST 限制的 S3 物件 API 支援

Amazon Web Services 符合 REST 限制的 S3 物件 API,已成為物件式儲存設備的實際標準;由於相容於 S3 API,StorageGRID Webscale 能夠立即支援專為 S3 打造的應用程式。您可在內部部署環境中搬移專為公有雲端供應商所撰寫的應用程式,也可開發能夠執行於私有及公有雲端的應用程式。

StorageGRID Webscale 支援的 S3 內容包括 AccountID、值區 (Bucket) 與主要字首,以及 S3 中繼資料,而且能夠進行稽核記錄、監控與報告。

StorageGRID Webscale 架構和部署

StorageGRID Webscale 簡單的邏輯架構,能夠支援可橫向和垂直擴充的實體架構。邏輯架構如圖 3 所示,物件將使用符合 REST 限制的 API 進行儲存與擷取。如上所述,此架構的強大功能主要歸功於原則導向資料放置方式,以及不受位置侷限的分散式物件存放區。

圖 3) StorageGRID Webscale 簡單的邏輯架構可覆蓋於多種儲存硬體的物件層級資料管理之上。

實體架構採用四種節點:

  • 管理節點:提供多種管理服務,例如組態、監控、稽核與記錄。
  • 儲存節點:管理物件式儲存設備,包括複寫。
  • API 閘道節點(選用):提供負載平衡介面,應用程式使用標準 API 透過此介面連接至 StorageGRID Webscale。
  • 歸檔節點(選用):提供歸檔媒體介面,例如磁帶。

您可在每個資料中心內橫向擴充各種類型的多個節點,以支援大規模擴充需求。StorageGRID Webscale 節點會在區塊儲存設備的前方,以 VMware 虛擬機器的形式執行,這類儲存設備包括 NetApp E 系列儲存設備或協力廠商陣列在內。每部虛擬機器均使用 8 個 vCPU 和 24GB 的 RAM,可選擇使用 SSD 和 10GbE 來增進 VM 的效能。

圖 4) StorageGRID Webscale 實體架構奠基於四種節點,這些節點可在單一部署中分散至多達 16 個資料中心。

在 E 系列上執行 StorageGRID Webscale

StorageGRID Webscale 是以軟體定義的產品,與區塊儲存設備共同執行於 VMware 虛擬化基礎架構上。若將 StorageGRID Webscale 部署在獲證實的企業級儲存設備上,例如 NetApp E 系列,必定可達到最佳效能。若您是從當地的折扣商店購買基礎架構系統,那麼一旦半夜發生故障,您就必須完全仰賴他們的支援。E 系列儲存設備不只具備高度恢復能力(已部署超過 750,000 個系統),還有企業級支援服務做為後盾。

E 系列能夠提供 StorageGRID Webscale 使用案例所需的效能和恢復能力,例如動態磁碟資源池 (DDP) 便具備節點層級的銷毀編碼。DDP 會將資料、同位元檢查資訊與備用容量平均分配到整個磁碟資源池,藉此簡化設定、消除瓶頸熱點,並有效提升容量使用率。所有可用空間都會平均分配到所有磁碟,因此不會讓專用的熱備援磁碟機處於閒置不用狀態。您的系統能充分發揮所有磁碟的最高效能。DDP 可將磁碟機故障所造成的效能影響降到最低,並以比傳統 RAID 快上 8 倍的效率回復到系統最佳運作狀態。

使用案例

NetApp 相信 StorageGRID Webscale 是搭配網路資料儲存庫、資料歸檔和媒體儲存庫的完美選擇,以下這些使用案例都有其明確的個別需求,但 StorageGRID Webscale 均可調整因應其中涵蓋的多元需求。

網路資料儲存庫

網路資料儲存庫的特徵是小型物件、物件數量多、交易頻繁。由於可在單一儲存庫中,處理高達上千億個分散於多個位置的物件,同時可支援 S3 和 CDMI API,使得 StorageGRID Webscale 成為這個使用案例的絕佳選擇。

資料歸檔

為了同時因應公司治理和法規需求,有越來越多企業需要長期儲存大量資料。一般而言,成本與管理是這類資料歸檔的最重要考量,為了降低成本,能容許較長的延遲時間。StorageGRID Webscale 利用磁帶整合、獲證實的資料持久性、靈活的原則型管理方式,而能充分滿足這個使用案例的需求。


媒體儲存庫

媒體儲存庫的特徵是大型物件(超過 250MB)、需要管理分散於世界各地的資料、確保資料完整性,以及縮短找到首位元組的回應延遲。StorageGRID Webscale 可以跨地理區散佈的耐久設計可滿足這些需求,它也支援「範圍讀取」,讓影片從任一點串流播放,而不需要下載整個物件。

結論

由於 StorageGRID Webscale 建立在原始 StorageGRID 解決方案衍生而出的穩固基礎上,因此已是能夠滿足各種物件式儲存設備需求的成熟產品。它提供其他物件解決方案所沒有的功能,包括可跨地理區散佈與選擇地理區存放的物件放置方法、定期檢查健全狀態以確保資料持久性,並可回溯套用原則以符合法規遵循要求。

綜合這些功能,StorageGRID Webscale 可大幅簡化網路資料、歸檔和媒體儲存庫的管理,架構出可供未來數十年不間斷正式作業的物件式儲存設備,而且這一切全來自於信譽卓著、能為您提供企業級支援的知名公司。

這個世界正逐漸成為雲端系統的天下,NetApp 在物件式儲存設備方面投注雙倍心力,期許自己在未來各種發展上都能位處領導者地位,敬請持續關注 Tech OnTap 的未來動態。

 對於物件式儲存設備有任何意見嗎?

您可以透過網路,在 NetApp 社群上提出問題、交換意見,並分享您的想法。

Ingo Fuchs | NetApp 資深經理

Ingo 是 NetApp 公司的資深經理,負責物件式儲存設備、雲端協同作業和移動性等技術,像是如何將內容儲存庫擴充至 1 EB 空間,以及如何從行動裝置安全存取公司資料,都在他的責任範圍內。Ingo 在儲存設備業界擁有超過 20 年的豐富經驗,曾任職於 IBM 和 EDS(現在的 HP)等知名企業。他帶領過伺服器基礎架構、高可用度、儲存區域網路 (SAN)、網路附加儲存設備 (NAS),還有備份與歸檔等領域的專案,也針對儲存設備相關主題發表許多文章。

Tech OnTap
立即訂閱
Tech OnTap 每月提供 IT 見解,並有大量可助您瞭解真實世界的最佳實務做法、工作祕訣與工具、幕後工程訪談、示範、同儕評論,及更多其他相關資訊。

請到 NetApp 社群中瀏覽 Tech OnTap,立即訂閱這份實用資訊。

Explore
瀏覽
更多 StorageGRID Webscale 的相關資訊

想要深入瞭解 StorageGRID Webscale 嗎?請務必閱讀下列連結內容:

Explore
TRUSTe
與我們連絡   |  如何購買   |   意見反應   |  工作機會  |   訂閱   |  隱私權政策   |   © 2014 NetApp