NetApp Tech OnTap NetApp Logo
NetApp Tech OnTap
     
StorageGRID Webscale:面向企业和云的无中断对象存储
Ingo Fuchs
云解决方案高级经理

提及数据存储,除了性能之外,还有许多因素需要考虑,其中包括:

  • 海量数据。随着存储中的文件数量从几百万变为几十亿,您如何高效地管理数据?
  • 位置。您如何确保数据位于需要的地方以及敏感数据未存储在不应该出现的地方?
  • 持久性。您如何确保存储多年的数据在很少甚至从未访问过的情况下仍然可读?
  • 合规性。您如何确保既满足企业管理要求,又满足法规要求?
  • 保留。您如何在可能需要跨几代存储硬件的时间范围内保留数据?
  • 成本。最后,您如何确保在数据的整个生命周期内将数据存储在最经济高效的介质上?

一直以来,针对上述任一问题制定有效的解决方案都面临着重重困难,更不用说全部解决这些问题了。但是,NetApp 的 StorageGRID® Webscale 却完全能够做到。

StorageGRID Webscale 是一款具有大规模可扩展性的软件定义的对象存储,专为大型归档、媒体存储库和 Web 数据存储库而设计。

在本文中,我将介绍对象存储背后的一些概念,讨论 StorageGRID Webscale 的特性和功能并探讨几个用例。

为什么使用对象存储?为什么现在使用?

对象存储与熟悉的块和文件存储略有不同。它将数据整理到可灵活调整大小的数据容器中,也就是对象。这些对象存储在可能跨多个位置的平面命名空间中。每个对象都包含数据(未解释的字节序列)和元数据(独一无二的 ID 再加上描述该对象的一组可扩展属性)。可以简单地将对象存储视作代客停车服务 — 您把票据交给服务员,让他/她为您开回车辆,根本不用知道您的车之前停在哪里。

图 1) 对象存储提供灵活的容器和可扩展的元数据,因而可以高效地管理几十亿个文件。

此方式的优势在于,可以基于任何属性引用和查询数据。此外,不同于很容易放错地方的纸质停车票据,您可以通过多种方式找到正确的“票据”,而且还可以根据需要采用安全或简单的方式使用票据。标识符标记支持大量文件索引,高出文件系统几个数量级,因而对象存储成为分布在各地并且包含几十亿个文件的企业存储的理想选择。

以下三大趋势促使人们越来越关注对象存储:

  • 非结构化数据的持续增长要求采用新方式来存储和保护数据。支持对象的数据管理有助于智能数据放置,可满足广泛的性能、持久性、可用性、位置和长期性要求。
  • 越来越多的企业需要应对日趋分散的数据创建和使用所带来的问题。“主数据中心加灾难恢复数据中心”这种模式正逐渐被多站点方式所取代。在多站点方式中,用户、工作负载和数据的联系越来越紧密。
  • 混合云提供了可平衡成本和性能的新选项,并且 IT 团队希望找到合理利用内部存储和基于云的存储的最佳方式。

StorageGRID Webscale 简介

StorageGRID Webscale 是一款企业级存储平台,与其他对象存储方式相比优势显著。它独一无二的软件定义的架构可以为跨越单个命名空间中多个位置的几十亿个对象和数十 PB 存储提供支持。

专为混合云设计的 StorageGRID Webscale 通过 S3 和 CDMI API 为云应用程序提供无中断数据可用性和经验证的本机支持。您可以通过动态策略引擎优化存储的每个数据对象的可用性、性能和成本,同时提供更加精细的粒度。

StorageGRID Webscale 传承了我们原 StorageGRID 产品在十多年的生产对象存储部署中所积累的经验和功能。因此,NetApp 能够提供:

  • 业界最先进的数据生命周期管理策略框架
  • 真正做到按地理位置分布对象和按地理位置挑选对象放置位置
  • 无与伦比的数据持久性级别
  • 磁带作为一个活跃层(能够从磁带检索单个对象)

表 1) StorageGRID Webscale 的功能。

StorageGRID Webscale:主要功能
• 每个命名空间有 1000 亿个对象 • 集成数据保护
• 每个命名空间 70 PB • 对象大小高达 5 TB
• 多达 16 个数据中心位置 • 完整审核和报告(兼容 Splunk)
• 无中断升级 • E 系列(高密度、高性能和高可用性)
• 基于策略选择位置和存储层 • 横向扩展
• 完整性验证和自行恢复 • 长期保留
• 本机 S3 和 CDMI RESTful API  

动态策略引擎

StorageGRID Webscale 提供的粒度和灵活性级别在业界无可匹敌。其他解决方案基于容器管理数据,因而选项有限。StorageGRID Webscale 具有动态策略引擎,允许您按照各种条件设置策略,其中包括:

  • 资源可用性和延迟
  • 数据保留要求
  • 地理位置要求
  • 网络成本(计入网络链路成本)

可以基于自定义用户和应用程序元数据、载入方法、大小或者上次访问时间等条件评估对象,并且应用定义了以下内容的策略:

  • 对象的放置位置
  • 存储对象所用的存储类型(SSD、HDD 或磁带)
  • 从对象创建的副本数量
  • 保留策略,包括在一段时间内对放置位置、存储级别、副本数量和删除(如果适用)所做的更改。

对象的元数据包括其存储位置和副本数量。元数据可以包括自定义字段,并且可随要求变化添加新字段。元数据分布在整个 StorageGRID Webscale 环境中,以提高可扩展性和弹性并加快检索速度。

图 2) StorageGRID Webscale 策略引擎和可扩展的元数据的优势。

确认策略合规性。StorageGRID Webscale 中的策略引擎的独特性体现在,它不仅针对载入的对象执行策略,还定期确认合规性并采取更正操作。例如,策略可以要求始终为某特定类型的对象保留三个副本。如果故障影响到受此策略约束的某个对象的一个副本,则将自动创建一个新副本,从而恢复该对象的合规状态。

追溯应用策略。甚至可以追溯应用策略更改。例如,假定您设置了这样一个策略:存储的数据在美国、德国和日本分别有一个副本,但是之后法律规定发生变化,您以后都不能在日本存储该数据类型。那么,您只需更改该策略,StorageGRID Webscale 便会根据需求自动移动数据,以确保合规性。这项本来工作量巨大的数据管理任务,现在只需单击几下鼠标便可完成。

可用性和数据持久性

StorageGRID Webscale 具有一个容错架构,可支持无中断运行、升级和基础架构更新。它专为响应单个节点和整个站点故障而设计,可提供连续数据访问。在正常操作和发生故障期间,负载平衡可自动分布工作负载,确保在任何条件下尽可能地实现最佳性能。当发生问题时,NetApp AutoSupport 会自动向管理员和 NetApp 发出通知。

双提交和多个副本。在载入时,通过双提交(两个本地副本)即时保护对象,并且所有对象都复制到多个位置。所有对象副本均处于活动状态,并且可用于满足检索请求。

数据完整性。使用多个互锁的完整性保护层(包括身份验证、哈希以及校验和)来保护您的数据。在载入时为每个对象创建数字指纹,并且在检索、复制、迁移以及对象处于闲置时进行验证。自动替换可疑对象。如果您需要检索一个对象,但它未能通过测试,则将从另一个位置自动检索该对象并且创建一个新副本 — 这些操作对于用户和管理员都是透明的。

定期运行状况检查。StorageGRID Webscale 对可能不会定期(在策略中定义)访问的数据执行“运行状况检查”,以确保其完整性。这意味着您可以长期存储数据,并且在需要时能够放心地读取数据。

S3 RESTful 对象 API 支持

Amazon Web Services 使用的 S3 RESTful 对象 API 已经成为对象存储的标准。通过提供与 S3 API 的兼容性,StorageGRID Webscale 能够立即支持专为 S3 所构建的应用程序。您可以在内部移动为公共云提供商编写的应用程序,还可以开发能够同时在私有云和公共云中运行的应用程序。

StorageGRID Webscale 为包括帐户 ID、分段和密钥前缀以及 S3 元数据在内的 S3 内容提供支持,还能提供审核日志记录、监控和报告。

StorageGRID Webscale 架构和部署

StorageGRID Webscale 的简单逻辑架构支持可以纵向和横向扩展的物理架构。图 3 显示了该逻辑架构。使用 RESTful API 存储和检索对象。如上所述,该架构的大量功能源自策略驱动式数据放置和位置透明的分布式对象存储。

图 3) StorageGRID Webscale 具有一个简单的逻辑架构,可以覆盖各种存储硬件上的对象级别数据管理。

该物理架构利用四类节点:

  • 管理节点 — 提供配置、监控、审核和日志记录等管理服务。
  • 存储节点 — 管理对象存储,包括复制。
  • API 网关节点(可选)— 提供负载平衡接口,应用程序通过该接口连接到使用标准 API 的 StorageGRID Webscale。
  • 归档节点(可选)— 提供连接到磁带等归档介质的接口。

您可以在每个数据中心内通过每种类型的多个节点进行横向扩展,以支持大规模扩展。StorageGRID Webscale 节点作为 VMware 虚拟机在块存储(可以是 NetApp E 系列存储或第三方阵列)前面运行。每个虚拟机利用 8 个 vCPU 和 24 GB RAM。可以选择使用 SSD 和 10GbE 来提高 VM 性能。

图 4) StorageGRID Webscale 物理架构依赖四类节点。作为单个部署的节点最多可以分布在 16 个数据中心之间。

在 E 系列上运行 StorageGRID Webscale

StorageGRID Webscale 是一款在 VMware 虚拟基础架构上面运行的软件定义的产品,可以与块存储相结合。如果您在经验证的企业级存储(如 NetApp E 系列)上部署 StorageGRID Webscale,便可获得最佳结果,我们对此深信不疑。如果您从当地折扣店中购买基础架构,那么当设备半夜发生故障时,您只能向这家店寻求帮助。E 系列存储不仅具有高弹性(系统部署量已超过 75 万),而且有企业级支持服务作为后盾。

E 系列通过提供动态磁盘池 (Dynamic Disk Pool, DDP)(提供节点级别纠删编码功能),实现 StorageGRID Webscale 用例所需的性能和弹性。DDP 在整个驱动器池中均匀分布数据、奇偶校验信息和备用容量,从而简化设置、消除热点并最大程度地提高容量利用率。由于是在所有磁盘之间分布可用空间,因此不会出现专用热备盘处于闲置的情况。您可以获得系统中所有磁盘的全部性能。DDP 可最大限度地降低驱动器故障对性能的影响,并且可以短时间内将系统恢复到最佳状态,速度比传统 RAID 快多达八倍。

使用情形

NetApp 坚信,StorageGRID Webscale 非常适合 Web 数据存储库、数据归档和媒体存储库。每一个用例都有属于自己的一套截然不同的要求,但是 StorageGRID Webscale 具有超强的适应性,能够满足这些用例中的各种需求。

Web 数据存储库

Web 数据存储库具有对象较小、对象数量较高以及高事务量等特征。因为它可以在分布在许多地方的一个存储库中处理多达 1000 亿个对象并且支持 S3 和 CDMI API,所以 StorageGRID Webscale 非常适合该用例。

数据归档

越来越多的企业需要长期存储海量数据,以满足企业管理和法律要求。如果使用此类数据归档,成本和管理通常是最需要关注的问题。为了尽量降低成本,不得不容忍较长的访问延迟。StorageGRID Webscale 凭借磁带集成、经验证的数据持久性以及基于策略的灵活管理,可满足这种用例需求。

媒体存储库

对于媒体存储库来说,其对象较大(250 MB 以上),需要分布在不同地理位置,且需要确保完整性和较低的首字节访问延迟。StorageGRID Webscale 采用分布在不同地理位置和持久性设计,完全可以满足这些要求。它还支持“划范围读取”,因此可以从任意时间点传输视频,而无需下载整个对象。

结论

因为是在原 StorageGRID 解决方案坚实的基础之上构建而成,所以 StorageGRID Webscale 已经发展成为一款成熟的产品,可满足您的各种对象存储需求。它能够提供其他对象解决方案所不具备的功能,包括按地理位置分布对象和按地理位置挑选对象放置位置、经验证的数据持久性(提供定期运行状况检查)以及可追溯的策略合规性。

StorageGRID Webscale 的所有这些功能可以显著简化 Web 数据、归档和媒体存储库的管理,并且支持能够在几十年时间里满足无中断生产需要的对象存储设计。而且,您可以从一家拥有企业级支持并且经过验证的公司那里获得所有这些优势。

如今,云一统天下。NetApp 正在潜心研发对象存储,致力于在该领域确立领导地位,而且今后将提供更多功能。请密切关注 Tech OnTap,了解未来发展动向。

 关于对象存储有任何见解?

请在 NetApp 社区中在线提出问题、交流观点、分享看法。

By Ingo Fuchs,产品营销部,NetApp

Ingo 是 NetApp 的一名高级经理,主要负责对象存储、云协作和移动性等业务。他十分关注如何帮助客户将内容存储库扩展到 EB 级空间以及如何从移动设备安全地访问企业数据等问题。Ingo 拥有超过 20 年的存储行业经验,之前曾任职于 IBM 和 EDS(现在的 HP)。他领导了服务器基础架构、高可用性、存储区域网络 (Storage Area Network, SAN)、网络连接存储 (Network Attached Storage, NAS)、备份和归档等众多领域内的一系列项目,并且发表过多篇存储专题文章。

Tech OnTap
立即订阅
Tech OnTap 每月发布一次,为用户提供 IT 见解,以及对实际应用的最佳实践、技巧和工具、幕后技术访谈、演示、同行评论等的独家访问。

访问 NetApp 社区中的 Tech OnTap ,立即订阅。

Explore
탐구
有关 StorageGRID Webscale 的更多信息

想要了解关于 StorageGRID Webscale 的更多信息?一定不要错过以下链接中的内容:

 更多内容
TRUSTe
联系我们    |   如何购买   |   反馈    |   招聘   |   订阅   |   隐私政策   |   © 2014 NetApp