NetApp Tech OnTap NetApp Logo NetApp Logo
NetApp Tech OnTap
     
E 系列突破性能障碍
Michael Jastad
NetApp 高级技术营销工程师

2013 年 3 月,NetApp 宣布 E 系列又添新品 — NetApp® E5500,该系统设计用于为大数据和高性能计算 (HPC) 环境提供行业领先的性能、效率和可靠性。E5500 的运营成本和占用空间是竞争性系统的一半,从而为高可用性高容量应用工作流奠定了基础。

自 NetApp 于 2011 年收购 LSI 的 Engenio 系列起,E 系列开始成为 NetApp 产品组合的一部分。E5500 的构建凝结了 650,000 多个存储系统的部署实践经验,包括安装在世界上一些要求最苛刻的计算环境中,例如劳伦斯•利弗莫尔国家实验室的 Sequoia 超级计算机 ] — 它是目前世界上 排名第二大的超级计算机

所有 E 系列型号都可用来支持数据密集型应用程序,例如 Hadoop、视频监控、地震数据处理和其他需要专用存储的大数据和高性能计算应用程序。可从 NetApp 及其渠道合作伙伴那里购得 E 系列,也可从 SGI 和 Teradata 等 OEM 合作伙伴那里购得 E 系列型号的贴牌版本。

NetApp E 系列专为专用工作负载而设计。

图 1) NetApp E 系列专为专用工作负载而设计。

本文将描述 E5500 的性能,概括说明整个 E 系列产品系列,并介绍动态磁盘池和 SSD 缓存等主要功能。

E5500 突破性能

随着三月的产品发布,E5500 成为全新的 E 系列旗舰系统。E5500 旨在满足要求最苛刻的大数据和 HPC 环境的需求,从而提高了性能和性能密度的标准。一个 E5500 系统采用 8U 磁盘架和 120 个驱动器的配置,可实现高达 12 GB/秒的读取性能。如此小的机架空间却能达到如此高的性能,简直不可思议。

对于诸如 E5500 之类的存储系统,性能通常是以带宽而不是 IOPS 来衡量的,因为许多大数据和 HPC 系统需要以最大的吞吐量移动大量的数据。存储性能理事会的 SPC-2 基准测试 是该领域应用最广泛的基准。存储性能理事会网站上这样写道:

SPC-2 包括三种不同的工作负载,其设计目的是要证明在执行需要大规模顺序移动数据的业务关键型应用程序期间,其存储子系统的性能如何。这些应用程序的主要特点是大量 I/O 分成一种或多种并发顺序模式。下面对这三种 SPC-2 工作负载分别进行了说明,并按各种工作负载的特点列举了一些应用程序示例。

  • 大型文件处理: 这种应用程序在广泛的领域中存在,它们需要对一个或多个大型文件进行简单的顺序处理,例如科学计算和大规模财务处理。
  • 大型数据库查询: 这种应用程序需要对大型关系表进行扫描或联接,例如为了数据挖掘或业务智能而执行的此类操作。
  • 视频点播: 这种应用程序从数字影片库中提取内容,为用户群体提供个性化视频娱乐节目。

NetApp OEM 合作伙伴 SGI 最近采用 SPC-2 基准测试,对其 SGI InfiniteStorage 5600(基于 NetApp E5500)的性能进行了测试。如果将 SGI 提交的 SPC-2 性能测试结果与竞争供应商发布的 SPC-2 数据比较一下就会发现,E5500 的性价比最高而且单位带宽成本最低(SPC-2 以 MBps [即每秒兆字节数] 来衡量带宽)。另外,如图 2 中所示,E5500 每个磁盘轴的性能是最接近的竞争对手的 2.5 倍。

采用 SPC-2 基准测试对每个磁盘轴的性能进行测试,结果表明 E5500 具有明显的性能优势。

* 依据 2011 年或之后发布的 SPC-2 测试结果,总价不超过 50 万美元

图 2) 采用 SPC-2 基准测试对每个磁盘轴的性能进行测试,结果表明 E5500 具有明显的性能优势。

E5500 达到如此惊人的性能水平是使用的内部 PCIe 第 3.0 代 x8 总线。E5500 能够同时使用硬件和软件 RAID 引擎,凭借这项独一无二的能力,E5500 可以非常高效地从磁盘中流式传输数据,并处理大量的 I/O。SAS 扩展端口可实现高达 48 Gb/秒的速率,每个控制器均可访问所有驱动器端口。

E5500 可利用更少的磁盘实现更高的性能,这意味着 E5500 非常高效。除每个磁盘轴的吞吐量最高之外,单位占用空间和电耗实现的吞吐量也最高。一个机架最多可容纳 10 个 E5500 存储系统和 600 个驱动器(或者最多 5 个系统,每个系统 120 个驱动器,这正是上述提交的 SPC-2 配置)。

尽管部署 E5500 最常是用于处理带宽密集型工作负载,但是其事务处理性能同样令人惊叹。对于 15 K 的驱动器,E5500 在处理 4 K 随机读取操作时,IOPS 高达 150,000 次。E5500 在 IOPS 与带宽方面同样出色,所以是众多要求高性能的工作负载的绝佳选择。

E 系列产品系列

整个 E 系列产品系列包括三种存储系统:E5500、E5400 和 E2600。对于 Lustre、Hadoop、监控和媒体内容管理等特定工作负载,可使用预先配置的 E 系列解决方案。

  • E2600 是入门级 E 系列系统,旨在提供高性能价值、可靠性和易用性。它是用于支持事务处理、邮件和决策支持等工作负载的理想系统。此外,部署 E2600 还常常是为 Lustre 等集群文件系统提供元数据存储,而 E5400 和 E5500 系统提供对象存储。
  • E5400 在过去几年一直是 E 系列中的主打产品,该系统的吞吐性能高达 6 GB/秒、容量很大而且功能丰富。部署 E5400 可以支持各种大数据和 HPC 应用程序,包括 Hadoop、视频监控、全动态视频、石油勘探、数据挖掘以及政府和科学领域的多种工作负载。E5400 也非常适合事务性工作负载。
  • E5500 提供两倍于 E5400 的性能,在处理需要极高带宽的数据密集型工作负载时,E5500 可实现最高的吞吐量。
  • 所有 E 系列系统都由经企业实践检验的 SANtricity® 软件进行管理,使用该软件可轻松地调整系统,实现最高的性能和利用率。它提供了 SSD 缓存和动态磁盘池(后面介绍)等功能来进一步增强性能。系统标配多项可确保高可用性的功能,包括双主动控制器(具有冗余 I/O 路径)、自动化故障转移和完全冗余的可热插拔组件。

    三种 E 系列存储系统按性能、容量和连接选项加以区分。

    表 1) 比较 E2600、E5400 和 E5500。

     E2600E5400E5500
    最大性能(读取)4GB/秒6GB/秒12GB/秒
    最大驱动器数192384384
    最大容量576TB1152TB1152TB
    主机连接6Gb SAS
    8Gb FC
    10Gb iSCSI
    1GB iSCSI
    6Gb SAS
    8Gb FC
    10Gb iSCSI
    40Gb InfiniBand
    6Gb SAS
    40Gb InfiniBand

    请注意,这些系统的性能通常以 GB/秒而非 IOPS 表示。这是因为适用 E 系列的许多重要应用程序需要以最高的吞吐量移动大量的数据。

    每个 E 系列控制器都具有双以太网连接,以便进行管理。对于 E5500,每个控制器上有两个 SAS 端口以备扩展之用,而对于 E2600 和 E5400,每个控制器上有一个 SAS 端口。主机卡是 E2600 和 E5400 的可选组件,是 E5500 的必需组件。

    E5500 控制器背面图。

    图 3) E5500 控制器背面图。

    E 系列型号和扩展选项

    每种存储系统都包括三种不同的型号,如表 2 中所示。

    表 2) E 系列各种型号的配置。

    型号 配置
    E5560、E5460 和 E2660 4U 磁盘架/60 个驱动器的配置支持高容量 3.5 英寸 7.2 K HDD、高性能 2.5 英寸 SFF 10 K HDD 和 2.5 英寸 SFF SSD
    E5524、E5424 和 E2624 2U 磁盘架/24 个驱动器的配置使用 2.5 英寸 SFF 驱动器(SSD 和 10 K HDD),每个机架单元可达到最高的性能功耗比和带宽
    E5512、E5412 和 E2612 2U 磁盘架/12 个驱动器的配置支持 3.5 英寸 LFF 15 K 和 7.2 K HDD,提供最低的入门级产品价格

    可通过添加三种磁盘架中的任意一种来扩展基础系统,如表 3 中所示。

    表 3) E 系列扩展选项。

    DE6600 DE5600 DE1600
    4U 磁盘架/60 个驱动器,采用独特的抽盒设计(每个抽盒容纳 12 个驱动器),提供行业领先的密度。5 个抽盒均可打开来取放和更换驱动器,而不会中断数据访问,提供竞争性产品无可匹敌的可靠性、可用性和适用性。 2U 磁盘架/24 个驱动器,可容纳电耗较低的 2.5 英寸驱动器,提供较高的 IOPS 性能和吞吐密度。可为其配置 SSD 以实现极高的性能。 2U 磁盘架/12 个驱动器,可容纳高性能 15 K 驱动器和高容量驱动器。

    E 系列系统可以同构或异构。(图中所示每种配置均包含 120 个磁盘驱动器。)

    图 4) E 系列系统可以同构或异构。(图中所示每种配置均包含 120 个磁盘驱动器。)

    E 系列可靠性、可用性和适用性

    E 系列将经实践检验的技术与领先的可靠性、可用性和适用性功能集于一身,可保护您的宝贵数据,并实现无中断可用性。

    硬件功能

    各个阵列凭借以下功能实现企业级可用性:

    • 双主动控制器、完全冗余 I/O 路径和自动化故障转移
    • 电池后备缓存,在断电时将数据存入闪存
    • 广泛监控诊断数据,可提供全面的故障隔离,简化意外事件的分析,以便及时解决问题
    • 主动修复,有助于在最短时间内使系统恢复最高性能

    E5560 背面图显示了冗余控制器、电源和散热风扇。

    E5560 背面图,显示了双控制器、电源和散热风扇。在 DE6600 磁盘架中,控制器由用于提供 SAS 连接的环境服务模块取代。

    图 5) E5560 背面图,显示了双控制器、电源和散热风扇。在 DE6600 磁盘架中,控制器由用于提供 SAS 连接的环境服务模块取代。

    AutoSupport
    NetApp 几乎从一开始就在 FAS 产品系列中提供了 AutoSupport™ 工具 。事实证明,在 FAS 系统上,AutoSupport 工具可提高存储可用性,并将优先级为 1 的支持案例数量减少多达 80%。

    该功能现已扩展到 E 系列,包括全新的 E5500。AutoSupport 通过跟踪配置、性能、状态和异常数据,改善客户服务并加速解决问题。启用 AutoSupport 后,将根据意外事件或时间发送消息(每周一次、每天一次或采用其他频率)。

    在线管理

    可在 E 系列系统保持在线状态(可进行各种数据读写访问)时执行所有管理任务。这样一来,您便可更改配置和执行维护,而不会中断应用程序 I/O 或安排计划内停机。

    高级调整

    E 系列具有高级调整功能,性能优化毫不费力。我们处理高性能计算和其他要求苛刻的应用程序的存储已有很长一段时间,因而深知哪些功能需要可调。您可调整任何属性来满足特定应用程序需求。例如,如果您最初将某个卷配置为使用 RAID 5,但是后来觉得 RAID 10 更适合您的应用程序,您可无中断地动态转换卷。

    图形性能工具可从多个角度为您呈现阵列 I/O 活动。能够实时查看数据有助于您做出更明智的决策。

    数据保护

    E 系列可提供灵活的数据保护和灾难恢复架构,包括多项企业级功能,例如:

    • 高速且高效的快照 — 帮助您在几秒内快速保护数据,通过只存储发生更改的数据块来减少存储消耗
    • 同步镜像 — 实现零数据丢失业务关键型数据保护
    • 异步镜像 — 实现长距离保护并满足企业要求

    动态磁盘池 (DDP)

    E 系列具备两项非常适合事务导向型工作负载的功能,分别是动态磁盘池和 SSD 缓存。(SSD 缓存将在下一节介绍。)

    动态磁盘池可提高数据保护水平、提供更稳定一致的事务处理性能,并改善 E 系列系统的多功能性。DDP 可以在整个驱动器池中动态分发数据、备用容量和奇偶校验信息。DDP 采用一种智能算法(七项专利正在申请中)来确定使用哪些驱动器存放数据,并根据需要动态重新创建和重新分发数据,以维持数据保护和统一的分发。

    重建期间性能稳定一致

    DDP 可最大限度地减轻磁盘重建期间会发生的性能下降,重建速度比传统 RAID 快多达八倍。这意味着存储系统以最佳性能模式运行的时间更长,最大限度地提高应用程序工作效率。

    重建时间较短还可降低某个磁盘重建期间又一个磁盘发生故障的可能性,防止发生不可恢复的介质错误。多个驱动器发生故障的条带将优先重建。

    总的来说,DDP 可明显改善数据保护。池越大,保护越强。

    DDP 工作原理

    使用传统 RAID 时,如果某个磁盘发生故障,将根据一个热备用驱动器上的奇偶校验信息重新创建数据,由此造成瓶颈。使用 RAID 组的所有卷都会受到影响。而如果使用 DDP,每个卷的数据、奇偶校验信息和备用容量分布在池内的所有驱动器中。某个驱动器发生故障时,将在整个磁盘池中重新构建数据,因而任何一个磁盘都不会成为瓶颈。

    动态磁盘池中的某个磁盘发生故障时,将在整个池中执行重建操作。重建速度提高多达八倍。

    图 6) 动态磁盘池中的某个磁盘发生故障时,将在整个池中执行重建操作。重建速度提高多达八倍。

    提高多功能性

    DDP 提供了灵活的磁盘池大小调整功能来优化磁盘架利用率。实施磁盘池的方式有多种。如果为所有卷实施一个池,可最大限度地提高简单性、数据保护和利用率。如果实施包含一个卷的小型池,可最大限度地提高需要最大带宽的应用程序以及集群文件系统的性能。您可创建多个池来满足不同的要求,也可将传统 RAID 和 DDP 混合使用。

    SSD 缓存

    SANtricity® SSD Cache 旨在提高事务性工作负载的随机 I/O 操作性能,类似于 FAS 系统中使用的 Flash Pool™ 智能缓存。SSD 缓存可实时自动地将数据块缓存到 SSD 上,而无需策略引擎或计划数据迁移。缓存下限为一个 SSD 驱动器的容量,上限为每个 E 系列阵列 5 TB。E 系列系统上的任何或所有卷均可共享 SSD 缓存。

    SSD 缓存在设计上实现了以下几项优化,可为高性能应用程序提供更高的灵活性:

    • 缓存块大小可从 2 KB 调整到 8 KB。内部测试表明,适当调整后 E 系列缓存速率可提高多达 500%。对于数据分析等工作集频繁变化的应用程序,这一点尤为重要。
    • 新写入数据可立即缓存到 SSD 上,也可只写入 HDD。某些应用程序往往在写入后很快回读数据。而其他一些应用程序先写入数据,直到很久以后才会回读数据。在这种情况下,缓存写入数据就会造成浪费。根据应用程序的读写特点优化缓存可最大限度地增加 SSD 上的可用空间。/li>

    对采用 SANtricity SSD Cache 的工作负载进行的测试表明,与未采用缓存的相同阵列相比,IOPS 提高多达 700%。

    结论

    全新 E5500 和 E 系列中的其他系统都非常适合大数据、分析和 HPC 应用程序,可为其提供所需的专用存储,以最小的占用空间提供最大的带宽。E5500 的性能比上一代系统提高了一倍,在性价比、每个磁盘轴的性能等方面确立了新标准。E 系列可提供经实践检验的可靠性、可用性和适用性,以及简化的管理、调整和高级数据保护功能。动态磁盘池和 SSD 缓存可帮助您优化生成随机 I/O 的事务导向型工作负载的性能。

     对 E 系列有任何见解?

    请在 NetApp 社区中在线提出问题、交流观点、分享看法。

    Michael Jastad,NetApp 高级技术营销 工程师

    Michael 的职业生涯始于军事工作,当时他是驻那不勒斯的 NATO 密码破译家,这段经历促使他攻读了计算机科学专业的学位。大学毕业后,他曾在多家公司就任工程设计职位,包括 Fujitsu、Pyramid Technologies、Sequent Computers 和 IBM 等。在 IBM 任职期间,他从事 Tivoli 产品系列的工程设计工作。他后来加入 LSI,先后担任过开发人员、HPC 技术专家和解决方案架构师,而后随着 E 系列的收购加盟 NetApp。他目前的职责包括设计可为客户和合作伙伴提供帮助的最佳实践,并撰写有关 E 系列解决方案的白皮书等。

    Tech OnTap
    立即订阅
    Tech OnTap 每月发布一次,为用户提供 IT 见解,以及对实际应用的最佳实践、技巧和工具、幕后技术访谈、演示、同行评论等的独家访问。

    访问 NetApp 社区中的 Tech OnTap,立即订阅。

    Explore
    Explore
    了解关于 E 系列的更多信息

    要开始了解 E 系列吗?请访问 netapp.com/cn/,了解有关各种 E 系列平台的最新信息:

    Explore
     
    TRUSTe
    联系我们   |   如何购买   |   反馈   |   招聘  |   订阅   |   隐私政策   |   © 2013 NetApp