NetApp Tech OnTap NetApp Logo NetApp Logo
NetApp Tech OnTap
     
NetApp E-Series 를 통해 성능 장애 해결
Michael Jastad
Michael Jastad
선임 기술 마케팅 엔지니어, NetApp

2013년 3월, NetApp은 E-Series 제품군에 새로 추가된 NetApp® E5500을 발표했습니다. 이 제품은 빅데이터 및 고성능 컴퓨팅(HPC)을 위한 업계 최고의 성능, 효율성 및 안정성을 제공하도록 설계되었습니다. E5500은 경쟁사의 시스템에 비해 운영 비용과 설치 공간을 절반으로 줄여 가용성이 높은 대용량 애플리케이션 워크플로우에 대한 인프라를 구축합니다.

E-Series는 2011년에 NetApp이 LSI로부터 Engenio 라인을 인수하면서 NetApp 제품 포트폴리오에 포함되었습니다. E5500은 현재 세계에서 두 번째로 큰 슈퍼컴퓨터로 평가되는 Lawrence Livermore National Labs의 Sequoia 슈퍼컴퓨터와 같이 전 세계에서 가장 복잡한 컴퓨팅 환경을 포함하여, 65만 대 이상이 구현된 스토리지 시스템의 검증된 레거시를 기반으로 구축되었습니다.

모든 E-Series 모델은 고성능 전용 워크로드 스토리지로서 하둡, 비디오 감시, 지진 데이터 처리 등과 같은 데이터 집약적인 애플리케이션(data-intensive application)과 빅데이터 및 고성능 컴퓨팅 애플리케이션에서 사용하도록 설계되었습니다. E-Series는 NetApp 및 채널 파트너를 통해 구입할 수 있으며 SGI 및 Teradata와 같은 OEM을 통해서도 E-Series 모델의 브랜드 버전을 구입할 수도 있습니다.

NetApp E-Series는 전용 워크로드를 위해 특별히 제작되었습니다.

그림 1) NetApp E-Series는 전용 워크로드를 위해 특별히 제작되었습니다.

이 기사에서는 E5500의 성능을 설명하고 전체 E-Series 제품군을 간략하게 안내하며 DDP(Dynamic Disk Pool), SSD Cache 등과 같은 주요 기능을 소개합니다.

획기적인 E5500 성능

3월에 발표 된 E5500은 E-Series의 새로운 주력 시스템으로 자리 잡았습니다. 요구 사항이 다양한 빅데이터 및 HPC 요구사항까지 모두 충족하도록 설계된 E5500은 보다 우수한 성능 및 고밀도를 제공합니다. 8U/120 드라이브 구성을 사용하는 단일 E5500에서 최대 12GB/sec의 읽기 성능을 제공합니다. 즉, 작은 설치 공간에서 엄청난 성능을 발휘합니다.

여러 빅데이터 및 HPC 시스템에서 대량의 데이터를 최대의 처리 속도로 마이그레이션해야 하기 때문에, E5500과 같은 스토리지 시스템은 IOPS 대신 대역폭 관점에서 성능이 측정되는 경우가 많습니다.Storage Performance Council의 SPC-2 벤치마크 는 이 분야에서 가장 널리 사용됩니다. Storage Performance Council 웹 사이트에 따르면,

SPC-2는 대용량 데이터를 순차적으로 마이그레이션해야 하는 비즈니스 크리티컬 애플리케이션을 실행하는 동안 스토리지 서브시스템의 성능을 증명할 수 있도록 설계된 3가지 워크로드로 구성되어 있습니다. 이러한 애플리케이션의 특징은 대규모 I/O가 하나 이상 동시에 순차적으로 발생한다는 점입니다. 3가지 SPC-2 워크로드가 아래에 설명되고, 각 워크로드를 대표하는 애플리케이션의 예도 소개됩니다.

  • 대용량 파일 처리: 과학 컴퓨팅, 대규모 재무 처리 등과 같이 1개 이상의 대용량 파일을 단순하게 순차적으로 처리하면 되는 광범위한 분야의 애플리케이션이 해당됩니다.
  • 대용량 데이터베이스 쿼리: 대용량 관계형 테이블의 스캔 또는 조인을 포함하는 애플리케이션(예: 데이터 마이닝 또는 비즈니스 인텔리전스를 위해 실행되는 애플리케이션)이 해당됩니다.
  • 주문형 비디오: 디지털 필름 라이브러리에서 가져와서 구독자 커뮤니티에 개별화된 비디오 엔터테인먼트를 제공하는 애플리케이션이 해당됩니다.

NetApp OEM 파트너인 SGI는 최근에 SPC-2 벤치마크를 사용하여 NetApp E5500 기반의 브랜드 버전인 SGI InfiniteStorage 5600의 성능을 측정했습니다. SGI SPC-2 제출서에 입증된 성능을 경쟁사에서 게시한 SPC-2 수치와 비교해 보면 E5500은 가격 대비 성능이 가장 우수하고 대역폭 단위당 비용이 가장 낮습니다(SPC-2는 MBps 단위로 대역폭 측정). 또한 E5500은 스핀들당 2.5배의 성능을 제공합니다(그림 2 참조).

SPC-2 벤치마크의 디스크 스핀들당 성능 면에서 뚜렷한 우위를 보이는 E5500

* 2011년 이후 총 가격 50만 달러 이하 시스템에 대한 성능 SPC-2 발표 기준

그림 2) SPC-2 벤치마크의 디스크 스핀들당 성능 면에서 뚜렷한 우위를 보이는 E5500

E5500은 내부 PCIe Gen 3.0 x8 버스를 사용하여 이러한 획기적인 성능을 제공할 수 있습니다. E5500은 하드웨어 및 소프트웨어 RAID 엔진을 모두 사용할 수 있어, 디스크에서 매우 효율적으로 데이터를 스트리밍하고 방대한 양의 I/O를 처리할 수 있습니다. SAS 확장 포트는 최대 48Gb/s의 성능을 제공하고 각 컨트롤러에서 모든 드라이브 포트에 액세스할 수 있습니다.

E5500은 보다 적은 수의 디스크에서 더 높은 성능을 발휘하여 매우 효율적입니다. E5500은 스핀들당 처리량뿐만 아니라 설치 공간 및 전력 단위(와트)당 처리량도 가장 우수합니다. 단일 랙에서 최대 10대의 E5500 스토리지 시스템과 600개의 드라이브를 지원할 수 있습니다. 또는 위에서 설명한 SPC-2 테스트 환경을 위해 구성된 5x120 드라이브 시스템을 지원할 수 있습니다.

E5500은 광대역 워크로드용으로 가장 많이 구현되지만 트랜잭션 성능도 매우 우수합니다. 15K 드라이브를 사용하는 경우, E5500은 4K 랜덤 읽기에서 최대 15만 개의 IOPS를 처리할 수 있습니다. IOPS와 대역폭 성능이 모두 탁월한 E5500은 성능이 중요한 워크로드를 광범위하게 처리하는 데 적합합니다.

E-Series 제품군

전체 E-Series 제품군은 E5500, E5400 및 E2600와 같이 3가지 스토리지 시스템으로 구성되어 있습니다. 사전 구성된 E-Series 솔루션은 Lustre, 하둡, 감시, 미디어 콘텐츠 관리 등과 같은 특정 워크로드에 사용할 수 있습니다.

  • E2600은 높은 가격 대비 성능, 안정성 및 사용 편의성을 제공하도록 설계된 엔트리 레벨 E-Series 시스템이며 트랜잭션 처리, 메일, 의사결정 지원 등과 같은 워크로드를 지원하는 데 이상적입니다. 또한 E2600은 Lustre와 같은 클러스터링된 파일 시스템을 위해 메타데이터 스토리지를 제공하도록 구현되는 경우가 많고 E5400 및 E5500 시스템은 Object 스토리지를 제공합니다.
  • 6GB/sec 성능, 우수한 용량 및 풍부한 기능셋을 제공하는 E5400은 지난 몇 년간 E-Series의 주력 시스템이었으며 하둡, 비디오 감시, FMV(Full-Motion Video), 석유 탐사, 데이터 마이닝, 다양한 정부 및 과학 워크로드를 비롯한 다양한 빅데이터 및 HPC 애플리케이션을 위해 구현되었습니다. E5400은 트랜잭션 워크로드에도 적합합니다.
  • E5500은 E5400에 비해 성능이 최대 2배까지 향상되어 높은 대역폭을 요구하는 데이터 집약적인 워크로드의 처리 속도를 극대화합니다.

여러 기업에서 그 우수성을 인정한 SANtricity® 관리 소프트웨어를 통해 최적의 시스템 조정 및 최대의 성능과 활용률을 달성할 수 있습니다. 또한 SSD Cache, DDP(Dynamic Data Pool)(이후 자세히 설명) 등과 같은 기능을 제공하고 성능이 더욱 향상되었습니다. 이중화 I/O 경로가 있는 듀얼 액티브 컨트롤러, 자동 페일오버, 가용성을 보호하기 위해 완전 이중화된 핫스왑 가능 구성요소 등이 기본으로 제공됩니다.

3개의 E-Series 스토리지 시스템은 성능, 용량 및 연결 옵션으로 구별됩니다.

표 1) E2600, E5400 및 E5500 비교

 E2600E5400E5500
최대 성능(읽기)4GB/sec6GB/sec12GB/sec
최대 디스크192384384
최대 용량576TB1152TB1152TB
호스트 연결6Gb SAS
8Gb FC
10Gb iSCSI
1GB iSCSI
6Gb SAS
8Gb FC
10Gb iSCSI
40Gb InfiniBand
6Gb SAS
40Gb InfiniBand

이러한 시스템의 성능은 일반적으로 IOPS 대신 GB/sec 단위로 측정됩니다. 이는 E-Series 공간에 있는 중요 애플리케이션에서 많은 양의 데이터를 최대 처리 속도로 마이그레이션해야 하기 때문입니다.

각 E-Series 컨트롤러는 관리를 위한 이중 이더넷 연결 기능을 제공합니다. E5500은 각 컨트롤러에 확장을 위한 이중 SAS 포트가 있으며 E2600 및 E5400은 컨트롤러당 SAS 포트가 하나씩 있습니다. 호스트 카드는 E2600 및 E5400에서는 옵션이고 E5500에서는 필수입니다.

E5500 컨트롤러 후면 뷰

그림 3) E5500 컨트롤러 후면 뷰

E-Series 모델 및 확장 옵션

각 스토리지 시스템은 3개의 개별 모델을 포함합니다(표 2 참조).

표 2) E-Series 모델의 구성

모델 구성
E5560, E5460, E2660 4U/60 디스크 구성은 고용량 3.5" 7.2K HDD, 고성능 2.5" SFF 10K HDD 및 2.5" SFF SSD를 지원합니다.
E5524, E5424, E2624 2U/24 디스크 구성에서는 2.5" SFF 드라이브(SSD 및 10K HDD)를 사용하여 전력량 대비 성능이 우수하며 랙 장치당 대역폭이 큽니다.
E5512, E5412, E2612 2U/12 디스크 구성은 3.5" LFF 15K 및 7.2K HDD를 사용하며 가장 경제적인 엔트리 가격으로 제공됩니다.

표 3에 표시된 대로 3개의 디스크 쉘프를 추가하여 기본 시스템을 확장할 수 있습니다.

표 3) E-Series 확장 옵션

DE6600DE5600 DE1600
DE6600DE5600DE1600
4U/60 디스크 쉘프는 1단에 12개의 디스크를 넣을 수 있는 서랍형으로 디자인되어 있어, 업계 최고의 용량 고밀도를 제공합니다. 2U/24 디스크 쉘프는 저전력 2.25"디스크를 사용하고 IOPS 성능 및 높은 성능 집적도를 제공합니다. 2U/12 디스크 쉘프는 고성능 15K 디스크와 고용량의 디스크로 구성되어 있습니다.

동종 또는 이기종 E-Series 시스템 (표시된 각 구성은 120개의 디스크 드라이브를 포함함)

그림 4) 동종 또는 이기종 E-Series 시스템 (표시된 각 구성은 120개의 디스크 드라이브를 포함함)

E-Series 안정성, 가용성 및 서비스 가능성

E-Series는 현장에서 검증된 기술과 최고의 안정성, 가용성 및 서비스 가능성 특징을 결합하여 중요한 데이터를 보호하고 중단 없는 가용성을 제공합니다.

하드웨어 기능

각 시스템은 다음 기능을 통해 엔터프라이즈급 가용성을 제공하도록 설계되었습니다.

  • 듀얼 액티브 컨트롤러, 완전 이중화 I/O 경로 및 자동 페일오버
  • 정전 시 플래시로 전환되는 배터리 지원 캐쉬 메모리
  • 종합적인 장애 격리를 제공하고 예상치 못한 이벤트의 분석을 단순화하여 시기적절한 문제를 해결할 수 있도록 지원하는 포괄적인 진단 데이터 모니터링
  • 최소 시간에 최적의 시스템 성능을 실현할 수 있도록 지원하는 능동적 보수

E5560의 후면 뷰는 이중화 컨트롤러, 전력 및 냉각을 보여줍니다.

이중 컨트롤러, 전력 및 냉각 팬을 보여주는 E5560 후면 뷰 DE6600 디스크 쉘프에서는 컨트롤러가 SAS 연결을 제공하는 Environmental, Service, Modules로 교체됩니다.

그림 5) 이중 컨트롤러, 전력 및 냉각 팬을 보여주는 E5560 후면 뷰 DE6600 디스크 쉘프에서는 컨트롤러가 SAS 연결을 제공하는 Environmental, Service, Modules로 교체됩니다.

AutoSupport

NetApp은 일찍이 FAS 제품군에 AutoSupport™ 툴을 제공했습니다. FAS 시스템에서 AutoSupport 툴은 스토리지 가용성을 향상하고 서비스 장애에 상응하는 최상위 등급의 장애를 최대 80%까지 줄여준 것으로 드러났습니다.

이제 이 기능이 새로운 E5500을 포함하여 E-Series로 확장되었습니다. AutoSupport는 구성, 성능, 상태 및 예외 데이터를 추적하여 고객 서비스를 개선하고 문제 해결 시간을 단축합니다. AutoSupport를 사용하면 이벤트 또는 시간(매주, 매일, 기타)을 기반으로 메시지가 전송됩니다.

온라인 관리

완전한 읽기/쓰기 데이터 액세스를 통해 E-Series 시스템을 온라인 상태로 유지하는 동시에 모든 관리 작업을 수행할 수 있습니다. 애플리케이션 I/O를 중단하거나 계획된 다운타임을 스케줄링하지 않고 구성 변경 및 유지보수를 수행할 수 있습니다.

고급 튜닝

E-Series에는 고급 튜닝 기능이 포함되어 있으므로 최소의 노력으로 성능을 극대화할 수 있습니다. NetApp은 오랫동안 고성능 컴퓨팅 및 기타 다양한 요구 사항을 가진 애플리케이션을 위한 스토리지를 제공했기 때문에 튜닝이 필요한 부분을 정확하게 파악하고 있습니다. 특정 애플리케이션 요구사항에 맞게 특성을 조정할 수 있습니다. 예를 들어 처음에 RAID 5를 사용하도록 볼륨을 구성했지만 나중에 RAID 10이 애플리케이션에 더 적합하다고 판단하는 경우 중단 없이 볼륨을 변환할 수 있습니다.

그래픽 성능 툴은 시스템 I/O 작업을 다양한 관점으로 보여주므로, 데이터를 실시간으로 표시하여 보다 정확한 정보에 기반하여 결정을 내릴 수 있도록 지원합니다.

데이터 보호

E-Series에서는 다음과 같은 엔터프라이즈급 기능을 포함하는 유연한 데이터 보호 및 재해 복구 아키텍처를 제공합니다.

  • 고속의 고효율 Snapshot: 변경된 블록만 저장하여 스토리지 소비율을 줄이고 몇 초 만에 데이터를 보호할 수 있습니다.
  • 동기식 미러링: 비즈니스 크리티컬 데이터를 손실 없이 보호합니다.
  • 비동기식 미러링: 장거리 보호 기능을 제공하고 비즈니스 요구사항(SLA)을 준수합니다.

DDP(Dynamic Disk Pool)

E-Series에는 트랜잭션 지향 워크로드에 적합한 2가지 기능인 DDP(Dynamic Disk Pool) 및 SSD Cache가 포함되어 있습니다. SSD Cache는 다음 섹션에서 설명합니다.

DDP는 데이터 보호 레벨을 강화하고 보다 일관된 트랜잭션 성능을 제공하며 E-Series 시스템의 다용성을 향상합니다. DDP는 드라이브 풀 전반에서 데이터, 여유 용량 및 패리티 정보를 동적으로 분산합니다. 지능형 알고리즘(7개 특허 출원 중)을 통해 데이터 배치에 사용되는 드라이브를 결정하고 필요에 따라 데이터를 동적으로 다시 생성하여 재분산하므로 데이터의 보호 및 일관된 분산을 유지할 수 있습니다.

리빌드 중에 일관된 성능 제공

DDP는 디스크 리빌드 중에 발생할 수 있는 성능 저하를 최소화하여 기존 RAID에 비해 리빌드 작업을 8배 빨리 완료할 수 있습니다. 즉, 스토리지가 보다 지속적으로 최적의 성능을 유지하면서 애플리케이션 생산성을 최대화할 수 있습니다.

짧은 리빌드 시간은, 디스크가 리빌드하는 동안 추가 디스크 오류의 발생 가능성을 감소시켜 주어 데이터를 보호해 줍니다. 드라이브 오류가 여러 개 있는 스트라이프를 우선적으로 재구성합니다.

전반적으로 DDP는 데이터 보호 기능을 크게 향상하며 풀 규모가 클수록 보호 레벨이 강화됩니다.

DDP 작동 방식

기존 RAID에서는 디스크 오류가 발생할 경우 단일 핫 스페어 드라이브의 패리티에서 데이터가 다시 생성되므로 병목 현상이 발생합니다. 따라서 RAID 그룹을 사용하는 모든 볼륨에서 문제가 발생합니다. DDP에서는 각 볼륨의 데이터, 패리티 정보 및 여유 용량이 풀 내의 모든 드라이브에서 분산되어 드라이브에 오류가 발생할 경우 디스크 풀 전체에서 데이터가 재구성되므로 단일 디스크에서 병목 현상이 발생하지 않습니다.

디스크에서 오류가 발생할 경우 재구성 활동이 풀 전체로 분산되는 DDP(Dynamic Disk Pool) 리빌드가 8배 더 빠르게 완료됩니다.

그림 6) 디스크에서 오류가 발생할 경우 재구성 활동이 풀 전체로 분산되는 DDP(Dynamic Disk Pool) 리빌드가 8배 더 빠르게 완료됩니다.

다용성 향상

DDP는 유연한 디스크 풀 싸이징을 제공하여 쉘프 활용률을 최적화하며, 다양한 방식으로 풀을 구현할 수 있습니다. 모든 볼륨을 위한 단일 풀을 구현하면 단순성, 보호 및 활용률을 최대화할 수 있고, 볼륨/풀이 1개인 것보다 작은 풀을 구현하면 고대역폭이 필요한 애플리케이션과 클러스터링된 파일 시스템의 성능을 극대화할 수 있습니다. 각종 요구사항에 따라 다양한 풀을 생성하고 기존 RAID 및 DDP를 혼합하여 사용할 수 있습니다.

SSD Cache

SANtricity® SSD Cache는 트랜잭션 워크로드를 위한 랜덤 I/O를 가속화하도록 설계되었으며 FAS 시스템에 사용되는 Flash Pool™지능형 캐슁과 유사합니다. SSD Cache는 SSD의 데이터 블록을 실시간으로 자동 캐슁하므로 정책 기반 관리 또는 예약된 데이터 마이그레이션이 필요하지 않습니다. 최소 캐쉬는 단일 SSD 드라이브이고 최대 캐쉬는 E-Series 시스템당 5TB입니다. SSD Cache는 E-Series 시스템의 일부 또는 전체 볼륨에서 공유할 수 있습니다.

SSD Cache는 고성능 애플리케이션을 위해 보다 뛰어난 유연성을 제공할 수 있도록 다양한 최적화 기능을 갖고 있습니다.

  • 캐쉬 블록 크기를 2K~8K 사이에서 조정할 수 있습니다. 내부 테스트를 통해 적절하게 조정된 E-Series 캐쉬는 최대 500% 더 빠르게 채워지는 것으로 드러났습니다. 이는 데이터 분석 등과 같이 working set이 자주 변경되는 애플리케이션에서 특히 중요합니다.
  • 새로 쓴 데이터를 SSD에 즉시 캐슁하거나 HDD에만 기록할 수 있습니다. 일부 애플리케이션에서는 데이터를 쓴 후에 다시 읽습니다. 일부 애플리케이션에서는 데이터를 쓰고 곧바로 다시 읽지 않습니다. 이 경우 쓰기 캐슁은 필요 없습니다. 애플리케이션의 읽기/쓰기 특성을 기반으로 캐쉬를 최적화하면 SSD에서 사용 가능한 공간이 최대화됩니다.

SANtricity SSD Cache를 사용하여 테스트한 워크로드는 캐쉬가 없는 동일한 시스템에 비해 IOPS가 최대 700% 향상됩니다.

결론

새로운 E5500과 나머지 E-Series 제품군은 최대의 대역폭을 제공하고 최소의 설치 공간을 차지하는 전용 스토리지를 필요로 하는 빅데이터, 분석 및 HPC 애플리케이션에 적합합니다. E5500은 이전 세대에 비해 2배 향상된 성능을 제공하며 가격 대비 성능, 디스크 스핀들당 성능 등이 보다 우수합니다. E-Series 제품군은 검증된 안정성, 가용성 및 서비스 가능성과 함께 단순한 관리, 조정 및 고급 데이터 보호 기능을 제공합니다. DDP(Dynamic Disk Pool) 및 SSD Cache를 사용하면 랜덤 I/O를 생성하는 트랜잭션 지향 워크로드를 위한 성능을 최적화할 수 있습니다.

 E-Series에 대한 의견이 있으십니까?

NetApp 온라인 커뮤니티에서 질문하고, 아이디어를 교환하며, 생각을 공유하십시오.

Michael Jastad 선임 기술 마케팅 엔지니어 NetApp

Michael은 나폴리 주둔 NATO군의 암호해독병으로 군 생활을 시작했으며 이것이 계기가 되어 컴퓨터 공학을 전공하게 되었습니다. 대학 졸업 후 Fujitsu, Pyramid Technologies, Sequent Computers 등에서 엔지니어링 업무를 맡았으며 IBM에서는 Tivoli 제품군을 담당했습니다. Michael은 LSI에서 개발자, HPC 기술자 및 솔루션 설계자로 재직했으며 NetApp에 입사하여 E-Series 제품군을 담당했습니다. 현재는 고객 및 파트너를 위한 모범 사례를 개발하고 E-Series 솔루션에 대한 백서를 작성하는 업무를 담당하고 있습니다.

Tech OnTap
구독 신청
Tech OnTap 은 IT 통찰력, 실제 모범 사례, 유용한 정보와 툴, 미공개 엔지니어링 인터뷰 기사, 데모, 동종 업계 평가 등의 다양한 정보를 매월 제공합니다.

지금 바로 NetApp 커뮤니티의 Tech OnTap 에 방문하여 구독 신청하십시오.

Explore
탐색
E-Series에 대해 자세히 알아보기

E-Series를 시작하시겠습니까? 각 E-Series 플랫폼에 대한 최신 정보를 확인하려면 NetApp.com을 방문하십시오.

Explore
 
TRUSTe
연락처   |   구매 방법   |   피드백   |   채용  |   구독   |   개인 정보 보호 정책   |   © 2013 NetApp