데이터 관리를 현대화하는 NetApp StorageGRID

현대의 IT 인프라는 특히 대량의 데이터를 관리할 때 유연하고 확장 가능하며 복원력이 있어야 합니다. NetApp IT는 조직과 고객의 증가하는 요구사항을 충족하기 위해 StorageGRID 사용을 발전시킴으로써 이 과제에 정면으로 맞섰습니다. 글로벌 파일 업로드 지원에서 Active IQ용 데이터 레이크 아키텍처 혁신에 이르기까지 StorageGRID는 데이터 인프라 전략의 초석이 되었습니다.

10여 년 전 StorageGRID를 처음 도입했을 때만 해도 조심스러운 조치였습니다. NetBackup 및 AltaVault를 사용하여 정적 ONTAP 데이터를 백업하는 것부터 시작했습니다. AltaVault가 종료된 후 SOX 보존 요구사항을 충족할 수 있는 환경을 유지했습니다. StorageGRID의 오브젝트 스토리지 기능은 곧 단순한 백업을 넘어 Splunk 로그, Git 리포지토리 및 Veeam VM 백업을 위한 안정적인 백엔드가 되었습니다.

현재 아키텍처에는 3가지 고유한 StorageGRID 환경이 포함되어 있습니다:

• Corp StorageGRID(내부 전용, 6PB, 67개 노드)
• DMZ StorageGRID(고객용, 6PB, 23개 노드)
• Active IQ용 베어 메탈 StorageGRID(6PB, 24개 노드)

이러한 환경은 보안 태세, 로드 밸런싱(Avi 또는 VM 게이트웨이 노드를 통해) 및 하드웨어 라이프사이클 관리를 신중하게 고려하여 여러 사이트에 배포됩니다. 

NetApp 지원팀의 반복적인 과제는 ONTAP 문제를 해결하기 위해 고객이 대용량 코어 파일(최대 2TB)을 안전하게 업로드하도록 지원하는 것이었습니다. 원래 브라우저 플러그인 기반 솔루션은 투박하고 오류가 발생하기 쉬웠으며 특히 미국 이외의 고객에서 자주 실패했습니다.

NetApp은 StorageGRID 및 주요 플랫폼 서비스를 사용하여 새로운 브라우저 기반 업로드 시스템을 설계했습니다.

• 멀티 파트 업로드를 통해 일시 중지/재개 기능과 더 빠른 전송을 지원합니다.
• 미리 서명된 URL은 안전한 세션 기반 액세스 권한을 부여합니다.
• CloudMirror는 보안을 손상시키지 않고 DMZ에서 내부 그리드로 업로드된 파일을 복제합니다.
• SNS(Simple Notification Service)는 파일이 업로드되면 즉시 시스템에 알려 자동화된 워크플로를 트리거하여 파일을 엔지니어링 도메인으로 이동합니다.
• Cloud Sync는 필요할 때 AWS S3에서 내부 StorageGRID 인스턴스로 파일을 전송합니다.

이 아키텍처는 안정성을 향상하고 전 세계로 확장할 수 있도록 지원했으며, 데이터 센터가 없는 지역에서는 AWS S3를 임시 업로드 플랫폼으로 활용했습니다. 데이터가 AWS에 도착하면 AWS 백본을 통해 미국으로 복제되어  StorageGRID로 신속하게 이전됩니다. 

그 결과, 플러그인, 방화벽 예외 또는 인프라 변경 없이 전 세계 고객에게 원활하고 안전한 업로드가 제공됩니다.

두 번째 주요 사용 사례는 Active IQ의 데이터 레이크를 대규모 Hadoop 기반 아키텍처에서 StorageGRID가 지원하는 Kubernetes 네이티브 Dreamio 플랫폼으로 마이그레이션하는 것이었습니다.

실제 수치로 살펴보면 다음과 같습니다.

• 컴퓨팅 리소스 60% 감소
• 스토리지 설치 공간 2PB 감소
• 쿼리 시간 10~20배 단축, 최대 쿼리 시간 45분에서 2.5분으로 단축

Hadoop 시스템에서 회수된 E-Series 스토리지 어레이를 사용하여 베어 메탈 StorageGRID 환경을 구축했습니다. 삭제 코딩(4+2) 및 Red Hat 9.4를 사용하여 성능, 복원력 및 유지 관리 용이성을 최적화했습니다.

NetApp IT와 StorageGRID의 여정은 레거시 인프라, 보안 제약사항, 진화하는 요구사항, 빠듯한 예산 등 고객이 직면한 과제를 반영합니다. 우리는 다음과 같은 사실을 배웠습니다.

• 플랫폼 서비스의 중요성 - CloudMirror 및 SNS와 같은 도구로 자동화와 유연성을 극대화합니다.
• 하이브리드 설계가 핵심 - 내부 그리드와 클라우드 네이티브 서비스의 균형을 유지함으로써 추가 비용 없이 도달 범위를 확장합니다.
• 재사용으로 ROI 가속화 – 하드웨어를 재사용하고 워크로드를 스마트하게 전환하여 혁신을 비용 효율적으로 유지합니다.

NetApp은 단순히 오늘을 위한 솔루션을 구축하는 것이 아니라 미래의 확장성과 민첩성을 위한 기반을 마련합니다.