NetApp StorageGRID 实现数据管理现代化

现代 IT 基础设施必须具有灵活性、可扩展性和弹性，尤其是在管理大量数据时。在 NetApp IT，我们正面迎接这一挑战，不断发展 StorageGRID 的使用，以满足我们的组织和客户日益增长的需求。从支持全局文件上传到为 Active IQ 转换我们的数据湖架构，StorageGRID 已成为我们数据基础设施战略的基石。

当我们首次推出 StorageGRID 时，这是一个谨慎的步骤。我们首先使用 NetBackup 和 AltaVault 备份静态 ONTAP 数据。AltaVault 停用后，我们保留了环境以满足 SOX 保留要求。StorageGRID 的对象存储功能很快被证明不仅仅是备份的理想选择—它已成为 Splunk 日志、Git 存储库和 Veeam VM 备份的可靠后端。

今天，我们的架构包括三个不同的 StorageGRID 环境：

• 公司 StorageGRID（仅限内部，6PB，67个节点）
• DMZ StorageGRID（面向客户，6PB，23个节点）
• 裸机 StorageGRID for Active IQ（6PB，24个节点）

这些环境跨多个站点部署，并仔细考虑安全态势、负载平衡（通过 Avi 或 VM 网关节点）和硬件生命周期管理。 

NetApp 支持反复遇到的一个挑战是使客户能够安全地上传大型核心文件（高达 2TB）以解决 ONTAP 问题。最初基于浏览器插件的解决方案笨重、易出错且经常失败，尤其是对于美国以外的客户。

我们使用 StorageGRID 和关键平台服务设计了一个新的基于浏览器的上传系统：

• 多部分上传允许暂停/恢复功能和更快的传输。
• 预签名 URL 授予基于会话的安全访问权限。
• CloudMirror 将上传的文件从 DMZ 复制到我们的内部网格中，而不会影响安全性。
• SNS (Simple Notification Service) 在文件上传后立即通知我们的系统，从而触发自动工作流程以将其移至工程领域。
• Cloud Sync 在需要时将文件从 AWS S3 传输到内部 StorageGRID 实例。

这种架构提高了可靠性，使我们能够在没有数据中心的地区利用 AWS S3 作为临时上传平台进行全球扩展。数据到达 AWS 后，将通过 AWS 骨干网复制到美国，并快速移动到 StorageGRID。 

结果如何呢？为全球客户提供无缝、安全的上传，无需插件、防火墙例外或基础设施更改。

我们的第二个主要用例涉及将 Active IQ 的数据湖从基于 Hadoop 的大规模架构迁移到由 StorageGRID 支持的 Kubernetes 原生 Dreamio 平台。

• 数字说明了这个故事：
• 计算资源减少了 60%
• 存储占用空间减少 2PB
• 查询时间提高了 10-20 倍，最大查询时间从 45 分钟缩短到 2.5 分钟

我们使用从 Hadoop 系统中回收的 E 系列存储阵列部署了裸机 StorageGRID 环境。我们使用擦除编码（4+2）和 Red Hat 9.4 对性能、弹性和可维护性进行了优化。

NetApp IT 使用 StorageGRID 的旅程反映了我们客户面临的挑战：传统基础架构、安全限制、不断变化的要求和紧张的预算。我们了解到：

• 平台服务很重要，CloudMirror 和 SNS 等工具可以释放自动化和灵活性。
• 混合设计是关键 - 平衡内部网格与云原生服务可以在不超额成本的情况下扩展覆盖范围。
• 重用可加快投资回报率 (ROI) - 重用硬件和智能转换工作负载可保持创新的成本效益。

我们不仅要为今天构建解决方案，还要为未来的可扩展性和敏捷性奠定基础。