菜单

随时随地更好地协作:使用Amazon FSx for NetApp ONTAP进行数据缓存

目录

分享该页面

Yifat Perry
Yifat Perry

当今不断扩大的数据资产和远程工作的分布式团队已经改变了对数据的需求。无论数据托管在何处,快速检索数据并在不同环境中对共享数据集进行有效协作都至关重要。

这种数据分布对于协调来说可能是一场噩梦,数据完整性、不兼容性和性能问题都会造成困难。组织需要找到方法来加速数据访问并促进数据敏捷性和协作,而不会面临这些挑战。

NetApp和 AWS 合作提供解决方案:使用Amazon FSx for NetApp ONTAP 。这篇文章探讨了 FSx for ONTAP的数据缓存功能,它有助于解决处理全球分散数据的挑战。

请继续阅读以了解完整详细信息,或使用这些链接跳至您感兴趣的部分:

分布式数据的复杂挑战

分布式数据给组织带来了一些需要克服的挑战:

  • 数据整合。当数据分散在不同位置时,您需要整合来自不同来源的数据。如果您不能将数据连贯地视为单个文件系统,那么您就无法有效地读取和写入数据,或者分析数据以从中获取任何有意义的商业价值。
  • 多个命名空间。不同来源的数据之间缺乏一致的命名空间,这增加了额外的复杂性。为了一致地访问和使用数据,您需要统一不同的命名约定和结构,但这个过程可能需要大量的努力。
  • 性能下降。让所有用户都可以使用数据可能会很困难,而且在此过程中性能也不会下降。用户距离数据集越远,他们遇到的延迟就越大。

    您需要在低延迟访问、优化带宽和成本之间取得良好的平衡。在不同环境和地区创建数据孤岛并不是解决方案,尽管它可以让本地用户更快地访问数据,但却会导致同步问题。
  • 数据复制。跨多个环境复制的数据需要保持一致且最新。最大的风险是复制过程中可能出现差异,这会导致数据完整性缺失。
  • 成本增加。边缘和云系统的分布式特性带来了一些与成本相关的挑战。您最终可能会在不同位置获得不同的完整数据副本——您必须为此付费。您需要考虑管理与数据传输和集中管理相关的成本。

处理分布式数据的复杂性可能极具挑战性。这就是 FSx for ONTAP可以提供帮助的地方。

使用 FSx for ONTAP进行数据缓存

FSx for ONTAP是 AWS 提供的完全托管存储服务,可提供值得信赖的NetApp ® ONTAP ®数据管理解决方案。

FSx for ONTAP配备数据缓存功能,可实现更快的数据访问以及跨多个环境的无缝实时协作。 FSx for ONTAP主要通过两种方式实现这一点:在边缘整合数据和在本地缓存数据的可写副本。

在边缘整合数据

FSx for ONTAP帮助企业整合非结构化数据,以获得高性能体验、运营效率和大规模协作NetApp全局文件缓存 (GFC) 技术。 FSx for ONTAP仅在相应位置缓存所需的数据,并使用服务器消息块 (SMB) / 通用互联网文件系统 (CIFS) 协议。它对用户来说是透明的,通过 GFC 进行协作就像使用本地文件一样。

GFC 可以通过在边缘位置提供具有分布式数据缓存的集中式存储解决方案来支持由内部ONTAP和 FSx for ONTAP系统组成的混合云架构。全球各地的用户都可以访问这一组数据,并且可扩展至 PB 级。

由于经常使用的数据被缓存,因此协作应用程序可以获得更好的性能。即使使用全局命名空间从多个位置访问数据,智能文件锁定功能也能维护数据完整性。

Picture1 2024年3月12日 12:01 20:29 下午NetApp全局文件缓存高级架构

远程位置完全可写的缓存数据

FSx for ONTAP可让您在远程位置创建可写的持久缓存,其中包含最新、最一致和最连贯的数据副本。这些稀疏填充的可写缓存卷可用于在同一系统或不同的系统上创建缓存,以便更快地访问数据。 NetApp FlexCache ®技术使这成为可能。

FlexCache1FSx for ONTAP中的FlexCache 。

可以通过网络文件系统 (NFS) 和 SMB/CIFS 访问缓存数据,这意味着您可以使用缓存数据,而无需以任何方式重新构建系统。这些数据在读取密集型环境中非常有用,因为数据由多个主机共享并且被多次访问。

为了优化缓存数据副本的大小,仅缓存客户端读取的数据。客户端可以安装任何卷以从多个位置访问相同的预填充的最新数据。缓存卷充当主机和数据源之间的临时存储位置,它存储经常访问的数据块,以便可以比从源获取更快地提供它们。

FlexCache2缓存副本指向源数据中的相关数据块,以优化副本的大小。

使用 FSx for ONTAP进行数据缓存的用例

使用 FSx for ONTAP进行数据缓存可以在多种情况下提供帮助:

  • 远程办公室或分支机构 (ROBO) 位置
  • 高性能计算 (HPC) 工作负载
  • 人工智能/机器学习 (AI/ML) 和深度学习 (DL) 用例
  • 云突发

使用 FSx for ONTAP和数据缓存的优势

借助 FSx for ONTAP,您可以获得满足所有数据缓存需求的低开销解决方案:

  • 快速访问远程数据。数据缓存使远程数据更接近用户,并且几乎不需要或根本不需要额外的架构要求。
  • 高性能。使用 FSx for ONTAP进行数据缓存可消除与访问全球数据相关的延迟挑战,同时不会影响数据完整性或质量。
  • 文件锁定。 FSx for ONTAP文件锁定机制可防止可能导致数据完整性问题的并行写入操作。
  • 零接触设置。 FSx for ONTAP可轻松保持所有不同环境中(包括缓存和原点)的数据集的一致性。
  • 数据保护和恢复能力。 FSx for ONTAP默认具有高可用性和弹性,使用单个或多个可用区域来维持正常运行时间。凭借其自动化的跨区域备份和灾难恢复功能,即使发生损坏或区域灾难,数据仍然可用。
  • 单一命名空间。 FSx for ONTAP解决了数据存储在多个位置时出现的命名空间问题。可以通过单个命名空间整合和访问数据,而无需任何基础设施整合。
  • 降低存储成本。使用 FSx for ONTAP进行数据缓存可以节省空间,因为它只缓存活动数据,而不是完整副本。此外,内置的 FSx for ONTAP存储效率功能可与智能文件缓存配合使用。这降低了存储和传输成本。

一家制造商如何在 AWS 上与 FSx for ONTAP合作 

一家使用 FSx for ONTAP数据缓存功能的公司是一家专注于生产印刷电路板 (PCB) 设备的欧洲制造商。其业务遍布全球 40 多个国家。

但由于云端数据分散在欧盟、美国和亚太地区,该公司遇到了延迟和生产力问题。分布在 ROBO 各个地点的团队无法就同一数据进行有效协作。

带有全局文件缓存的ONTAP FSx 解决了 ROBO 位置之间的延迟问题,并提供了其他一些优势:

  • 全局访问文件。与分布式文件系统命名空间 (DFS-N) 的集成保留了命名空间和访问控制列表 (ACL)。这意味着员工可以访问存储在全球中心的任何 FSx for ONTAP文件系统上的文件,就像这些文件存储在本地一样。
  • 文件锁定。此功能使公司的团队能够在共享项目文件上进行协作而不会产生冲突的更改,并提高了全球各地团队的工作效率。
  • 全面托管服务的便捷性。底层资源、软件更新和维护均由 AWS 处理,从而减轻了您的运营负担。同样,GFC 是一个简单的附加组件,不需要任何特殊的最终用户培训。
  • 成本节省源于几个因素:
    • FSx for ONTAP应用存储效率和冷数据分层,降低存储共享文件的总体成本。
    • 每个 GFC 实例仅缓存该边缘站点上经常访问的文件,并且每当文件发生更改时,仅传输更改的块。这种方法可以最大限度地减少数据流量和出口传输成本。
    • FSx for ONTAP文件共享使用经济高效的NetApp Snapshot 进行保护技术。您不需要在边缘站点实施额外的数据保护解决方案。

使用 FSx for ONTAP将您的数据和团队整合在一起

您的团队需要一种方法来跨整个数据资产进行协作,而不会遇到延迟或创建会增加成本并损害数据完整性的数据孤岛。对于多样化的数据资产,使用 FSx for ONTAP可以轻松做到这一点。

FSx for ONTAP使用由NetApp FlexCache和 GFC 技术支持的数据缓存功能,将数据缓存作为第一方 AWS 服务的无缝组成部分来提供。

构建可靠的分布式数据架构,让您的用户保持同步,并防止成本失控。

欲了解更多信息,请访问使用Amazon FSx for NetApp ONTAP缓存数据

Drift chat loading