菜单

精简克隆:使用 FSx for ONTAP 加速开发并降低成本

目录

分享该页面

Yifat Perry
Yifat Perry

在 IT 领域,您经常需要数据集的额外副本,例如,在进行应用程序开发和测试 (DevTest) 以及配置新的虚拟机时。然而,创建这些副本说起来容易做起来难。

数据克隆面临一些重大挑战,尤其是在处理大型数据集时。创建相关数据的副本可能非常耗时,并且可能导致存储空间扩张、成本增加、性能下降和流程开销。所有这些都会增加您的整体上市时间,从而影响您的盈利。

您的开发不能等那么久。Amazon FSx for NetApp ONTAP 提供作为第一方 AWS 服务提供的内置数据管理功能,可帮助您克服这些挑战。

继续阅读以了解更多信息,或使用以下链接跳转:

为什么复制数据集很重要(以及复制数据集的难点)

众所周知,数据是组织最重要的资产之一。但如何使用这些数据才是关键所在。鉴于数据的重要性,您绝对不能篡改它。为了正确使用您的数据,您需要一个“黄金副本”— 一个与您的数据集完全相同的版本,可作为您可以反复重新创建的测试平台环境。黄金副本可确保主数据集在测试中安全无虞,并且您可以在不影响生产的情况下使用该副本进行测试。

此类副本发挥作用的两个最主要领域是开发流程和创建新环境。

对于开发测试 (DevTest),一个重要指标是每小时可以针对代码库运行多少个测试。运行的测试越多,敏捷性就越高,因此代码库的进展速度就越快。有些测试需要运行数百次,涉及数百个副本。

数据副本也广泛用于灾难恢复 (DR) 环境测试,这涉及使用数据副本在主数据位置之外恢复应用服务。数据副本的其他常见用例包括数据库刷新、探索性数据分析、面向媒体和娱乐 (M&E) 的高性能计算、分析以及人工智能。

但是,出于多种原因,为这些目的创建副本可能颇具挑战性。

  • 复制数据需要时间。要创建可以安全测试的数据版本,您需要创建黄金副本的副本。传统上,这是一个耗时的过程。根据数据集的大小,创建所需的副本可能会占用大部分测试运行时间。这会限制每小时的测试数量,进而延迟发布。
  • 存储使用量和成本快速增加。由于数据副本完全复制原始数据集,因此每个副本都会使您的存储消耗加倍,并增加计算和网络资源。开发测试流程可能需要创建许多(有时是数百个)这样的副本,从而增加您的成本。此外,您的开发人员和管理员将投入大量宝贵的管理时间和精力来处理这些副本。
  • 延迟上市时间。推动新版本发布是应用保持敏捷性和竞争力的关键。如果您的发布计划因过长且复杂的复制机制而陷入困境,那么您就无法做到这一点。
  • 性能问题。在多用户或多应用程序环境中访问和更新数据副本可能会导致资源争用,进而造成性能问题。
  • 运维开销。管理多个数据副本是一件复杂的事情并且容易出错。需要精心规划,确保克隆的一致性并保持最新,但这会增加运营开销。

处理数据副本的挑战相当大,但 NetApp 和 AWS 已合作提供可写精简克隆副本的解决方案:Amazon FSx for NetApp ONTAP。

使用 FSx for ONTAP 克隆数据有一种更有效的方法

Amazon FSx for NetApp ONTAP 具有内置数据克隆功能,该功能由 NetApp® FlexClone® 技术提供支持。此功能允许您创建数据卷的即时时间点本地副本 — 这些副本可写入且占用极少的存储空间。

这些“精简”克隆使您能够更快地构建测试环境、刷新数据库等,并且成本更低。

FSx for ONTAP 克隆的工作原理

FSx for ONTAP 使用 FlexClone 技术创建高度节省空间的可写副本。其工作原理如下:

    • 您可以即时创建卷、LUN 和文件的本地可写副本。FSx for ONTAP 创建的即时数据卷副本利用现有 NetApp Snapshot 副本之上的虚拟层。该快照副本充当黄金副本,并且只需要极少的元数据。克隆副本独立于主副本创建,这使得克隆过程极其节省空间。
70351420
    • 克隆卷的更新独立于父卷。克隆副本与其父卷共享所有相同的数据块,并且仅在数据发生变化时才会消耗额外的存储空间。数据更改以 4K 数据块为增量进行更新。

      因此,克隆对使用生产数据卷的应用程序不会产生性能影响。如果需要,您还可以将克隆卷从主副本中拆分出来并独立使用,但这需要额外的磁盘空间。

      当您克隆与生产环境对应的灾难恢复卷以进行测试或其他用途时,SnapMirror® 功能会持续工作,将数据复制到克隆卷的父卷,同时您的开发测试团队可以继续处理这些克隆卷。
Picture1 Jan 18 2024 12 55 29 9824 PM
  • 克隆节省空间,从而降低成本。以 DevTest 的 100GB 生产数据库为例。通常,这需要一个完整的镜像,然后需要多个副本供开发人员和测试人员使用。如果假设每种类型都需要三个,那么所需的总存储空间(包括生产数据库的存储空间)为 800GB。

    即使为了避免影响生产存储而维护数据的完整镜像副本,使用 FlexClone 进行开发测试副本也能将存储消耗降低至 260GB。这将使所需的总存储量减少 67%,并相应降低成本。详细了解如何确定 FlexClone 卷所用空间
  • 克隆的性能开销较低。由于克隆对存储的影响几乎为零,因此您无需担心频繁使用更新的生产数据刷新它们。这意味着您始终能够针对当前数据而不是陈旧数据进行测试。

    克隆还允许您在不影响生产环境的情况下进行测试。测试完成后,您只需删除克隆镜像,并在几秒钟内创建一个新的干净克隆镜像即可。

    您还可以使用 API 自动化克隆过程,并将其与您的 CI/CD(持续集成和持续部署)流水线集成。这种方法避免了前面讨论过的 DevTest 克隆难题。

使用 FSx for ONTAP 的 FlexClone 功能可以极大地提高开发和测试能力。如果您能够更快地进行测试,那么发布版本的速度也会更快。

开发流程如何从使用 FSx for ONTAP 进行数据克隆中受益

让我们来看看 FSx for ONTAP 数据克隆可以实现哪些功能。

克隆副本至关重要
  • 即时创建的开发环境可加快产品上市速度。 借助 FlexClone 功能,可以即时创建生产环境的副本。使用 FlexClone 的开发人员可以减少等待副本的时间,从而将更多时间投入到实际工作中,因为克隆的创建和清理速度非常快。这反过来又能提高开发团队的敏捷性、生产力并加快产品上市速度。
  • 节省成本。由于精简克隆占用的存储空间极小,因此它们在 AWS 中不会产生太多额外成本。
  • 快速环境刷新。由于 FSx for ONTAP 会即时创建数据克隆,因此您可以在需要时使用生产环境数据刷新开发测试环境。这种刷新速度让您可以更频繁地使用最新数据进行测试。
  • 零影响测试。FlexClone 允许您在不危及生产环境或主数据集的情况下执行测试。测试完成后,您只需删除克隆并在几秒钟内生成新的克隆即可。此功能可降低开销并加快开发流程。

一家大型游戏即服务提供商如何使用 FSx for ONTAP 克隆加速开发

这家游戏开发商和游戏即服务提供商推出了一些当今最受欢迎的游戏,全球数亿玩家通过内部网络连接。迁移到 FSx for ONTAP 对该公司实现这一切的方式产生了重大影响。

这家游戏公司希望加快其在 AWS 上的构建农场运营的开发周期。由于游戏产品是实时的,因此需要不断进行短期发布。AWS提供了更强大的计算能力和可扩展性,使每日构建数量翻了一番。通过使用 FSx for ONTAP 作为存储层,该公司能够实现更多目标:

  • 将源代码传输到新实例的时间从数小时缩短到数分钟。以前,创建数据副本时必须停止代码工作,这会减慢整个 CI/CD 流程的速度。借助 FSx for ONTAP 的精简克隆,可以立即创建新副本并轻松共享。
  • 降低大规模代码库测试的存储成本。开发过程中有数百个实例在并行运行测试。FlexClone技术可以创建零容量成本的数据克隆,而无需为每个测试副本复制整个数据卷并以全价存储它们。最终节省的成本非常可观。
  • 消除了潜在的停机时间。借助 FSx for ONTAP 内置的多可用区 (multi-AZ) 高可用性,数据存在于两个节点中,并在两个独立的可用区中保持同步。即使一个可用区发生中断,构建过程也能继续进行而不会中断,因为开发人员仍然可以访问未受影响可用区中 FSx for ONTAP 节点上存储的数据。

底线:加快开发速度,降低成本

开发周期对存储层的要求可能会导致高昂的成本和进度延迟。借助 Amazon FSx for NetApp ONTAP 精简克隆,您不仅可以获得即时、性能中性的克隆,还可以避免在创建副本时支付额外的存储容量费用。

别让数据拖慢您的速度。让 FSx for ONTAP 的精简克隆功能为您节省时间和金钱。

Drift chat loading