菜单

什么是数据迁移?

淡紫色斜面方形
主题

数据迁移是指将数据从一个位置转移到另一个位置、从一种格式转换为另一种格式,或从一个应用程序移动到另一个应用程序的过程。这通常都是为数据引入新系统或移动到新位置的结果。推动数据迁移的业务因素通常是应用程序迁移或整合,在这种迁移或整合中,原有系统会被共享同一数据集的新应用程序所取代或增强。如今,在企业从内部基础架构和应用程序迁移到基于云的存储和应用程序来对企业进行优化和转型时,往往会开始进行数据迁移。

为什么数据迁移被认为困难和风险重重?

简单的答案是“数据重力”。尽管数据重力的概念已经存在一段时间了,但随着数据迁移到云基础架构,这一挑战变得日益严峻。简而言之,数据重力是一个比喻,它描述了:

  • 数据在增长时如何吸引其他数据
  • 如何将数据整合到业务中
  • 数据如何随着时间的推移进行自定义


要将应用程序和数据迁移到更有利的环境, Gartner 建议将“理清”数据和应用程序作为克服数据重力的一种手段。企业可以在项目开始阶段理清数据和应用程序之间的复杂性,以此改善数据管理,实现应用程序移动性并完善数据监管。

主要问题在于,每个应用程序都会在数据管理层中引入应用程序逻辑元素,从而使数据管理变得更加复杂,而每个应用程序都不会考虑下一个数据使用情形。业务流程会孤立地使用数据,然后输出自己的格式,而将集成问题留给下一个流程自己解决。因此,应用程序设计、数据架构和业务流程必须相互呼应,但往往总有一方无法或不愿意更改。这迫使应用程序管理员不得不放弃理想而简单的工作流,导致设计结果总是差强人意。而且,虽然当时可能有必要采取某种解决方法,但最终不得不在数据迁移或集成项目期间解决这种技术债。

鉴于这种复杂性,请考虑将数据迁移升级到“战略武器”高度,使其能够获得适当的认知和资源水平。为了确保项目获得所需的关注,请强调迁移过程中最具激发作用的因素,即旧系统将关闭的事实,您一定可以获得重要利益相关方的关注,我们保证。

数据迁移的类型

升级系统或将数据中心扩展到云具有诸多业务优势。对于许多企业来说,这是一个非常自然的演变过程。使用云的企业希望他们能够将员工的精力集中在优先业务上,推动顶线增长,提高灵活性,降低资本支出,并按需付费。但是,所执行的迁移类型将决定 IT 员工可以腾出多少时间来处理其他项目。

首先,我们来定义迁移类型:

  • 存储迁移。将数据从现有阵列移至更现代化的阵列,以使其他系统能够访问该阵列的过程。可显著提高性能并支持更经济高效地扩展,同时提供克隆、快照以及备份和灾难恢复等预期数据管理功能。
  • 云迁移。将数据、应用程序或其他业务要素从内部数据中心移动到云或从一个云移动到另一个云的过程。在许多情况下,它还需要进行存储迁移。
  • 应用程序迁移。将应用程序程序从一个环境移动到另一个环境的过程。可能包括将整个应用程序从内部 IT 中心移动到云,在云之间移动,或者只是将应用程序的底层数据移动到软件提供商托管的新形式的应用程序。

如何规划数据迁移

数据迁移包括 3 个基本步骤:

  1. 提取数据
  2. 转换数据
  3. 加载数据

移动重要数据或敏感数据以及停用旧系统会让利益相关方倍感紧张。因此制定坚实的计划是必不可少的;但是,您不必重新发明车轮。您可以在网络上找到许多示例数据迁移计划和检查清单。例如, Data Migration Pro 就是一个由数据迁移专家组成的社区,它具有一个全面的检查清单,其中概括了一个 7 阶段流程: 

  • 迁移前规划。评估要移动的数据以确保稳定性。
  • 项目启动。识别并通报重要利益相关方。
  • 环境分析。建立强大的数据质量规则管理流程,并向业务部门通报项目目标,包括关闭原有系统。
  • 解决方案设计。确定要移动的数据以及移动前后数据的质量。
  • 构建和测试。根据迁移逻辑编写代码,并使用生产环境的镜像测试迁移。
  • 执行和验证。证明迁移符合要求,移动的数据可供业务使用。
  • 停用和监控。关闭并处置旧系统。

这似乎是一项巨大的工作,但并非每次迁移都需要执行所有这些步骤。每种情况都是独一无二的,每家公司都以不同方式处理任务。

十大数据迁移挑战

尽管几十年来数据迁移一直是 IT 生活的一部分,但每年仍有耸人听闻的事件见诸报端。以下是企业在移动数据时面临的十大挑战:

  1. 未联系主要利益相关方。无论迁移规模如何,都有人关心您所移动的数据。在开始执行任务之前,请先识别出这些人,对其说明项目的必要性及影响。否则,您肯定会在某个阶段听到他们的声音,他们很可能会打乱您的时间表。

  2. 不与业务部门沟通。向利益相关方说明项目后,请务必让他们了解您的进度。最好在每周的同一天提供状态报告,尤其是在情况偏离正常时。定期沟通对于与所有受影响的人建立信任有很大的帮助。

  3. 缺乏数据监管。请确保您清楚知道谁有权在源系统中创建、批准、编辑或删除数据,并将这些信息以书面形式记录在项目计划中。

  4. 专业知识匮乏。尽管这是一项简单的任务,但移动数据涉及到许多复杂性。拥有经验丰富的专业人员以及出色的参考资料,有助于顺利完成此过程。

  5. 缺乏规划。平均而言,家庭在计划假期时花费 10 到 20 个小时,而 IT 团队在规划小型数据迁移时所花费的时间可能只有一半。花费数小时的规划并不总是能保证成功,但制定可靠的数据迁移计划确实可以节省数小时的实际数据移动时间。

  6. 数据准备软件和技能不足。如果这是一次大规模迁移(数百万条记录或数百张表),请投资于一流的数据质量软件,并考虑聘请一家专业公司来提供帮助。好消息:有外部公司可以向您出租软件,帮助您节省成本。

  7. 等待目标到达完美规格。如果实施团队正在整理设计标准,请继续执行步骤 2 和 3 。目标就绪在项目后期会很重要,但现在不要让它阻止您。

  8. 迁移方法未经验证。进行一些研究,以确保数据移动过程对像您这样的其他公司行之有效。请克制住诱惑,不要接受供应商提供的通用流程。

  9. 供应商和项目管理。必须管理供应商和项目。如果您还在做日常工作,请确保您有时间管理项目以及任何相关供应商。

  10. 跨对象依赖关系。虽然目前有可用的相应技术和数据管理工具功能,但发现原始计划中未包含相关数据集仍令人震惊。由于往往到迁移过程的后期才能发现跨对象依赖关系,因此请务必创建一个应急计划,以避免您无法满足整体交付日期。

数据迁移 vs. 数据转换 vs. 数据集成

数据迁移和数据转换这两个术语有时会在互联网上互换使用,因此让我们来澄清一下:它们的含义不同。如前文所述,数据迁移是指在不同位置,格式或系统之间移动数据的过程。数据迁移包括目标系统中的数据剖析,数据清理,数据验证以及持续的数据质量保证流程。在典型的数据迁移场景中,数据转换只是复杂过程中的第一步。

术语 " 数据转换 " 是指将数据从一种格式转换为另一种格式的过程。如果要将数据从原有应用程序移动到同一应用程序的升级版本或具有新结构的完全不同的应用程序,则必须执行此转换。要进行转换,必须根据一组要求从源系统提取数据,然后更改数据并将其加载到新的目标系统中。

有时与数据迁移相混淆的另一个术语是数据集成。数据集成是指将驻留在不同源的数据组合在一起,为用户提供所有数据的统一视图的过程。集成来自多个源的数据对于数据分析至关重要。数据集成的示例包括数据仓库,数据湖和NetApp® FabricPools,它们可以在内部数据中心和云之间自动进行数据分层,或者在 AWS EBS 块存储和 AWS S3 对象存储之间自动分层数据。

NetApp 和数据迁移

迁移到基础架构即服务( IaaS ):

  • 重新托管(直接移动)。在 IaaS 上重新部署数据和应用程序,而无需进行更改
  • 修改(重新设计)。修改或扩展现有应用程序代码以适应新的云环境。
  • 更换。使用在云中托管的同类应用程序(例如 Office365 )停用在内部托管和管理的原有应用程序

迁移到平台即服务( PaaS ):

  • 重构。注入代码并在云端运行应用程序。
  • 重建。丢弃现有应用程序的代码,并在云端重新构建应用程序。

要确保任何数据迁移都能顺利成功,并在性能,安全性和 ROI 方面创造业务价值,选择符合业务需求的部署模式至关重要。

继续阅读