데이터 마이그레이션이란?

데이터 마이그레이션은 데이터를 한 위치에서 다른 위치로, 한 형식에서 다른 형식으로 또는 한 애플리케이션에서 다른 애플리케이션으로 이동하는 프로세스입니다. 일반적으로 데이터 마이그레이션은 데이터에 대한 새로운 시스템 또는 위치를 도입한 결과로 발생합니다. 비즈니스 동인은 일반적으로 기존 시스템을 동일한 데이터 세트를 공유하는 새 애플리케이션으로 대체하거나 보강하는 애플리케이션 마이그레이션 또는 통합입니다. 오늘날은 대개 기업이 온프레미스 인프라 및 애플리케이션에서 클라우드 기반 스토리지 및 애플리케이션으로 이전하여 회사를 최적화하거나 전환함으로써 데이터 마이그레이션이 시작됩니다.

간단히 말해 '데이터 중력' 때문입니다. 데이터 중력이라는 개념은 언젠가부터 있어 왔지만 클라우드 인프라로의 데이터 마이그레이션 때문에 이 문제는 더욱 중요해지고 있습니다. 간단히 말해, 데이터 중력은 다음을 설명하는 하나의 비유에 해당합니다.

• 데이터가 증가함에 따라 데이터가 다른 데이터를 끌어들이는 방식
• 데이터를 비즈니스에 통합하는 방식
• 시간이 지남에 따라 데이터가 맞춤화되는 방식

애플리케이션 및 데이터를 더욱 유리한 환경으로 옮기기 위해 Gartner는 데이터 중력을 극복하는 하나의 수단으로 데이터와 애플리케이션을 "분리"할 것을 권장하고 있습니다. 프로젝트를 시작할 때 시간을 내 데이터 및 애플리케이션의 복잡성을 선별하여 기업은 데이터 관리를 개선하고, 애플리케이션 이동성을 지원하고, 데이터 거버넌스를 향상할 수 있습니다.

주요 문제는 모든 애플리케이션이 애플리케이션 로직의 요소를 데이터 관리 계층에 도입하여 데이터 관리를 복잡하게 만들고 각 요소가 그 다음 데이터 사용 사례와 무관하다는 것입니다. 비즈니스 프로세스는 데이터를 분리하여 사용하고 자체 형식을 출력하여 다음 프로세스를 위한 통합이 과제로 남습니다. 따라서 애플리케이션 설계, 데이터 아키텍처 및 비즈니스 프로세스는 모두 상호 응답해야 하지만 대개 이러한 그룹 중 하나는 변경할 수 없거나 변경하지 않으려 합니다. 이로 인해 애플리케이션 관리자는 이상적이고 단순한 워크플로우를 회피하게 되어, 설계가 최적화되지 않습니다. 또한 당시에 해결 방법이 필요했었을 수도 있지만 결국에 이 기술적 부채는 데이터 마이그레이션 또는 통합 프로젝트 중에 해결해야 합니다.

이러한 복잡성을 고려하여, 데이터 마이그레이션을 "전략적 무기" 상태로 승격해 올바른 수준의 인식과 리소스를 확보하는 것을 고려하십시오. 프로젝트에 필요한 주의를 끌려면 마이그레이션의 가장 도발적인 요소, 즉 기존 시스템이 꺼진다는 사실에 초점을 맞추십시오. 그러면 분명 주요 이해 관계자의 관심을 끌 것입니다.

시스템을 업그레이드하거나 데이터 센터를 클라우드로 확장하면 수많은 비즈니스 이점을 얻을 수 있습니다. 많은 기업에서 이것은 매우 자연스러운 발전입니다. 클라우드를 사용하고 있는 기업은 직원이 비즈니스 우선순위에 주력하고, 매출 성장을 촉진하며, 민첩성을 높이고, 자본 비용을 절감하며, 온디맨드 방식으로 필요한 비용만 지불할 수 있기를 바랍니다. 그러나 IT 직원이 다른 프로젝트를 처리하는 데 얼마나 많은 시간을 들일 수 있는지는 수행되는 마이그레이션 유형에 따라 결정됩니다.

먼저 마이그레이션 유형을 정의해 보겠습니다.

• 스토리지 마이그레이션: 기존 어레이에서 최신 어레이로 데이터를 이동하여 다른 시스템이 데이터에 액세스할 수 있게 하는 프로세스입니다. 훨씬 더 빠른 성능과 더 비용 효율적인 확장을 제공하는 동시에 클론 복제, 스냅샷, 백업 및 재해 복구와 같은 예상 데이터 관리 기능을 지원합니다.
• 클라우드 마이그레이션: 온프레미스 데이터 센터에서 클라우드로 또는 클라우드 간에 데이터, 애플리케이션 또는 기타 비즈니스 요소를 이동하는 프로세스입니다. 많은 경우 스토리지 마이그레이션도 수반됩니다.
• 애플리케이션 마이그레이션: 애플리케이션 프로그램을 한 환경에서 다른 환경으로 이동하는 프로세스입니다. 전체 애플리케이션을 온프레미스 IT 센터에서 클라우드로 이동하거나, 클라우드 간에 이동하거나, 애플리케이션의 기본 데이터를 소프트웨어 공급자가 호스팅하는 새로운 형태의 애플리케이션으로 이동하는 것이 포함될 수 있습니다.

데이터 마이그레이션에는 3가지 기본 단계는 다음과 같습니다.

1. 데이터 추출
2. 데이터 변환
3. 데이터 로드

중요하거나 민감한 데이터를 이동하고 기존 시스템 사용을 중지하면 이해 관계자가 당황할 수 있습니다. 계획을 탄탄하게 세워야 하는 것은 맞지만 이미 있는 것을 다시 만들 필요는 없습니다. 웹에서 수많은 데이터 마이그레이션 계획과 체크리스트를 확인할 수 있습니다. 예를 들어, 데이터 마이그레이션 전문가 커뮤니티인 Data Migration Pro에는 7단계 프로세스를 간략하게 보여주는 다음과 같은 종합 체크리스트가 있습니다.

• 사전 마이그레이션 계획: 이동할 데이터의 안정성을 평가합니다.
• 프로젝트 시작: 주요 이해 관계자를 파악하고 그들에게 간단히 알립니다.
• 환경 분석: 강력한 데이터 품질 규칙 관리 프로세스를 확립하고, 기존 시스템 종료를 포함하여 프로젝트의 목표에 대해 회사에 간단히 알립니다.
• 솔루션 설계: 이동할 데이터를 결정하고 이동 전후에 데이터 품질을 확인합니다.
• 구축 및 테스트: 마이그레이션 로직을 코딩하고 운영 환경 미러링을 통해 마이그레이션을 테스트합니다.
• 실행 및 검증: 마이그레이션이 요구사항을 준수하고, 이동된 데이터를 비즈니스에 실제로 사용할 수 있음을 보여줍니다.
• 사용 중단 및 모니터링: 기존 시스템을 종료하고 폐기합니다.

작업량이 엄청나 보일 수 있지만, 모든 마이그레이션에 이러한 단계가 전부 필요한 것은 아닙니다. 각각의 상황은 고유하며, 각 기업은 서로 다른 방식으로 과제에 접근합니다.

데이터 마이그레이션은 수십 년 동안 IT의 일상 업무가 되어 왔지만 공포스러운 이야기는 여전히 매년 보고되고 있습니다. 다음은 기업이 데이터 이동 시 직면하는 10가지 주요 과제입니다.

1. 주요 이해 관계자와 연락하지 않음: 마이그레이션 규모에 상관없이 이동할 데이터에 관심을 갖고 있는 사람은 어딘가에 있습니다. 작업에 착수하기 전에 그들을 찾아 이 프로젝트의 필요성과 그것이 미치는 영향에 대해 설명하십시오. 그렇지 않을 경우 어떤 단계에서 분명 그들이 의견을 내게 되는데, 그러면 일정에 차질이 생길 가능성이 있습니다.

2. 회사와커뮤니케이션하지 않음: 이해 관계자에게 프로젝트를 설명한 후에는 진행 상황을 알려 주어야 합니다. 특히 일이 궤도에서 벗어날 경우 매주 같은 요일에 상태 보고서를 제공하는 것이 가장 좋습니다. 정기적인 커뮤니케이션은 영향을 받는 모든 사람들과 신뢰를 구축하는 데 도움이 됩니다.

3. 데이터 거버넌스의 부재: 원본 시스템에서 데이터를 작성, 승인, 편집 또는 제거할 수 있는 권한이 있는 사용자를 확실히 파악하고, 프로젝트 계획의 일부로 데이터를 서면으로 문서화해야 합니다.

4. 전문성의 부재; 간단한 작업이기는 하지만 데이터를 이동하는 데는 수많은 복잡성이 수반됩니다. 뛰어난 참조 자료를 갖춘 숙련된 전문가가 있다면 프로세스가 원활하게 진행될 수 있습니다.

5. 계획의 부재: 평균적으로 가족이 휴가를 계획하는 데는 10~20시간이 걸리는 반면, IT 팀은 최소한 그 절반에 해당하는 시간을 들여 소규모 데이터 마이그레이션을 계획할 수 있습니다. 계획에 많은 시간을 들이는 것이 항상 성공을 보장하는 것은 아니지만, 데이터 마이그레이션 계획을 탄탄하게 세우면 실제로 데이터를 이동하는 데 드는 시간이 단축됩니다.

6. 데이터 준비 소프트웨어 및 기술의 부족: 대규모 마이그레이션(수백만 개의 레코드 또는 수백 개의 테이블)인 경우 최고 수준의 데이터 품질 소프트웨어에 투자하고, 도움을 줄 전문 회사를 고용하는 것을 고려하십시오. 좋은 소식은 외부 회사에서 비용을 절약하는 데 도움이 되는 소프트웨어를 대여해 줄 가능성이 있다는 것입니다.

7. 목표에 맞는 완벽한 사양 대기: 구현 팀이 설계 기준을 선별하면 2단계와 3단계를 추진하십시오. 목표 준비도는 프로젝트 후반부에 중요해질 수 있지만, 지금 중단하지 않도록 하십시오.

8. 검증되지 않은 마이그레이션 방법론: 어느 정도 조사를 수행하여, 데이터 이동 절차가 귀사와 같은 다른 회사에서 효과가 있었는지 확인하십시오. 공급업체가 제안하는 일반적인 절차를 그대로 수락하고 싶은 유혹에 넘어가지 마십시오.

9. 공급업체 및 프로젝트 관리: 공급업체와 프로젝트를 반드시 관리해야 합니다. 여전히 일상적인 업무도 수행하고 있다면 프로젝트 및 관련 공급업체를 모두 관리할 시간이 있는지 확인하십시오.

10. 오브젝트 간 의존성: 현재 사용 가능한 데이터 관리 툴의 기술 및 기능을 통해 원래 계획에 포함되지 않은 종속 데이터 세트에 대해 알게 되는 것은 여전히 충격적입니다. 대개 오브젝트 간 종속성은 마이그레이션 프로세스의 후반부에 이를 때까지는 발견되지 않기 때문에 만일의 사태에 대비해 구축해 두어, 전체 제공 날짜가 늦어지지 않도록 해야 합니다.

데이터 마이그레이션 및 데이터 변환이라는 용어는 때때로 인터넷에서 같은 의미로 사용되기도 합니다. 하지만 이 둘의 의미는 다릅니다. 앞서 언급했듯이 데이터 마이그레이션은 위치, 형식 또는 시스템 간에 데이터를 이동하는 프로세스입니다. 데이터 마이그레이션에는 데이터 프로파일링, 데이터 정리, 데이터 검증 및 대상 시스템의 지속적인 데이터 품질 보증 프로세스가 포함됩니다. 일반적인 데이터 마이그레이션 시나리오에서는 데이터 변환이 복잡한 프로세스의 첫 번째 단계일 뿐입니다.

데이터 변환이라는 용어는 데이터를 한 형식에서 다른 형식으로 변환하는 프로세스를 의미합니다. 이 작업은 기존 애플리케이션에서 동일한 애플리케이션의 업그레이드된 버전으로 데이터를 이동하거나 새 구조로 된 완전히 다른 애플리케이션으로 데이터를 이동할 때 필요합니다. 데이터를 변환하려면 소스에서 데이터를 추출하고, 변경하여 일련의 요구사항에 따라 새 대상 시스템으로 로드해야 합니다.

데이터 마이그레이션과 종종 혼동되는 또 다른 용어는 데이터 통합입니다. 데이터 통합은 다른 소스에 상주하는 데이터를 결합하여 사용자에게 모든 데이터에 대한 통합 보기를 제공하는 프로세스를 말합니다. 데이터 분석에는 여러 소스의 데이터를 통합하는 것이 중요합니다. 데이터 통합의 예로는 데이터 웨어하우스, 데이터 레이크 그리고 온프레미스 데이터 센터와 클라우드 간에 또는 AWS EBS 블록 스토리지와 AWS S3 오브젝트 저장소 간에 데이터를 자동으로 계층화하는 NetApp^® FabricPools가 있습니다.

IaaS(서비스형 인프라)로 이동:

• 재호스팅(리프트 및 시프트): 변경 없이 IaaS에 데이터 및 애플리케이션을 재배포합니다.
• 수정(재설계): 새로운 클라우드 환경에 맞게 기존 애플리케이션 코드를 수정하거나 확장합니다.
• 대체: Office365와 같이 클라우드에서 호스팅되는 유사한 애플리케이션을 사용하여 온프레미스에서 호스팅 및 관리되는 기존 애플리케이션을 대체합니다.

PaaS(서비스형 플랫폼)로 이동:

• 리팩토링: 코드를 주입하고 클라우드에서 애플리케이션을 실행합니다.
• 리빌드: 기존 애플리케이션의 코드를 폐기하고 클라우드에서 애플리케이션을 다시 설계합니다.

비즈니스 요구사항에 부합하는 구축 모델을 선택하는 것은 데이터 마이그레이션을 원활하고 성공적으로 수행하고 성능, 보안, ROI 측면에서 비즈니스 가치를 제공하도록 보장하는 데 매우 중요합니다.