씬 클로닝: FSx for ONTAP을 통해 개발 속도 향상 및 비용 절감
이 페이지 공유하기
Yifat Perry
IT 환경에서는 애플리케이션 개발 및 테스트(DevTest)나 새로운 가상 머신 프로비저닝 등을 수행할 때처럼 데이터 세트의 추가 사본이 필요한 경우가 많습니다. 하지만 이러한 사본을 만드는 것은 말처럼 쉽지 않습니다.
특히 대규모 데이터 세트를 다룰 때 데이터 복제와 관련된 몇 가지 주요 과제가 있습니다. 관련 데이터의 사본을 만드는 데는 시간이 많이 소요될 수 있으며, 스토리지 무분별한 확장, 비용 증가, 성능 저하, 프로세스 오버헤드로 이어질 수 있습니다. 이 모든 것이 전반적인 출시 시간을 증가시켜 수익에 영향을 미칩니다.
개발을 그렇게 오래 기다릴 수는 없습니다. Amazon FSx for NetApp ONTAP은 퍼스트 파티 AWS 서비스로 제공되는 내장 데이터 관리 기능을 제공하며 이러한 과제를 해결하는 데 도움이 될 수 있습니다.
자세한 내용을 읽거나 다음 링크를 사용하여 바로 이동하세요.
- 데이터 세트 복사가 중요한 이유(그리고 복사하기 어려운 이유)
- FSx for ONTAP을 사용하여 데이터를 복제하는 더 효율적인 방법이 있습니다.
- 주요 게임 서비스 제공업체가 FSx for ONTAP을 사용하여 개발 속도를 높이는 방법
- 결론: 개발 속도 향상, 비용 절감
데이터세트 복사의 중요성(그리고 복사하기 어려운 이유)
데이터가 조직이 가질 수 있는 가장 중요한 자산 중 하나라는 것은 누구나 알고 있습니다. 하지만 그 데이터를 어떻게 사용하느냐가 중요한 차이를 만듭니다. 데이터의 중요성을 고려할 때, 데이터를 함부로 조작해서는 안 됩니다. 데이터를 제대로 활용하려면 "골든 카피"가 필요합니다. 이는 반복적으로 재생성할 수 있는 테스트베드 환경 역할을 하는 데이터세트와 동일한 버전입니다. 골든 복사본은 기본 데이터 세트를 테스트로부터 안전하게 보호하며, 프로덕션 환경에 영향을 주지 않고 복사본을 테스트에 적용할 수 있습니다.
이러한 복사본이 중요한 역할을 하는 두 가지 주요 영역은 개발 파이프라인과 새로운 환경 구축입니다.
DevTest에서 중요한 지표 중 하나는 코드 베이스에 대해 시간당 실행할 수 있는 테스트 수입니다. 실행하는 테스트가 많을수록 민첩성이 높아지고 코드 베이스의 진행 속도가 빨라집니다. 일부 테스트는 수백 번의 실행이 필요하며, 여기에는 수백 개의 복사본이 포함됩니다.
데이터 복사본은 재해 복구(DR) 환경 테스트에도 광범위하게 사용되는데, 이는 데이터 복사본을 사용하여 기본 데이터 위치 외부의 애플리케이션 서비스를 복원하는 것을 포함합니다. 데이터 복사의 다른 인기 있는 사용 사례로는 데이터베이스 새로 고침, 탐색적 데이터 분석, 미디어 및 엔터테인먼트(M&E)를 위한 고성능 컴퓨팅, 분석, AI 등이 있습니다.
그러나 이러한 목적으로 복사본을 만드는 것은 여러 가지 이유로 어려울 수 있습니다.
- 데이터 복사에는 시간이 걸립니다. 안전하게 테스트할 수 있는 데이터 버전을 만들려면 골든 복사본의 복사본을 만들어야 합니다. 일반적으로 이 과정에는 많은 시간이 소요됩니다. 데이터 세트의 크기에 따라 필요한 복사본을 만드는 데 테스트 실행 시간이 대부분 소요될 수 있습니다. 이로 인해 시간당 테스트 수가 제한되어 릴리스가 지연됩니다.
- 스토리지 사용량 및 비용이 급격히 증가합니다. 데이터 복사본은 원본 데이터 세트를 완전히 복제하므로 각 복사본은 스토리지 사용량을 두 배로 늘리고 컴퓨팅 및 네트워크 리소스를 추가합니다. DevTest 프로세스는 이러한 복사본을 여러 개(때로는 수백 개) 만들어야 하므로 비용이 급증합니다. 또한 개발자와 관리자는 이러한 복사본을 처리하는 데 귀중한 관리 시간과 에너지를 많이 소모하게 됩니다.
- 출시 지연. 새로운 릴리스를 푸시하는 것은 앱의 민첩성과 경쟁력을 유지하는 방법입니다. 지나치게 길고 복잡한 복사 메커니즘으로 인해 릴리스 일정이 지연되면 그렇게 할 수 없습니다.
- 성능 문제. 다중 사용자 또는 다중 애플리케이션 환경에서 데이터 복사본에 액세스하고 업데이트하면 다음과 같은 문제가 발생할 수 있습니다. 복제본의 일관성과 최신성을 보장하려면 세심한 계획이 필요하며, 이는 운영 오버헤드에 추가됩니다.
데이터 복사본 작업에는 상당한 어려움이 따르지만, NetApp과 AWS는 쓰기 가능한 씬 클론 복사본을 위한 솔루션인 Amazon FSx for NetApp ONTAP을 제공하기 위해 파트너십을 맺었습니다.
FSx for ONTAP을 사용하면 데이터를 더욱 효율적으로 복제할 수 있습니다.
Amazon FSx for NetApp ONTAP에는 NetApp® FlexClone® 기술을 통해 제공되는 내장 데이터 복제 기능이 있습니다. 이 기능을 사용하면 데이터 볼륨의 즉각적인 시점 로컬 복사본(쓰기 가능하고 최소한의 저장 공간만 차지함)을 생성할 수 있습니다.
이러한 "씬" 클론을 사용하면 테스트 환경 구축, 데이터베이스 업데이트 등의 작업을 훨씬 빠르고 저렴하게 수행할 수 있습니다.
FSx for ONTAP 클로닝 작동 방식
FSx for ONTAP은 FlexClone 기술을 사용하여 공간 효율성이 높고 쓰기 가능한 복사본을 생성합니다. 작동 방식은 다음과 같습니다.
- 볼륨, LUN 및 파일의 쓰기 가능한 로컬 복사본을 즉시 생성할 수 있습니다. FSx for ONTAP에서 생성되는 즉각적인 데이터 볼륨 복사본은 기존 NetApp Snapshot™ 복사본 위에 가상 계층을 활용합니다. 이 Snapshot 복사본은 골든 복사본 역할을 하며 메타데이터가 거의 필요하지 않습니다. 클론 복사본은 마스터 복사본과 독립적으로 생성되므로 클론 프로세스의 공간 효율성이 매우 높습니다.
- 클론은 부모 볼륨과 독립적으로 업데이트됩니다. 클론 복사본은 부모 볼륨과 동일한 모든 블록을 공유하며, 추가 저장 공간은 데이터 변경이 있을 때만 사용됩니다. 데이터 변경은 4K 블록 단위로 업데이트됩니다.
따라서 클론은 운영 데이터 볼륨을 사용하는 애플리케이션의 성능에 영향을 미치지 않습니다. 필요한 경우 마스터 복사본에서 클론을 분리하여 독립적으로 사용할 수도 있지만, 이 경우 추가 디스크 공간이 필요합니다.
테스트 또는 기타 목적으로 프로덕션 환경에 맞는 DR 볼륨을 복제하는 경우, DevTest 팀이 클론 작업을 수행하는 동안 SnapMirror® 기능이 클론의 부모 볼륨에 데이터를 지속적으로 복제합니다.
- 클론은 공간 효율적이므로 비용이 절감됩니다. 100GB 프로덕션 데이터베이스에 대한 DevTest의 예를 생각해 보겠습니다. 일반적으로 전체 미러본과 개발자 및 테스터가 사용할 수 있는 여러 개의 복사본이 필요합니다. 각 유형별로 세 개씩 필요하다고 가정하면, 프로덕션 데이터베이스의 저장 공간을 포함하여 총 800GB의 저장 공간이 필요합니다.
프로덕션 스토리지에 영향을 주지 않기 위해 데이터의 전체 미러 복사본을 유지하더라도, DevTest 복사본에 FlexClone을 사용하면 저장 공간 사용량이 260GB로 줄어듭니다. 이렇게 하면 필요한 전체 저장 공간이 67% 감소하고 그에 비례하여 비용도 절감됩니다. FlexClone 볼륨에서 사용하는 공간을 확인하는 방법에 대해 자세히 알아보세요. - 클론은 성능 오버헤드가 낮습니다. 클론은 스토리지에 거의 영향을 미치지 않으므로 업데이트된 프로덕션 데이터로 자주 새로 고칠 필요가 없습니다. 즉, 오래된 데이터가 아닌 최신 데이터를 기반으로 항상 테스트할 수 있습니다.
클론을 사용하면 프로덕션 환경에 영향을 주지 않고 테스트를 수행할 수 있습니다. 테스트가 완료되면 클론을 삭제하고 몇 초 만에 새롭고 깨끗한 클론 이미지를 만들 수 있습니다.
API를 사용하여 클로닝 프로세스를 자동화하고 CI/CD(지속적 통합 및 지속적 배포) 파이프라인과 통합할 수도 있습니다. 이 방법을 사용하면 앞서 설명한 DevTest 클로닝의 문제점을 피할 수 있습니다. - 테스트 속도가 빨라지면 빌드 출시 속도도 빨라집니다.
FSx for ONTAP을 사용한 데이터 복제를 통해 개발 파이프라인이 얻는 이점
FSx for ONTAP 데이터 복제를 통해 얻을 수 있는 몇 가지 이점을 살펴보겠습니다.
- 즉시 생성되는 개발 환경으로 출시 기간 단축. FlexClone 기능을 사용하면 운영 환경의 복사본이 즉시 생성됩니다. FlexClone을 사용하는 개발자는 복제본 생성 및 정리가 빠르기 때문에 복사본을 기다리는 시간을 줄이고 실제 작업에 더 많은 시간을 할애할 수 있습니다. 결과적으로 개발팀의 민첩성, 생산성 향상, 그리고 출시 기간 단축으로 이어집니다.
- 비용 절감. 씬 클론은 최소한의 스토리지 공간을 사용하므로 AWS에서 추가 비용이 크게 발생하지 않습니다.
- 빠른 환경 새로 고침. FSx for ONTAP은 데이터 클론을 즉시 생성하므로 필요할 때마다 DevTest 환경을 프로덕션 환경 데이터로 새로 고칠 수 있습니다. 이러한 새로 고침 속도 덕분에 최신 데이터로 더 자주 테스트할 수 있습니다.
- 테스트에 미치는 영향 없음. FlexClone을 사용하면 프로덕션 환경이나 기본 데이터 세트에 영향을 주지 않고 테스트를 수행할 수 있습니다. 테스트가 완료되면 클론을 제거하고 몇 초 만에 새 클론을 생성할 수 있습니다. 이 기능은 오버헤드를 줄이고 개발 프로세스를 가속화합니다.
주요 게임 서비스 제공업체가 FSx for ONTAP 클로닝을 사용하여 개발 속도를 높이는 방법
이 게임 개발사이자 게임 서비스 제공업체는 오늘날 가장 인기 있는 게임 타이틀을 출시하고 있으며, 전 세계 수억 명의 플레이어가 사내 네트워크를 통해 연결되어 있습니다. FSx for ONTAP으로 마이그레이션한 것은 이 회사의 모든 운영 방식에 큰 변화를 가져왔습니다.
이 게임 회사는 AWS에서 빌드 팜 운영의 개발 주기를 단축하고자 했습니다. 게임 제품이 라이브 상태이기 때문에 지속적인 단기 릴리스가 필요합니다. AWS는 더 높은 컴퓨팅 성능과 확장성을 제공하여 일일 빌드 수를 두 배로 늘렸습니다. FSx for ONTAP을 스토리지 계층으로 사용하여 회사는 더 많은 이점을 얻을 수 있었습니다.
- 소스 코드를 새 인스턴스로 전송하는 데 걸리는 시간을 몇 시간에서 몇 분으로 단축했습니다. 이전에는 데이터 복사본을 생성하는 동안 코드 작업을 중단해야 했기 때문에 전체 CI/CD 프로세스 속도가 느려졌습니다. FSx for ONTAP의 씬 클로닝을 사용하면 새 복사본을 즉시 생성하고 쉽게 공유할 수 있습니다.
- 대규모 코드 기반 테스트에 필요한 스토리지 비용을 절감할 수 있습니다. 개발 중인 수백 개의 인스턴스에서 병렬 테스트를 실행하고 있습니다. FlexClone 기술은 각 테스트 복사본에 대한 전체 데이터 볼륨을 복사하여 전체 비용을 지불하고 저장하는 대신 용량 비용이 전혀 들지 않는 데이터 복제본을 생성합니다. 결과적으로 상당한 비용 절감 효과를 얻을 수 있습니다.
- 다운타임 발생 가능성 제거. FSx for ONTAP에 내장된 다중 가용 영역(다중 AZ) 고가용성 덕분에 데이터는 두 개의 노드에 저장되며, 두 개의 개별 가용 영역(AZ)에서 동기화됩니다. 한 가용 영역(AZ)에서 장애가 발생하더라도 개발자는 영향을 받지 않은 가용 영역의 FSx for ONTAP 노드에 저장된 데이터에 계속 액세스할 수 있으므로 빌드 프로세스는 중단 없이 계속 진행될 수 있습니다.
결론: 개발 속도 향상, 비용 절감
스토리지 계층의 개발 주기 요구 사항은 높은 비용과 일정 지연으로 이어질 수 있습니다. Amazon FSx for NetApp ONTAP 씬 클로닝을 사용하면 성능에 영향을 미치지 않는 즉각적인 복제본을 얻을 수 있을 뿐만 아니라 복사본을 생성할 때 추가 스토리지 용량 비용을 지불하지 않아도 됩니다.
데이터로 인해 업무 속도가 느려지지 않도록 하세요. FSx for ONTAP의 씬 클론 기능을 활용하여 시간과 비용을 절약하세요.
