Dans le monde informatique, vous aurez souvent besoin de copies supplémentaires d'un ensemble de données, par exemple pour le développement et les tests d'applications (DevTest) et le provisionnement de nouvelles machines virtuelles. Cependant, créer ces copies est plus facile à dire qu'à faire.
Le clonage de données présente des défis majeurs, en particulier lorsqu'il s'agit d'ensembles de données volumineux. Créer des copies des données pertinentes peut prendre du temps et entraîner une prolifération du stockage, une augmentation des coûts, un ralentissement des performances et une surcharge des processus. Tout cela augmentera votre délai de mise sur le marché, ce qui impactera vos résultats.
Votre développement ne peut pas attendre aussi longtemps. Amazon FSx pour NetApp ONTAP offre des fonctionnalités intégrées de gestion des données, fournies sous forme de service AWS propriétaire, et peut vous aider à surmonter ces défis.
Poursuivez votre lecture pour en savoir plus ou accédez directement à ces liens :
Pourquoi la copie de votre jeu de données est importante (et ce qui la rend difficile)
Tout le monde sait que les données sont l'un des actifs les plus importants d'une entreprise. Mais c'est la façon dont ces données sont utilisées qui fait la différence. Compte tenu de leur importance, il est essentiel de ne pas les altérer. Pour utiliser correctement vos données, vous avez besoin d'une « copie parfaite », c'est-à-dire une version identique de votre jeu de données qui sert d'environnement de test et que vous pouvez recréer à plusieurs reprises. Une copie de référence protège l'ensemble de données principal de vos tests et vous permet de la soumettre à des tests sans affecter la production.
Les deux principaux domaines où ces copies entrent en jeu sont le pipeline de développement et la création de nouveaux environnements.
En matière de DevTest, un indicateur important est le nombre de tests que vous pouvez exécuter sur une base de code par heure. Plus le nombre de tests exécutés est élevé, plus l'agilité est élevée, ce qui accélère la progression de la base de code. Certains tests nécessitent des centaines d'exécutions, impliquant des centaines de copies.
Les copies de données sont également largement utilisées dans les tests d'environnement de reprise d'activité, qui impliquent l'utilisation de copies de données pour restaurer les services applicatifs en dehors de votre emplacement de données principal. D'autres cas d'utilisation courants des copies de données incluent l'actualisation des bases de données, l'analyse exploratoire des données, le calcul haute performance pour les médias et le divertissement, l'analyse et l'IA.
Cependant, la création de copies à ces fins peut s'avérer difficile pour plusieurs raisons.
- La copie des données prend du temps. Pour créer une version des données que vous pouvez tester en toute sécurité, vous devez créer une copie de référence. Généralement, ce processus est très long. Selon la taille de votre ensemble de données, la création des copies nécessaires peut accaparer la majeure partie du temps d'exécution des tests. Cela limite le nombre de tests par heure, ce qui retarde votre publication.
- Augmentation rapide de l'utilisation et des coûts du stockage. Étant donné que les copies de données dupliquent entièrement l'ensemble de données d'origine, chaque copie double votre consommation de stockage et augmente vos ressources de calcul et de réseau. Le processus DevTest peut nécessiter la création de nombreuses copies (parfois des centaines), ce qui fait exploser vos coûts. De plus, vos développeurs et administrateurs consacreront un temps et une énergie précieux à la gestion de ces copies.
- Retard de mise sur le marché. Propulser les nouvelles versions est le moyen pour les applications de rester agiles et compétitives. Vous ne pouvez pas y parvenir si votre calendrier de publication est ralenti par des mécanismes de copie trop longs et complexes.
- Problèmes de performances. L'accès et la mise à jour des copies de données dans des contextes multi-utilisateurs ou multi-applications peuvent entraîner une pression sur les ressources et des problèmes de performances.
- Surcharge opérationnelle.<\strong> La gestion de plusieurs copies est complexe et sujette aux erreurs. Il faut une planification méticuleuse pour garantir que les clones sont cohérents et à jour, ce qui augmente la charge opérationnelle.
Les défis liés au travail avec des copies de données sont considérables, mais NetApp et AWS se sont associés pour fournir une solution pour les copies de clones légers inscriptibles : Amazon FSx pour NetApp ONTAP.
Il existe un moyen plus efficace de cloner des données avec FSx pour ONTAP
Amazon FSx pour NetApp ONTAP dispose d'une capacité de clonage de données intégrée fournie par la technologie NetApp® FlexClone®. Cette fonctionnalité vous permet de créer instantanément des copies locales ponctuelles de vos volumes de données, accessibles en écriture et consommant un espace de stockage minimal.
Ces clones « fins » accélèrent la création de vos environnements de test tout en réduisant considérablement le coût, accélèrent l'actualisation de vos bases de données, et bien plus encore.
Fonctionnement du clonage FSx for ONTAP
FSx for ONTAP utilise la technologie FlexClone pour créer des copies compactes accessibles en écriture. Voici son fonctionnement :
- Vous pouvez créer instantanément des copies locales accessibles en écriture de volumes, de LUN et de fichiers. Les copies instantanées de volumes de données créées par FSx for ONTAP exploitent une couche virtuelle par-dessus une copie NetApp Snapshot™ existante. Cette copie Snapshot agit comme une copie de référence et nécessite très peu de métadonnées. Les copies clonées sont créées indépendamment de la copie principale, ce qui rend le processus de clonage extrêmement efficace en termes d'espace.
- Les clones sont mis à jour indépendamment des volumes parents. Une copie clonée partage tous les mêmes blocs que son parent, et l'espace de stockage supplémentaire n'est consommé qu'en cas de modification des données. La modification des données est mise à jour par incréments de blocs de 4 Ko.
Les clones n'ont donc aucun impact sur les performances des applications qui utilisent les volumes de données de production. Si nécessaire, vous pouvez également séparer les clones de leur copie principale et les utiliser indépendamment, mais cela nécessiterait de l'espace disque supplémentaire.
Lorsque vous clonez des volumes de reprise d'activité correspondant à votre environnement de production, à des fins de test ou autres, la fonctionnalité SnapMirror® fonctionne en continu pour répliquer les données vers les volumes parents des clones pendant que votre équipe DevTest travaille sur les clones.
- Les clones sont peu encombrants, ce qui réduit les coûts. Prenons l'exemple de DevTest pour une base de données de production de 100 Go. Normalement, cela nécessite un miroir complet, puis de nombreuses copies pour les développeurs et les testeurs. Si nous supposons que trois de chaque type sont nécessaires, le stockage total requis est de 800 Go, y compris celui de la base de données de production.
Même si une copie miroir complète des données est conservée pour éviter d'affecter le stockage de production, l'utilisation de FlexClone pour les copies DevTest abaisse la consommation de stockage à 260 Go, soit une réduction de la quantité totale de stockage requise de 67 % et des coûts proportionnellement. En savoir plus sur la détermination de l'espace utilisé par un volume FlexClone.
- Les clones ont une faible surcharge de performances. Comme ils ont un impact quasi nul sur le stockage, vous n'avez pas à vous soucier de les actualiser fréquemment avec des données de production mises à jour. Cela signifie que vous pouvez toujours tester les données actuelles, plutôt que les données obsolètes.
Les clones vous permettent également d'effectuer des tests sans affecter l'environnement de production. Une fois les tests terminés, il vous suffit de supprimer le clone et de créer une nouvelle image clone propre en quelques secondes.
Vous pouvez également utiliser des API pour automatiser le processus de clonage et l'intégrer à votre pipeline CI/CD (intégration et déploiement continus). Cette approche évite les problèmes de clonage DevTest évoqués précédemment. Si vous pouvez tester plus rapidement, vous publiez vos builds plus rapidement.
-
Comment les pipelines de développement bénéficient du clonage de données avec FSx for ONTAP
Examinons quelques-uns des avantages du clonage de données avec FSx for ONTAP.
- Délai de mise sur le marché plus rapide grâce à la création instantanée d'environnements de développement. Grâce à FlexClone, des copies des environnements de production sont créées instantanément. Les développeurs qui utilisent FlexClone passent moins de temps à attendre les copies et plus de temps à travailler, car les clones sont créés et nettoyés rapidement. Cela conduit à une plus grande agilité, une meilleure productivité de l'équipe de développement et une mise sur le marché plus rapide.
- Économies. Comme les clones légers consomment un espace de stockage minimal, ils n'entraînent pas de coûts supplémentaires importants dans AWS.
- Actualisation rapide de l'environnement. Étant donné que FSx for ONTAP crée des clones de données instantanément, vous pouvez actualiser l'environnement DevTest avec les données de l'environnement de production chaque fois que nécessaire. Cette vitesse d'actualisation vous permet de tester plus fréquemment et avec les données les plus récentes.
- Tests sans impact. FlexClone vous permet d'effectuer des tests sans compromettre votre environnement de production ou votre jeu de données principal. Une fois les tests terminés, vous pouvez simplement supprimer le clone et en produire un nouveau en quelques secondes. Cette capacité réduit les frais généraux et accélère le processus de développement.
Comment un important fournisseur de jeux en tant que service accélère le développement grâce à FSx pour le clonage ONTAP
Ce développeur de jeux et fournisseur de jeux en tant que service propose certains des titres les plus populaires du moment, avec des centaines de millions de joueurs dans le monde entier connectés via des réseaux internes. La migration vers FSx pour ONTAP a eu un impact majeur sur la façon dont cette entreprise y parvient.
L'entreprise de jeux cherchait à accélérer le cycle de développement de ses opérations de build-farm dans AWS. Comme le jeu est en ligne, il nécessite des versions courtes et constantes. AWS a offert un accès à une puissance de calcul et une évolutivité accrues, doublant le nombre de builds quotidiens réalisés. Avec FSx for ONTAP comme couche de stockage, l'entreprise a pu faire encore plus :
- Réduction du temps de transfert du code source vers les nouvelles instances de plusieurs heures à quelques minutes. Auparavant, le travail sur le code devait s'interrompre pendant la création des copies de données, ce qui ralentissait l'ensemble du processus CI/CD. Grâce au clonage fin avec FSx for ONTAP, de nouvelles copies peuvent être créées instantanément, puis facilement partagées.
- Réduction des coûts de stockage pour les tests massifs de la base de code. Des centaines d'instances exécutent des tests parallèles en cours de développement. La technologie FlexClone crée des clones de données à coût de capacité nul au lieu de copier des volumes entiers de données pour chaque copie de test et de les stocker au coût total. Les économies qui en résultent sont considérables.
- Suppression des risques d'interruption de service. Grâce à la haute disponibilité multi-AZ (Multi-Availability Zone) intégrée à FSx for ONTAP, les données sont réparties sur deux nœuds synchronisés sur deux AZ distinctes. Même en cas de panne dans une zone de disponibilité, le processus de création peut se poursuivre sans interruption, car les développeurs peuvent toujours accéder aux données stockées sur le nœud FSx for ONTAP dans la zone de disponibilité non affectée.
En résumé : un développement plus rapide, des coûts réduits
Les exigences du cycle de développement sur la couche de stockage peuvent entraîner des coûts élevés et des retards de planification. Avec le clonage fin Amazon FSx for NetApp ONTAP, vous obtenez non seulement des clones instantanés et neutres en termes de performances, mais vous évitez également de payer une capacité de stockage supplémentaire lors de la création de copies.
Ne laissez pas vos données vous ralentir. Laissez la capacité de clonage fin de FSx pour ONTAP vous faire gagner du temps et de l'argent.