NetApp Tech OnTap

Archiver pour 100 ans

Etes-vous prêts ?

Prenez un livre publié il y a 100 ans et vous n’aurez sans doute aucune difficulté à le lire mais prenez une sauvegarde sur bande qui date d'il y a 10 ou 20 ans, et cela posera certainement beaucoup plus de problèmes. Même si vous disposez du matériel approprié à la lecture de la bande (et que la bande est toujours en bon état), vous devez savoir sous quel format elle a été enregistrée et vous avez besoin d'une application pour déchiffrer les données. La situation peut considérablement se compliquer et empirer au fil du temps.

A ce stade, vous pourriez vous dire : « De toute façon, je n’ai pas besoin de conserver des données aussi longtemps ». Réfléchissez-y à deux fois.

Data retention requirements

Figure 1) Exigences en termes de conservation de données.
Source : SNIA Survey

En 2007, la SNIA (Storage Networking Industry Association) a réalisé une enquête complète dans laquelle des centaines de personnes issues d'organisations très variées du monde entier, ont été interrogées. Il a été surprenant de constater que 80 % ont déclaré détenir des informations à conserver pendant 50 ans et que 68 % ont déclaré devoir conserver leurs données pendant 100 ans. Un total de 70 % a également indiqué n’être absolument pas satisfait de la façon dont les informations conservées pourraient être lues dans 50 ans. De quels types de données s’agit-il pour la plupart ? Des e-mails, des enregistrements clients, des données d'application d'entreprise et des bases de données, le genre d'informations que nous traitons presque tous au quotidien.

Cela vous intéresse ?

Dans le présent article, j’explique quels sont les défis de l’archivage à long terme, j’aborde quelques-unes des meilleures pratiques que vous pouvez désormais mettre en œuvre et je vous parle des efforts entrepris par l’équipe spécialisée dans les aspects de conformité de stockage et d’archivage à long terme (Long Term Archive and Compliance Storage Initiative ou LTACSI) de la SNIA, que je dirige.

Quels sont les défis de l’archivage à long terme ?

La figure 2 fait clairement ressortir le défi de la conservation à long terme des données.

Figure 2) Durée de vie standard des systèmes de stockage, des applications et des supports physiques comparée à la durée de conservation des informations.

En résumé, la durée de conservation des informations (même si nous partons dans une perspective modeste de 50 ans), est nettement supérieure à la durée de vie standard des systèmes de stockage (disque ou bande) et des applications. D'ailleurs le support physique commencera à se détériorer et sera certainement illisible bien avant la fin de la période de conservation.

La pratique actuelle consiste à migrer les données, physiquement et logiquement, tous les 3 à 5 ans. La migration physique nécessite de déplacer les informations d’un système de stockage physique vers un autre ou d'un format de support vers un autre pour préserver physiquement sa lisibilité, son accessibilité et son intégrité. Les lecteurs de ce type de migration doivent tenir compte de la défaillance du support, de l'obsolescence du support ou du système de stockage, des changements dans le système et du coût des opérations (personnel, ressources, espace).

Une migration logique implique le déplacement des informations d'un format logique vers un autre (d'une ancienne version d’application vers sa nouvelle version, par exemple) pour préserver sa lisibilité et sa possibilité d'interprétation. Les lecteurs peuvent également inclure les changements des formats d’applications, les applications obsolètes et les fusions. Le coût, la complexité, l'important volume d'informations et le manque de temps et/ou de budget constituent un frein à ces deux types de migrations.

L'enquête de la SNIA a indiqué avant de conclure, que les migrations logiques et physiques ne se mesurent pas en terme de rentabilité par rapport aux besoins actuels et futurs. En fait, seuls 30 % des personnes interrogées migrent leurs données tous les 3 à 5 ans lorsqu’elles sont sur disque. Il est évident que de nouvelles approches sont nécessaires pour se conformer aux exigences légales et réglementaires, de l’activité, du coût et de l’extensibilité de la conservation numérique à long terme des informations.

Solutions intermédiaires

Les limites imposées par les systèmes de stockage et les applications actuels ne sont pas prêtes de disparaître. Alors, que faut-il faire aujourd’hui pour assurer une conservation à long terme ? Actuellement, la meilleure recommandation consiste à formaliser la mise en œuvre des processus de gestion de vos applications, opérations et référentiels de données pour assurer la gestion effective des données tout au long de leur vie utile. Figurent parmi les meilleures pratiques :

  • une collaboration étroite entre tous les intervenants (informatique, RIM, juridique, administration, sécurité) pour s’assurer que tous les besoins sont couverts
  • l’identification claire de tous les éléments et ressources existants
  • une classification des informations permettant de définir les besoins de conservation
  • établir les conditions de conservation, de protection, de sécurité, de conformité, etc.
  • la mise en œuvre d'un service destiné à répondre à ces exigences
  • l’évaluation et l’amélioration.
  • Measurement and improvement

Il existe d’autres pratiques utiles :

  • le classement des informations en troncs communs
  • la mise en place de périodes de conservation et la suppression des données échues
  • la vérification du nombre de copies de données que vous conservez en vertu de la protection des données
  • la mise en place de politiques d’audit et leur réalisation
  • l’utilisation de plates-formes de stockage normalisées.

Votre politique de protection à long terme doit déterminer vos objectifs d'entreprise, juridiques et de conformité et inclure une description des meilleures pratiques auxquelles chaque référentiel de stockage se conforme, que ce soit pour une migration physique ou logique. Le but d’une migration physique doit être de passer d’une migration à échéance fixe (3 à 5 ans) à une stratégie en fonction des besoins. Les systèmes de stockages fédérés, normalisés et virtualisés (comme le stockage NetApp® avec Data ONTAP® GX) peuvent contribuer à réduire les interruptions, la complexité et la charge de travail qu’implique une migration.

En ce qui concerne les migrations logiques, vous devez être en mesure de préserver l’authenticité, à savoir de prouver que les données sont telles qu’à l’origine. Là aussi, vous ne devez migrer que si nécessaire, et il serait peut-être intéressant pour vous d'étudier d’autres options de préservation de certaines données : convertissez-les dans un format standard (XML, PDF, etc.), archivez une copie papier le cas échéant ou utilisez un microfilm.

Il est vrai que c’est compliqué. Vous devez effectuer à la fois une migration physique et une migration logique en fonction des besoins et il se peut que les deux événements ne coïncident pas. Mais il n’existe actuellement pas beaucoup de possibilités pour garantir que des données conservées sur du long terme resteront lisibles. Heureusement, les importants efforts en cours devraient contribuer à améliorer la situation.

Efforts de normalisation

Certes, l’industrie du stockage n’a probablement pas fait grand chose jusqu’ici pour résoudre le problème de la conservation à long terme des données. Les applications actuelles d’archivage utilisent des formats de données propriétaires qui vous lient réellement à une solution qui peut compliquer ultérieurement vos futurs efforts de migration. Tout ceci va changer.

En ce qui concerne l’archivage à long terme (au-delà de 15 ans), la migration logique représente la plus grosse difficulté. Des processus de gestion des cycles de vie efficaces et une technologie de stockage basée sur les standards actuels permettent d’effectuer correctement une migration physique, ce qui n’est pas le cas des formats de stockage propriétaires. La situation devrait s’améliorer car les fournisseurs ont commencé à être un peu plus attentifs aux matériels qui pourront répondre aux besoins de stockage à long terme (voir un exemple à partir de la barre d’outils latérale Collaborative Research into Long Term Archive – Partenariats de recherche sur les systèmes d’archivage à long terme).

Par ailleurs, une migration logique reste spécifique à une application ce qui rend l'automatisation de processus clés plus difficile. Une préservation totale va au-delà de la conservation de données lisibles et interprétables ; elle nécessite une conservation des données et de métadonnées qui comprend leur provenance, leurs informations de référence (contexte) et les mécanismes qui garantissent leur intégrité et leur authenticité.

Dans ce but, l’équipe LTACSI de la SNIA a proposé que la SNIA crée un groupe de travail technique sur la conservation et la préservation numérique à long terme des informations qui étudie l’encapsulation (voir barre d’outils latérale). L’encapsulation définit un container logique « orienté préservation » composé d’un contenu (les données) et des métadonnées de préservation associées.

L’encapsulation peut se faire sur le modèle OAIS (système d’archivage) par paquet d’informations archivées (Archival Information Package ou AIP). La figure 3 présente un container « OAIS AIP ».

Figure 3) un container OAIS AIP renferme à la fois le contenu des informations à stocker et les métadonnées qui décrivent ce contenu. (Source : SNIA)

L’encapsulation implique un container autonome, car ce dernier contient les données des informations, leurs métadonnées, les informations de référence, les contrôles d'intégrité et d'authenticité, les contrôles d'accès et les fichiers journaux. De ce fait, le container est mobile et indépendant du stockage. Le container peut ainsi être géré indépendamment de l’application, en fonction des spécificités que vous avez définies pour les informations.

L’encapsulation se lit de façon indépendante, car le container peut être interprété par différents systèmes et parce qu'il peut contenir des lecteurs permettant aux contenus d'être interprétés indépendamment de l'application. Cette capacité est importante pour la conservation à long terme. L'encapsulation propose un format standard compréhensible par n'importe quelle application et qui permet en théorie à plusieurs types d'applications d'accéder au contenu d’archives du type ECM, juridiques, de la migration, de la préservation, etc.

Figure 4) Logiquement, l’encapsulation crée une couche de données standard qui s’intercale entre la couche de bits (support physique) et l’application. (Source : SNIA)

Le but est d’éliminer le recours à des migrations logiques fréquentes de façon à ce que les organisations puisse continuer d'accéder et d'utiliser leurs données archivées autant que nécessaire sur de longues périodes sans la surcharge et la complexité des mises à jour de données régulières générées pour s'adapter aux modifications d'application.

NetApp et l’archivage à long terme

D'un point de vue matériel, cela fait longtemps que NetApp a reconnu les complications et les interruptions engendrées par les migrations physiques de données, que ce soit à des fins d’archivage ou autres. C'est pour cette raison que NetApp passe actuellement à un déploiement horizontal de son architecture matérielle qui prend en charge le stockage par niveau, y compris les volumes non réinscriptibles (WORM) correspondant à des besoins de conformité, pour permettre de migrer des données d'un niveau à un autre sans interruption. Cette architecture permet d’intégrer de façon transparente de nouveaux groupes de stockage (support physique, contrôleurs de stockage) au stockage existant, ce qui simplifie considérablement le processus de migration physique.

Pour répondre aux exigences en termes d’archivage et de conformité, la technologie ouverte SnapLock® de NetApp permet la création de volumes WORM sur les systèmes de stockage NetApp ; ainsi, il est possible de répondre au exigence de fonctionnement des entreprises et réglementaires sans avoir recours à des systèmes de stockage séparés physiquement. NetApp travaille en collaboration avec des leaders industriels, tels que Symantec, Zantaz et CommVault pour fournir des solutions qui élèvent le niveau des caractéristiques uniques de la technologie logicielle et matérielle de NetApp et collabore également avec ces partenaires sur des solutions à long terme.

En partant de la migration logique, NetApp se rend compte que résoudre les problèmes d’archivage à très court terme n’est qu’une solution partielle. Nous avons identifié depuis longtemps le besoin de standards industriels et avons fortement contribué aux efforts de normalisation. Chez NetApp, une de mes principales responsabilités consiste à diriger l'équipe LTACSI qui travaille pour les utilisateurs finaux, les professionnels de l'informatique, les fournisseurs, les intégrateurs et les prestataires de services que les pratiques de stockage permettant de résoudre les problèmes de conservation numérique à long terme des informations, d'archivage et de conformité intéressent.

Que devez-vous faire à présent ?

Le plus important est de commencer par prendre des mesures pour éviter de finir en situation de crise avec des térabits de données nécessitant une migration physique et/ou logique. Pour ce faire, le meilleur moyen consiste à suivre les conseils de la section « Solutions intermédiaires » et d’y ajouter l’utilisation de standards ouverts si possible. Les standards ouverts vous offrent davantage d’options lors d’une migration et contribuent à éviter les blocages.

Si toutefois votre entreprise ne l’a pas déjà fait, étudiez la mise en œuvre d’une classification de vos données pour mieux les connaître et pour mettre en place une gestion du cycle de vie. Recherchez ensuite des solutions, matérielles et logicielles susceptibles de renforcer votre politique et de simplifier le processus de migration physique. En prenant ces mesures dès maintenant, vous serez bien placés pour profiter des nouveaux standards d’archivage à long terme lorsqu’ils prendront forme dans les années à venir.

Gary Zasman

Gary Zasman
Directeur Worldwide Practice
NetApp

Gary dirige l’équipe spécialisée dans les aspects de conformité de stockage et d’archivage à long terme (Long Term Archive and Compliance Storage Initiative ou LTACSI) au sein de la SNIA. Il est également à la tête du développement des pratiques NetApp au niveau mondial destinées aux applications professionnelles et àl’intégration des bases de données. Avant de rejoindre NetApp en 2006, Gary a occupé différentes fonctions auprès de fournisseurs majeurs de solutions de stockage spécialisés dans le développement de solutions ILM et le conseil. En 2001, une des équipes de travail de Gary a été sélectionnée pour la finale du prestigieux Computerworld Smithsonian Award pour le développement d’un historique visuel d’archivage numérique.

Explore