NetApp Tech OnTap Logo NetApp
NetApp Tech OnTap
     
Focus sur la compaction des données à la volée
Skip Shapiro
Skip Shapiro
Ingénieur Marketing et technique, systèmes AFF et ONTAP Flash
NetApp

ONTAP® 9 s'est enrichi d'une nouvelle fonctionnalité d'efficacité du stockage appelée compaction des données à la volée. Ce concept étant nouveau pour beaucoup, j'ai pensé que cet article était l'occasion d'expliquer son principe de fonctionnement et son mode d'interaction avec nos autres fonctions d'efficacité du stockage.

La compaction agit sur les données de manière chronologique, c'est-à-dire au fur et à mesure de leur arrivée dans le contrôleur de stockage. Avec les données toujours dans la mémoire du contrôleur, les segments de données qui occuperaient normalement un bloc de 4 Ko chacun de stockage physique sont compactés. Grâce à la compaction, il est possible de stocker plusieurs segments sur un seul bloc physique de 4 Ko. La compaction, c'est un peu comme faire sa valise ou charger un coffre de voiture avant le départ en vacances... Nous arrivons à détecter les E/S qui comprennent probablement beaucoup de zéros, c'est-à-dire des espaces vides, et à supprimer ces espaces vides pour les utiliser. C'est le principe de la compaction.

La compaction des données à la volée se produit lors du processus de création du point de cohérence ONTAP. C'est un processus comparable à Tetris : j'ai des petites E/S. Est-ce que je peux en placer au moins deux dans une case physique avant de les placer sur le support de stockage ? Notre technologie de compaction des données à la volée est protégée par plusieurs brevets. La méthode que nous utilisons est innovante. Tous nos systèmes AFF incluent la compaction. Sur les systèmes FAS, il s'agit d'une fonctionnalité en option que vous pouvez activer avec des agrégats de disques durs uniquement ou des agrégats NetApp Flash Pool. Dans ces deux cas, la compaction est intégrée à ONTAP sans frais supplémentaires, au même titre que la compression et la déduplication.

La compaction renforce l'efficacité du stockage. Elle est indépendante de la déduplication, mais un réel complément de la compression adaptative à la volée. Avec la compression, des groupes de compression sont créés lorsque le volume des données peut être compressé de plus de 50 %. Une fois les données compressées, on cherche à les compacter en regroupant plusieurs petits segments de données ou des gros segments et des plus petits dans un seul bloc physique. Étant donné qu'elle fait partie intégrante du processus de point de cohérence, la compaction consomme très peu de ressources de processeur, 1 % à 2 % tout au plus. Vous ne devriez jamais vous retrouver dans une situation où vous dépassez vos capacités à cause d'un contrôleur qui utilise 1 à 2 % du processeur. Si c'est le cas, c'est que votre système est déjà surchargé.

Bien que la compression et la compaction fonctionnent très bien ensemble, il n'est pas nécessaire qu'elles soient réalisées simultanément. Par exemple, la compaction s'avère particulièrement utile pour un volume comportant un grand nombre de petits fichiers, lequel ne retirerait qu'un avantage limité de la compression.

Sur le plan de la logique, le processus d'efficacité du stockage fonctionne comme indiqué ci-après au fur et à mesure que les données arrivent dans le contrôleur de stockage (en supposant que toutes les fonctions d'efficacité sont activées) :

  1. Tout d'abord, tous les blocs qui ne comprennent que des zéros sont détectés. Pour ces blocs, rien n'est écrit. Les métadonnées sont simplement mises à jour. Pour l'essentiel, ces blocs servent de valeur de référence.
  2. Ensuite, nous appliquons la compression adaptative à la volée. Ce processus détermine de manière très efficace si le bloc peut être compressé d'au moins 50 %. On ne gaspille pas de cycles de processeur à essayer de compresser à moins de 49 % (ce qui ne permettrait aucun gain de compaction).
  3. La déduplication à la volée est alors effectuée. Cette fonctionnalité est une nouveauté d'ONTAP 8.3.2, version dans laquelle seules les données en mémoire étaient comparées et dédupliquées à la volée. Avec ONTAP 9.0, nous avons augmenté la taille du magasin d'empreintes pour inclure les données récemment écrites sur le support de stockage. Pour optimiser les gains résultant de la déduplication, une bonne pratique consiste à effectuer également une déduplication en arrière-plan (post-processus).
  4. La compaction des données est la dernière étape. Toutes les données compressées par compression adaptative ou ignorées pour la compression peuvent être compactées. En d'autres termes, les petits fichiers non compressés ou les données compressées à environ 75 % ou plus par compression adaptative à la volée peuvent être compactés. La compaction regroupe au moins deux de ces segments dans un seul bloc physique de 4 Ko avant d'envoyer ce bloc pour stockage. Plus le taux de compression est élevé et plus les fichiers sont petits, plus le taux de compaction est élevé. Ainsi, il est possible d'obtenir un excellent effet multiplicateur lors de l'utilisation combinée de petits blocs, de la compression et de la compaction.

Vous ne pourrez probablement pas déterminer l'impact qu'aura la compaction tant que vous ne l'aurez pas utilisée. La compaction à la volée est un processus heuristique au sein d'un point de cohérence. Elle échantillonne les 100 premières E/S qui arrivent pour déterminer le taux de compaction, puis applique ce taux aux 100 suivantes. Si le taux de compaction augmente, le processus part du principe que le taux va être supérieur pour les E/S suivantes. S'il baisse, il abaisse le taux en conséquence. Au point de cohérence suivant, le processus redémarre. Il s'agit d'un processus itératif qui vise à minimiser l'utilisation du processeur avec un taux de compaction aussi élevé que possible.

Figure 1) Fonctionnalités d'efficacité du stockage à la volée de NetApp appliquées à mesure que les données passent dans la pile ONTAP.

Source : NetApp, 2016

Vous avez la possibilité d'utiliser la compaction à la volée seule (sans compression ni déduplication) si vous le souhaitez. Supposons que votre environnement comporte uniquement des petits fichiers, c'est-à-dire des fichiers de 2 Ko ou moins. Ces petits fichiers ne peuvent pas être compressés, et il est peu probable que la déduplication soit bénéfique. En revanche, la compaction des données à la volée s'accompagne de gains d'espace lorsqu'au moins deux fichiers peuvent être stockés dans un bloc physique de 4 Ko.

En ce qui concerne la réplication des données logiques, si les volumes source et de destination sont soumis aux mêmes règles d'efficacité, les gains d'espace sont conservés, sans réhydratation. Prenons l'exemple d'un système AFF avec toutes les options d'efficacité de stockage activées (configuration par défaut) réalisant une réplication vers un système FAS utilisé comme destination NetApp SnapVault®. Pour conserver les gains d'espace résultant de la déduplication, de la compression adaptative et de la compaction des données à la volée, toutes ces règles doivent également être activées sur le système de destination.

Inversement, si aucune des règles d'économie d'espace n'est activée sur le système FAS de destination et que vous répliquez des données à partir d'un système AFF sous ONTAP 9, le volume des données augmente lors de l'écriture vers la destination. Vous n'avez alors ni blocs compressés, ni blocs dédupliqués. Ainsi, pour conserver les gains d'espace, vous devez avoir les mêmes règles d'efficacité du stockage activées sur le volume source et sur le volume de destination. À ce sujet, nous conseillons d'activer toutes les fonctionnalités d'efficacité sur les volumes de destination lors de la réplication à partir d'un système source AFF, ce qui permet de conserver les gains d'espace sur la destination.

Récapitulons. La compaction des données à la volée n'altère d'aucune manière les données logiques. Nous avons simplement trouvé un moyen d'empaqueter les données plus efficacement. Sauf si votre environnement comporte exclusivement des petits fichiers, la compaction peut être assimilée à un multiplicateur de l'effet de la compression adaptative à la volée. La compaction peut vous être utile si vos E/S sont incomplètes. Avec une faible surcharge sur le processeur et plus d'espace pour stocker les données, la compaction des données à la volée est incontournable pour les systèmes AFF.

Skip Shapiro, ingénieur Marketing et technique chez NetApp, est responsable de la technologie des systèmes AFF, Flash Pool et Flash Cache. Il animera une session technique au cours de NetApp Insight®, à Las Vegas et à Berlin. Pour plus d'informations :

NetApp Insight Las Vegas (26-29 septembre) :
NetApp ONTAP 9 : performances prévisibles dans les environnements métier basés sur les SLA
Focus technique sur les AFF

NetApp Insight Berlin (14-17 novembre) :
NetApp ONTAP 9 : performances prévisibles dans les environnements métier basés sur les SLA
Focus technique sur les AFF

octobre 2016

 
Nous contacter   |   Choisir un partenaire   |   Commentaires   |   Offres d'emploi  |   Abonnements   |   Déclaration de confidentialité   |   © 2016 NetApp