Passer au contenu principal

Qu'est-ce que le Big Data ?

Rubriques

Partager cette page

Le Big Data désigne l'analyse de jeux de données volumineux et variés (datasets) afin d'y détecter des modèles cachés, des corrélations inconnues, des tendances du marché, des préférences clients et d'autres informations utiles à la prise de décision. On parle aussi de mégadonnées.

Le Big Data se caractérise souvent par les 3 V : le volume des données, la vélocité à laquelle elles arrivent, et la variété de leurs formats. Qu'elles soient structurées ou non, générées par l'homme ou la machine, stockées dans le data center ou le cloud, les données constituent la nouvelle base de l'avantage concurrentiel.

Au cours des prochaines années, la transformation digitale va redessiner l'économie, car l'essentiel du chiffre d'affaires des entreprises gravitera autour de produits et de services digitaux. La gestion des données et le stockage font partie intégrante de toute stratégie de données.

Comment fonctionne le Big Data ?

Le Big Data collecte, traite et analyse de grands volumes de données grâce à des outils spécialisés adaptés à leur échelle et à leur diversité. Les données non structurées et semi-structurées ne conviennent pas aux data warehouses classiques, qui reposent sur des bases de données relationnelles orientées jeux de données structurés. Ces entrepôts peinent aussi à traiter des datasets Big Data mis à jour de façon fréquente ou continue.

C'est pourquoi de nombreuses entreprises se tournent vers des bases de données NoSQL et vers Hadoop et ses outils associés :

  • YARN est une technologie de gestion de clusters, l'une des principales fonctionnalités des plateformes Hadoop de deuxième génération.
  • MapReduce est un modèle de programmation qui traite et génère des datasets Big Data avec un algorithme distribué parallèle sur un cluster.
  • Apache Spark est un moteur général qui accélère le traitement du Big Data, avec des modules pour le streaming, SQL, le machine learning et le traitement graphique.
  • HBase est une base de données distribuée non relationnelle open source, inspirée de Bigtable de Google.
  • Apache Hive est un projet logiciel de data warehouse bâti sur Apache Hadoop pour synthétiser, interroger et analyser les données.
  • Kafka est une plateforme de traitement de flux open source développée par l'Apache Software Foundation.
  • Pig est une technologie open source offrant un mécanisme de programmation parallèle des tâches MapReduce exécutées sur des clusters Hadoop.

Les utilisateurs de l'analytique Big Data adoptent de plus en plus le data lake Hadoop comme référentiel principal des flux de données brutes entrantes. Dans ces architectures, les données sont analysées directement dans un cluster Hadoop ou via un moteur de traitement tel que Spark, y compris pour le traitement de flux en temps réel.

L'écosystème Big Data réunit de nombreux fournisseurs par segment :

SegmentPrincipaux fournisseurs
Distributions logicielles Hadoop/ApacheCloudera, HortonWorks, MapR
Gestion des applications, sécurité, conformitéSplunk
SparkDataBricks
Bases de données NoSQLAerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis Labs
Analytique cloudAmazon EMR, Azure HDInsight, Google Cloud Platform
Composants open sourceDruid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper

Big Data et data warehouse : quelles différences ?

Le Big Data et le data warehouse répondent à deux besoins distincts. Un data warehouse organise des données structurées pour l'analyse décisionnelle. Une architecture Big Data traite en plus des données non structurées et semi-structurées, à grande vélocité et à grand volume.

CritèreData warehouseBig Data
Type de donnéesStructuréesStructurées, semi-structurées, non structurées
Modèle de stockageBase relationnelleData lake, NoSQL, stockage objet
Fréquence de mise à jourPar lots planifiésFréquente ou continue
TraitementRequêtes SQLHadoop, Spark, traitement distribué

Pourquoi le Big Data est-il important ?

Le Big Data crée de la valeur à tous les niveaux de l'entreprise. Il ouvre la voie à de nouvelles sources de revenus, à un marketing plus ciblé, à un service client optimisé, à une meilleure efficacité opérationnelle et à un avantage concurrentiel renforcé.

Les équipes IT et analytiques subissent une forte pression pour exploiter cette richesse de données, avec des contraintes de temps, de budget et de compétences. Les données sont distribuées, dynamiques et diversifiées entre data centers et cloud. Cette situation met sous tension les équipes d'infrastructure comme les data scientists, ingénieurs et architectes, qui doivent collecter et analyser les données en temps réel depuis des sources multiples.

Pour gérer ces datasets volumineux, une plateforme de gestion des données à hautes performances est nécessaire. Une base logicielle unifiée comme NetApp® ONTAP® aide à gérer et déplacer ces données de façon cohérente entre environnements.

Selon une enquête de Datameer réalisée en 2016, 78 % des entreprises interrogées estimaient que le Big Data transformerait leur activité dans un délai de un à trois ans.

Les types et architectures du Big Data

Le Big Data s'appuie sur plusieurs familles de technologies, chacune adaptée à un type de données ou de traitement :

  • Bases NoSQL : bases non relationnelles conçues pour les données semi-structurées et non structurées, comme Cassandra, MongoDB ou HBase.
  • Hadoop et data lake : référentiel central des données brutes, analysées dans un cluster ou via un moteur comme Spark.
  • Analytique cloud : services managés tels qu'Amazon EMR, Azure HDInsight et Google Cloud Platform.
  • Stockage objet : socle évolutif pour les données non structurées d'un data lake, où des solutions comme NetApp StorageGRID servent de référentiel. Le lakehouse combine les approches data lake et data warehouse.

Avantages et limites du Big Data

Le Big Data apporte des bénéfices commerciaux concrets. Voici ses principaux avantages :

  • Nouvelles opportunités de revenus grâce à une meilleure connaissance du marché.
  • Marketing plus ciblé et service client optimisé.
  • Efficacité opérationnelle accrue et détection plus rapide des fraudes.
  • Décisions plus rapides grâce à l'analyse en temps réel.

Le Big Data comporte aussi des limites à anticiper :

  • Qualité et gouvernance des données à maintenir sur des sources hétérogènes.
  • Complexité de l'infrastructure et des compétences requises.
  • Coûts de stockage et de traitement qui augmentent avec le volume.
  • Enjeux de sécurité et de confidentialité sur des données sensibles.

Exemples de cas d'usage du Big Data

Les applications d'analytique Big Data servent les data scientists, les modélisateurs prédictifs, les statisticiens et d'autres professionnels. Ils analysent des volumes croissants de données transactionnelles structurées, mêlées à des données semi-structurées et non structurées.

Analyse en temps réel et données machine

Le Big Data accélère l'analyse des données machine en temps réel. Il aide les entreprises à détecter les cyberattaques avant qu'elles ne causent des dommages et à prévenir les fraudes, sans nuire à l'expérience client. Ces données incluent les journaux de serveurs web et les données captées par des capteurs connectés à l'Internet des objets (IoT).

Données clients et marketing

Le Big Data exploite rapidement les données clients à des fins de veille stratégique. Il s'appuie sur les parcours de navigation, le contenu des médias sociaux, les textes d'e-mails et les réponses aux enquêtes pour améliorer la satisfaction et guider les futures offres de services.

Science des données et modélisation prédictive

Le Big Data alimente la modélisation prédictive à partir d'un mélange de sources structurées et non structurées, comme les enregistrements détaillés d'appels mobiles. Il permet aux équipes d'élargir la portée de leurs analyses au lieu de les limiter.

Que faut-il pour déployer le Big Data ?

Un projet Big Data repose sur quatre prérequis. Chacun conditionne la réussite de l'analyse à grande échelle :

  • Des données : des sources variées, structurées comme non structurées, collectées depuis le data center et le cloud.
  • De la puissance de calcul et du stockage : une capacité évolutive capable d'absorber des datasets volumineux et des mises à jour continues.
  • Des équipes : data scientists, ingénieurs et architectes pour collecter, préparer et analyser les données.
  • Des compétences : maîtrise d'outils comme Hadoop, Spark et les bases NoSQL.

Côté stockage, le stockage générique de première génération (le stockage DAS) n'offre ni l'évolutivité, ni la fiabilité, ni la flexibilité nécessaires. Les plateformes de stockage partagé et externe optimisent l'évolutivité et les performances en déplaçant les données là où elles sont utiles, tout en les protégeant en permanence. Obtenir rapidement des informations exploitables à partir des données devient alors possible. Une capacité renforcée de suivi passe aussi par les informations exploitables à partir des données.

Questions fréquentes sur le Big Data

Quelle est la différence entre le Big Data et un data warehouse ?

Un data warehouse repose sur des bases relationnelles orientées données structurées. Le Big Data couvre en plus les données non structurées et semi-structurées, souvent traitées dans un data lake Hadoop ou via un moteur comme Spark.

Comment fonctionne le Big Data ?

Le Big Data collecte, traite et analyse de grands volumes de données via des outils comme Hadoop, MapReduce et Apache Spark, souvent depuis un data lake servant de référentiel central pour les données brutes entrantes.

Qu'est-ce qu'un data lake Hadoop ?

Un data lake Hadoop est un référentiel central des flux de données brutes entrantes. Les données y sont analysées directement dans un cluster Hadoop ou via un moteur de traitement tel que Spark.

Quels sont les cas d'usage du Big Data ?

Les cas d'usage couvrent l'analyse en temps réel des données machine, la détection des fraudes et cyberattaques, le marketing ciblé et l'exploitation des données clients pour améliorer les services.

Que faut-il pour déployer un projet Big Data ?

Un projet Big Data requiert des sources de données variées, une capacité de calcul et de stockage évolutive, des équipes de data scientists et d'ingénieurs, et des compétences en outils comme Hadoop et Spark.

Quel stockage utiliser pour le Big Data ?

Les projets Big Data ont besoin de stockage partagé et évolutif plutôt que de stockage DAS générique. Des plateformes comme celles de NetApp déplacent les données là où elles sont utiles tout en assurant leur protection et leur sécurité.

NetApp et le Big Data

La plateforme innovante d'analytique Big Data de NetApp double les performances en déplaçant les données et les workloads de manière fluide et sécurisée vers le cloud ou là où ils sont utiles, tout en assurant la sauvegarde, la sécurité et la disponibilité des données. Avec NetApp, vous pouvez réduire jusqu'à 50 % les frais de licence, les coûts matériels et le TCO global, en optimisant l'utilisation des ressources et en éliminant les copies de données inutiles.

Qu'est-ce que le Big Data ? Définition et cas d'usage | NetApp