Le Big Data désigne l'analyse de jeux de données volumineux et variés (datasets) afin d'y détecter des modèles cachés, des corrélations inconnues, des tendances du marché, des préférences clients et d'autres informations utiles à la prise de décision. On parle aussi de mégadonnées.
Le Big Data se caractérise souvent par les 3 V : le volume des données, la vélocité à laquelle elles arrivent, et la variété de leurs formats. Qu'elles soient structurées ou non, générées par l'homme ou la machine, stockées dans le data center ou le cloud, les données constituent la nouvelle base de l'avantage concurrentiel.
Au cours des prochaines années, la transformation digitale va redessiner l'économie, car l'essentiel du chiffre d'affaires des entreprises gravitera autour de produits et de services digitaux. La gestion des données et le stockage font partie intégrante de toute stratégie de données.
Le Big Data collecte, traite et analyse de grands volumes de données grâce à des outils spécialisés adaptés à leur échelle et à leur diversité. Les données non structurées et semi-structurées ne conviennent pas aux data warehouses classiques, qui reposent sur des bases de données relationnelles orientées jeux de données structurés. Ces entrepôts peinent aussi à traiter des datasets Big Data mis à jour de façon fréquente ou continue.
C'est pourquoi de nombreuses entreprises se tournent vers des bases de données NoSQL et vers Hadoop et ses outils associés :
Les utilisateurs de l'analytique Big Data adoptent de plus en plus le data lake Hadoop comme référentiel principal des flux de données brutes entrantes. Dans ces architectures, les données sont analysées directement dans un cluster Hadoop ou via un moteur de traitement tel que Spark, y compris pour le traitement de flux en temps réel.
L'écosystème Big Data réunit de nombreux fournisseurs par segment :
| Segment | Principaux fournisseurs |
|---|---|
| Distributions logicielles Hadoop/Apache | Cloudera, HortonWorks, MapR |
| Gestion des applications, sécurité, conformité | Splunk |
| Spark | DataBricks |
| Bases de données NoSQL | Aerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis Labs |
| Analytique cloud | Amazon EMR, Azure HDInsight, Google Cloud Platform |
| Composants open source | Druid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper |
Le Big Data et le data warehouse répondent à deux besoins distincts. Un data warehouse organise des données structurées pour l'analyse décisionnelle. Une architecture Big Data traite en plus des données non structurées et semi-structurées, à grande vélocité et à grand volume.
| Critère | Data warehouse | Big Data |
|---|---|---|
| Type de données | Structurées | Structurées, semi-structurées, non structurées |
| Modèle de stockage | Base relationnelle | Data lake, NoSQL, stockage objet |
| Fréquence de mise à jour | Par lots planifiés | Fréquente ou continue |
| Traitement | Requêtes SQL | Hadoop, Spark, traitement distribué |
Le Big Data crée de la valeur à tous les niveaux de l'entreprise. Il ouvre la voie à de nouvelles sources de revenus, à un marketing plus ciblé, à un service client optimisé, à une meilleure efficacité opérationnelle et à un avantage concurrentiel renforcé.
Les équipes IT et analytiques subissent une forte pression pour exploiter cette richesse de données, avec des contraintes de temps, de budget et de compétences. Les données sont distribuées, dynamiques et diversifiées entre data centers et cloud. Cette situation met sous tension les équipes d'infrastructure comme les data scientists, ingénieurs et architectes, qui doivent collecter et analyser les données en temps réel depuis des sources multiples.
Pour gérer ces datasets volumineux, une plateforme de gestion des données à hautes performances est nécessaire. Une base logicielle unifiée comme NetApp® ONTAP® aide à gérer et déplacer ces données de façon cohérente entre environnements.
Selon une enquête de Datameer réalisée en 2016, 78 % des entreprises interrogées estimaient que le Big Data transformerait leur activité dans un délai de un à trois ans.
Le Big Data s'appuie sur plusieurs familles de technologies, chacune adaptée à un type de données ou de traitement :
Le Big Data apporte des bénéfices commerciaux concrets. Voici ses principaux avantages :
Le Big Data comporte aussi des limites à anticiper :
Les applications d'analytique Big Data servent les data scientists, les modélisateurs prédictifs, les statisticiens et d'autres professionnels. Ils analysent des volumes croissants de données transactionnelles structurées, mêlées à des données semi-structurées et non structurées.
Le Big Data accélère l'analyse des données machine en temps réel. Il aide les entreprises à détecter les cyberattaques avant qu'elles ne causent des dommages et à prévenir les fraudes, sans nuire à l'expérience client. Ces données incluent les journaux de serveurs web et les données captées par des capteurs connectés à l'Internet des objets (IoT).
Le Big Data exploite rapidement les données clients à des fins de veille stratégique. Il s'appuie sur les parcours de navigation, le contenu des médias sociaux, les textes d'e-mails et les réponses aux enquêtes pour améliorer la satisfaction et guider les futures offres de services.
Le Big Data alimente la modélisation prédictive à partir d'un mélange de sources structurées et non structurées, comme les enregistrements détaillés d'appels mobiles. Il permet aux équipes d'élargir la portée de leurs analyses au lieu de les limiter.
Un projet Big Data repose sur quatre prérequis. Chacun conditionne la réussite de l'analyse à grande échelle :
Côté stockage, le stockage générique de première génération (le stockage DAS) n'offre ni l'évolutivité, ni la fiabilité, ni la flexibilité nécessaires. Les plateformes de stockage partagé et externe optimisent l'évolutivité et les performances en déplaçant les données là où elles sont utiles, tout en les protégeant en permanence. Obtenir rapidement des informations exploitables à partir des données devient alors possible. Une capacité renforcée de suivi passe aussi par les informations exploitables à partir des données.
Un data warehouse repose sur des bases relationnelles orientées données structurées. Le Big Data couvre en plus les données non structurées et semi-structurées, souvent traitées dans un data lake Hadoop ou via un moteur comme Spark.
Le Big Data collecte, traite et analyse de grands volumes de données via des outils comme Hadoop, MapReduce et Apache Spark, souvent depuis un data lake servant de référentiel central pour les données brutes entrantes.
Un data lake Hadoop est un référentiel central des flux de données brutes entrantes. Les données y sont analysées directement dans un cluster Hadoop ou via un moteur de traitement tel que Spark.
Les cas d'usage couvrent l'analyse en temps réel des données machine, la détection des fraudes et cyberattaques, le marketing ciblé et l'exploitation des données clients pour améliorer les services.
Un projet Big Data requiert des sources de données variées, une capacité de calcul et de stockage évolutive, des équipes de data scientists et d'ingénieurs, et des compétences en outils comme Hadoop et Spark.
Les projets Big Data ont besoin de stockage partagé et évolutif plutôt que de stockage DAS générique. Des plateformes comme celles de NetApp déplacent les données là où elles sont utiles tout en assurant leur protection et leur sécurité.
La plateforme innovante d'analytique Big Data de NetApp double les performances en déplaçant les données et les workloads de manière fluide et sécurisée vers le cloud ou là où ils sont utiles, tout en assurant la sauvegarde, la sécurité et la disponibilité des données. Avec NetApp, vous pouvez réduire jusqu'à 50 % les frais de licence, les coûts matériels et le TCO global, en optimisant l'utilisation des ressources et en éliminant les copies de données inutiles.