I big data sono set di dati estesi e diversificati, strutturati e non strutturati, troppo grandi o troppo rapidi per gli strumenti tradizionali. L'analisi dei big data li esamina per scoprire modelli nascosti, correlazioni, trend di mercato e informazioni utili a prendere decisioni aziendali più informate.
I dati sono la nuova base del vantaggio competitivo. Strutturati o non strutturati, generati da esseri umani o da macchine, archiviati nel data center o nel cloud, rappresentano il punto di partenza per competere. La gestione e lo storage dei dati sono parte integrante della strategia dati di un'organizzazione.
Nei prossimi anni la trasformazione digitale ridefinirà le organizzazioni, poiché la maggior parte del fatturato ruoterà attorno a prodotti e servizi digitali o basati sul digitale.
I big data funzionano raccogliendo dati da molte origini, archiviandoli in repository scalabili ed elaborandoli con motori distribuiti che lavorano in parallelo. I dati non strutturati e semi-strutturati non si adattano bene ai data warehouse tradizionali, basati su database relazionali orientati a dati strutturati.
I leader IT e i team di analisi subiscono una forte pressione: enormi volumi di dati, tempo, competenze e budget limitati. I dati diventano sempre più distribuiti, dinamici e diversificati tra data center e cloud. Questa proliferazione mette in difficoltà i team di infrastruttura e i data scientist, che devono raccogliere e analizzare i dati in tempo reale da origini diverse.
Molte organizzazioni si affidano a database NoSQL e a Hadoop con i relativi strumenti complementari:
Gli utenti adottano sempre più il concetto di data lake Hadoop, il repository principale per i flussi di dati non elaborati in entrata. I dati possono essere analizzati direttamente nel cluster Hadoop o elaborati da un motore come Spark.
L'ecosistema dei big data comprende numerosi segmenti e vendor:
| Segmento | Vendor principali |
|---|---|
| Distribuzioni software Hadoop/Apache | Cloudera, HortonWorks, MapR |
| Gestione, sicurezza e conformità delle applicazioni | Splunk |
| Spark | DataBricks |
| Database NoSQL | Aerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis labs |
| Cloud analytics | Amazon EMR, Azure HDInsights, Google Cloud Platform |
| Componenti open source | Druid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper |
I big data e i data warehouse tradizionali servono a scopi diversi. Il data warehouse organizza dati strutturati per report e query note; i big data gestiscono anche dati non strutturati e semi-strutturati, con volumi e velocità superiori.
| Caratteristica | Data warehouse tradizionale | Big data |
|---|---|---|
| Tipo di dati | Strutturati | Strutturati, semi-strutturati, non strutturati |
| Modello | Database relazionale | Data lake, NoSQL, data lakehouse |
| Aggiornamento | Periodico, in batch | Frequente o continuo, anche in streaming |
| Scalabilità | Limitata | Elevata, orizzontale |
| Origini | Poche e definite | Molte ed eterogenee |
I big data sono importanti perché trasformano dati grezzi in decisioni. Un'analisi tempestiva apre nuove opportunità di ricavo, un marketing più mirato, un servizio clienti migliore e una maggiore efficienza operativa rispetto ai concorrenti.
Secondo un sondaggio condotto da Datameer nel 2016, il 78% delle aziende concordava sul fatto che i big data avrebbero potuto modificare radicalmente il proprio modo di fare business nell'arco di 1 o 3 anni.
I big data si descrivono spesso attraverso alcune caratteristiche fondamentali, note come le "V". Ogni caratteristica indica una dimensione da gestire nell'infrastruttura e nell'analisi.
I big data offrono vantaggi misurabili ma comportano anche sfide operative. Conoscere entrambi aiuta a pianificare un'infrastruttura adeguata.
Vantaggi:
Limiti:
Le applicazioni di analisi dei big data consentono a professionisti diversi di esaminare volumi crescenti di dati transazionali, semi-strutturati e non strutturati. Di seguito i casi d'uso principali.
Data scientist, modellatori predittivi e statistici analizzano dati clickstream, log dei server web, contenuti dei social media, testo delle e-mail e risposte ai sondaggi dei clienti per costruire modelli e previsioni.
L'analisi in tempo reale dei dati generati dalle macchine aiuta a rilevare attacchi informatici prima che causino danni e a prevenire le frodi senza compromettere l'esperienza del cliente.
Estrarre rapidamente informazioni di business intelligence dai dati dei clienti migliora i livelli di soddisfazione e orienta le future offerte di servizi.
I sensori connessi all'Internet of Things (IoT) generano grandi volumi di machine data, tra cui registri dettagliati delle chiamate da cellulare, alimentando l'analisi dei big data su larga scala.
I big data richiedono funzionalità di gestione dei dati di livello enterprise capaci di far fronte a set di dati molto estesi. Ottenere rapidamente informazioni dai dati con NetApp Data Infrastructure Insights è fondamentale per cogliere le opportunità, migliorare i profitti e gestire meglio il rischio.
Servono alcune condizioni di base:
L'approccio con storage commodity delle prime generazioni, cioè lo storage DAS, non scala in modo efficiente e non offre l'affidabilità richiesta man mano che queste applicazioni diventano essenziali. Le piattaforme con storage condiviso o esterno offrono maggiore scalabilità e performance, spostando i dati dove servono e mantenendoli protetti e sicuri.
Un data warehouse tradizionale si basa su database relazionali e dati strutturati. I big data comprendono anche dati non strutturati e semi-strutturati, con volumi e velocità che i data warehouse gestiscono con difficoltà.
L'analisi dei big data raccoglie dati da più origini, li archivia in repository come i data lake e li elabora con motori distribuiti quali Hadoop e Apache Spark per individuare modelli e correlazioni.
Un data lake Hadoop è il repository principale che raccoglie i flussi di dati non elaborati in entrata. I dati possono essere analizzati nel cluster Hadoop o elaborati da un motore come Spark.
Data scientist, statistici, modellatori predittivi e altri professionisti dell'analisi usano i big data per esaminare dati transazionali, contenuti social, log dei server e machine data generati da sensori IoT.
Le piattaforme di big data traggono vantaggio dallo storage condiviso o esterno, che offre scalabilità e performance superiori rispetto allo storage DAS delle prime generazioni.
Le piattaforme di big data richiedono scalabilità, protezione e mobilità dei dati. La piattaforma per l'analisi dei big data di NetApp sposta dati e carichi di lavoro dove servono, mantenendoli protetti e disponibili.
I big data hanno bisogno di un'infrastruttura che sposti i dati in sicurezza e li mantenga sempre disponibili. La piattaforma per l'analisi dei big data di NetApp offre performance fino a due volte superiori, spostando dati e carichi di lavoro verso il cloud o ovunque siano necessari, con backup, protezione e disponibilità costanti.
Con NetApp puoi ridurre i costi di licenza, i costi hardware e il TCO complessivo fino al 50%, aumentando l'utilizzo delle risorse ed eliminando copie dei dati non necessarie.