Salta al contenuto principale

cosa sono i big data?

Argomenti

Condivi questa pagina

I big data sono set di dati estesi e diversificati, strutturati e non strutturati, troppo grandi o troppo rapidi per gli strumenti tradizionali. L'analisi dei big data li esamina per scoprire modelli nascosti, correlazioni, trend di mercato e informazioni utili a prendere decisioni aziendali più informate.

I dati sono la nuova base del vantaggio competitivo. Strutturati o non strutturati, generati da esseri umani o da macchine, archiviati nel data center o nel cloud, rappresentano il punto di partenza per competere. La gestione e lo storage dei dati sono parte integrante della strategia dati di un'organizzazione.

Nei prossimi anni la trasformazione digitale ridefinirà le organizzazioni, poiché la maggior parte del fatturato ruoterà attorno a prodotti e servizi digitali o basati sul digitale.

Come funzionano i big data?

I big data funzionano raccogliendo dati da molte origini, archiviandoli in repository scalabili ed elaborandoli con motori distribuiti che lavorano in parallelo. I dati non strutturati e semi-strutturati non si adattano bene ai data warehouse tradizionali, basati su database relazionali orientati a dati strutturati.

I leader IT e i team di analisi subiscono una forte pressione: enormi volumi di dati, tempo, competenze e budget limitati. I dati diventano sempre più distribuiti, dinamici e diversificati tra data center e cloud. Questa proliferazione mette in difficoltà i team di infrastruttura e i data scientist, che devono raccogliere e analizzare i dati in tempo reale da origini diverse.

Molte organizzazioni si affidano a database NoSQL e a Hadoop con i relativi strumenti complementari:

  • YARN. Tecnologia di gestione dei cluster, una delle funzionalità chiave di Hadoop di seconda generazione.
  • MapReduce. Modello di programmazione per elaborare e generare insiemi di big data con un algoritmo distribuito parallelo su un cluster.
  • Apache Spark. Motore veloce e generico per l'elaborazione dei big data, con moduli integrati per streaming, SQL, machine learning ed elaborazione di grafi.
  • HBase. Database open source non relazionale e distribuito, modellato su Bigtable di Google.
  • Apache Hive. Progetto di data warehouse basato su Apache Hadoop per riepiloghi, query e analisi dei dati.
  • Kafka. Piattaforma di streaming analytics open source sviluppata da Apache Software Foundation.
  • Pig. Tecnologia open source con un meccanismo di alto livello per la programmazione parallela dei processi MapReduce sui cluster Hadoop.

Gli utenti adottano sempre più il concetto di data lake Hadoop, il repository principale per i flussi di dati non elaborati in entrata. I dati possono essere analizzati direttamente nel cluster Hadoop o elaborati da un motore come Spark.

L'ecosistema dei big data comprende numerosi segmenti e vendor:

SegmentoVendor principali
Distribuzioni software Hadoop/ApacheCloudera, HortonWorks, MapR
Gestione, sicurezza e conformità delle applicazioniSplunk
SparkDataBricks
Database NoSQLAerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis labs
Cloud analyticsAmazon EMR, Azure HDInsights, Google Cloud Platform
Componenti open sourceDruid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper

Big data e data warehouse tradizionale a confronto

I big data e i data warehouse tradizionali servono a scopi diversi. Il data warehouse organizza dati strutturati per report e query note; i big data gestiscono anche dati non strutturati e semi-strutturati, con volumi e velocità superiori.

CaratteristicaData warehouse tradizionaleBig data
Tipo di datiStrutturatiStrutturati, semi-strutturati, non strutturati
ModelloDatabase relazionaleData lake, NoSQL, data lakehouse
AggiornamentoPeriodico, in batchFrequente o continuo, anche in streaming
ScalabilitàLimitataElevata, orizzontale
OriginiPoche e definiteMolte ed eterogenee

Perché i big data sono importanti

I big data sono importanti perché trasformano dati grezzi in decisioni. Un'analisi tempestiva apre nuove opportunità di ricavo, un marketing più mirato, un servizio clienti migliore e una maggiore efficienza operativa rispetto ai concorrenti.

Secondo un sondaggio condotto da Datameer nel 2016, il 78% delle aziende concordava sul fatto che i big data avrebbero potuto modificare radicalmente il proprio modo di fare business nell'arco di 1 o 3 anni.

Le caratteristiche dei big data: le V

I big data si descrivono spesso attraverso alcune caratteristiche fondamentali, note come le "V". Ogni caratteristica indica una dimensione da gestire nell'infrastruttura e nell'analisi.

  • Volume. La quantità di dati raccolti, spesso nell'ordine di terabyte o petabyte.
  • Velocità. La rapidità con cui i dati vengono generati e devono essere elaborati, fino allo streaming in tempo reale.
  • Varietà. La diversità dei formati: dati strutturati, semi-strutturati e non strutturati.
  • Veridicità. L'affidabilità e la qualità dei dati raccolti.
  • Valore. L'utilità concreta che l'analisi estrae dai dati.

Vantaggi e limiti dei big data

I big data offrono vantaggi misurabili ma comportano anche sfide operative. Conoscere entrambi aiuta a pianificare un'infrastruttura adeguata.

Vantaggi:

  • Nuove opportunità di ricavo grazie a informazioni prima nascoste.
  • Marketing più efficace e servizio clienti più valido.
  • Maggiore efficienza operativa e vantaggio competitivo.
  • Rilevamento più rapido di frodi e attacchi informatici.

Limiti:

  • Complessità nella raccolta e nell'integrazione di origini diverse.
  • Necessità di competenze specializzate, spesso scarse.
  • Costi di storage e di elaborazione che crescono con il volume.
  • Requisiti di governance, sicurezza e qualità dei dati.

Casi d'uso dei big data

Le applicazioni di analisi dei big data consentono a professionisti diversi di esaminare volumi crescenti di dati transazionali, semi-strutturati e non strutturati. Di seguito i casi d'uso principali.

Data scientist e team di analisi

Data scientist, modellatori predittivi e statistici analizzano dati clickstream, log dei server web, contenuti dei social media, testo delle e-mail e risposte ai sondaggi dei clienti per costruire modelli e previsioni.

Rilevamento di frodi e minacce

L'analisi in tempo reale dei dati generati dalle macchine aiuta a rilevare attacchi informatici prima che causino danni e a prevenire le frodi senza compromettere l'esperienza del cliente.

Esperienza e servizio clienti

Estrarre rapidamente informazioni di business intelligence dai dati dei clienti migliora i livelli di soddisfazione e orienta le future offerte di servizi.

Big data e Internet of Things

I sensori connessi all'Internet of Things (IoT) generano grandi volumi di machine data, tra cui registri dettagliati delle chiamate da cellulare, alimentando l'analisi dei big data su larga scala.

Requisiti per i big data: gestione e storage

I big data richiedono funzionalità di gestione dei dati di livello enterprise capaci di far fronte a set di dati molto estesi. Ottenere rapidamente informazioni dai dati con NetApp Data Infrastructure Insights è fondamentale per cogliere le opportunità, migliorare i profitti e gestire meglio il rischio.

Servono alcune condizioni di base:

  • Origini dati integrate, dal data center al cloud.
  • Storage scalabile e affidabile, oltre al DAS di prima generazione.
  • Competenze di data engineering e data science.
  • Governance, protezione e sicurezza dei dati.

L'approccio con storage commodity delle prime generazioni, cioè lo storage DAS, non scala in modo efficiente e non offre l'affidabilità richiesta man mano che queste applicazioni diventano essenziali. Le piattaforme con storage condiviso o esterno offrono maggiore scalabilità e performance, spostando i dati dove servono e mantenendoli protetti e sicuri.

Domande frequenti sui big data

Qual è la differenza tra big data e data warehouse tradizionale?

Un data warehouse tradizionale si basa su database relazionali e dati strutturati. I big data comprendono anche dati non strutturati e semi-strutturati, con volumi e velocità che i data warehouse gestiscono con difficoltà.

Come funziona l'analisi dei big data?

L'analisi dei big data raccoglie dati da più origini, li archivia in repository come i data lake e li elabora con motori distribuiti quali Hadoop e Apache Spark per individuare modelli e correlazioni.

Che cos'è un data lake Hadoop?

Un data lake Hadoop è il repository principale che raccoglie i flussi di dati non elaborati in entrata. I dati possono essere analizzati nel cluster Hadoop o elaborati da un motore come Spark.

Chi usa i big data?

Data scientist, statistici, modellatori predittivi e altri professionisti dell'analisi usano i big data per esaminare dati transazionali, contenuti social, log dei server e machine data generati da sensori IoT.

Che tipo di storage serve per i big data?

Le piattaforme di big data traggono vantaggio dallo storage condiviso o esterno, che offre scalabilità e performance superiori rispetto allo storage DAS delle prime generazioni.

Come aiuta NetApp con i big data?

Le piattaforme di big data richiedono scalabilità, protezione e mobilità dei dati. La piattaforma per l'analisi dei big data di NetApp sposta dati e carichi di lavoro dove servono, mantenendoli protetti e disponibili.

NetApp e i big data

I big data hanno bisogno di un'infrastruttura che sposti i dati in sicurezza e li mantenga sempre disponibili. La piattaforma per l'analisi dei big data di NetApp offre performance fino a due volte superiori, spostando dati e carichi di lavoro verso il cloud o ovunque siano necessari, con backup, protezione e disponibilità costanti.

Con NetApp puoi ridurre i costi di licenza, i costi hardware e il TCO complessivo fino al 50%, aumentando l'utilizzo delle risorse ed eliminando copie dei dati non necessarie.