Big Data bezeichnet die Analyse großer und vielfältiger Datensätze, um verborgene Muster, unbekannte Korrelationen, Markttrends, Kundenpräferenzen und andere nützliche Informationen aufzudecken. Unternehmen treffen damit fundierte Geschäftsentscheidungen.
Daten sind heute ein Wettbewerbsvorteil, ganz gleich, ob sie strukturiert oder unstrukturiert sind, von Mensch oder Maschine erzeugt oder im Datacenter oder in der Cloud gespeichert werden. Bereits jetzt gestaltet die digitale Transformation Unternehmen neu, da sich ein Großteil der weltweiten Umsätze auf digitale Produkte und Services verlagert.
Datenmanagement und Datenspeicherung sind fester Bestandteil der Datenstrategie eines Unternehmens.
Big Data funktioniert durch das Erfassen, Speichern und Analysieren großer Datenmengen mit verteilten Technologien. Unstrukturierte und halbstrukturierte Datentypen passen schlecht in klassische Data Warehouses, die auf relationalen Datenbanken für strukturierte Datensätze basieren. Solche Data Warehouses bewältigen die Verarbeitungsanforderungen von Big Data oft nicht, das häufig oder kontinuierlich aktualisiert wird.
Viele Unternehmen setzen daher auf NoSQL-Datenbanken sowie auf Hadoop und die zugehörigen Tools:
Immer häufiger nutzen Anwender das Konzept eines Hadoop Data Lake als primäres Repository für eingehende Rohdatenströme. In solchen Architekturen lassen sich Daten direkt in einem Hadoop-Cluster analysieren oder über eine Engine wie Spark verarbeiten. Für die Speicherung großer unstrukturierter Datenmengen bietet NetApp StorageGRID objektbasierten Speicher.
Das folgende Ökosystem zeigt gängige Anbieter je Segment.
| Segment | Wichtige Anbieter |
|---|---|
| Big Data Analytics, Hadoop- und Apache-Softwaredistributionen | Cloudera, HortonWorks, MapR |
| Applikationsmanagement, Sicherheit, Compliance | Splunk |
| Spark | DataBricks |
| NoSQL-Datenbanken | Aerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis Labs |
| Cloud-Analysen | Amazon EMR, Azure HDInsights, Google Cloud Platform |
| Open-Source-Komponenten | Druid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper |
Big Data und ein Data Warehouse werden häufig verwechselt, verfolgen aber unterschiedliche Ziele. Ein Data Warehouse speichert bereinigte, strukturierte Daten für Berichte. Big Data umfasst zusätzlich unstrukturierte und halbstrukturierte Daten in sehr großem Umfang. Die folgende Tabelle stellt die wichtigsten Merkmale gegenüber.
| Merkmal | Big Data | Data Warehouse |
|---|---|---|
| Datentypen | strukturiert, halbstrukturiert, unstrukturiert | überwiegend strukturiert |
| Datenquelle | viele verteilte Quellen in Echtzeit | definierte, relationale Systeme |
| Verarbeitung | verteilt und parallel, etwa mit Hadoop | zentral, auf relationalen Datenbanken |
| Datenmenge | sehr groß und schnell wachsend | begrenzt und geplant |
| Zweck | Muster erkennen, Data Lake, Data Lakehouse | Business Intelligence (BI) und Reporting |
Big Data ist wichtig, weil Daten heute über Datacenter und Cloud verteilt, dynamisch und vielfältig sind. IT-Führungskräfte und Analyseteams stehen unter Druck, diese Datenmengen zu nutzen und daraus Wert zu schaffen, und das mit begrenzter Zeit, begrenzten Fähigkeiten und begrenztem Budget.
Diese Situation stellt Infrastrukturteams vor Herausforderungen, die diese Daten speichern und schützen. Ebenso betrifft sie Data Scientists, Data Engineers und Architekten, die Daten aus vielen Quellen in Echtzeit erfassen und analysieren müssen. Angesichts der Datenflut werden Analyseteams oft gebeten, den Umfang der Analyse zu begrenzen oder tagelang auf die richtigen Daten zu warten.
Mit den passenden Analysesystemen weist Big Data auf konkrete geschäftliche Vorteile hin: neue Umsatzchancen, wirksameres Marketing, besseren Kundenservice, höhere betriebliche Effizienz und Vorteile gegenüber Mitbewerbern.
Big Data lässt sich nach der Struktur der Daten unterteilen. Diese Arten bestimmen, wie Daten gespeichert und verarbeitet werden.
Big Data wird häufig über drei Merkmale beschrieben, die drei V:
Big Data bietet klare Vorteile, bringt aber auch Grenzen mit sich, die Unternehmen einplanen sollten.
Vorteile:
Grenzen:
Big-Data-Analysen ermöglichen Data Scientists, Statistikern und anderen Fachleuten, wachsende Mengen strukturierter Transaktionsdaten sowie halb- und unstrukturierter Daten auszuwerten. Dazu zählen Clickstream-Daten, Webserver-Protokolle, Social-Media-Inhalte, Texte aus Kunden-E-Mails, Umfrageantworten und Maschinendaten.
Echtzeitanalyse verarbeitet Maschinendaten im Moment ihrer Entstehung. Unternehmen gewinnen so schnell Business Intelligence aus Kundendaten und steigern die Kundenzufriedenheit.
Big Data beschleunigt die Analyse von Maschinendaten und hilft, Cyberangriffe zu erkennen, bevor sie Schaden anrichten. Betrug lässt sich verhindern, ohne die Kundenerfahrung zu beeinträchtigen.
Sensoren, die mit dem Internet der Dinge (IoT) verbunden sind, erzeugen fortlaufend Maschinendaten. Diese Daten liefern die Grundlage für vorausschauende Analysen und Detaildatensätze, etwa für Mobilfunkverbindungen.
Big Data erfordert Datenmanagement-Funktionen der Enterprise-Klasse, um umfangreiche Datensätze zu bewältigen. Das schnelle Erkenntnisse aus Daten gewinnen ist entscheidend, um Chancen zu nutzen, Gewinne zu steigern und Risiken besser zu managen.
Für Big Data sind vier Voraussetzungen zentral:
Der DAS-Ansatz der ersten Generation skaliert nicht effizient und bietet nicht die nötige Zuverlässigkeit. Für unternehmenskritische Anwendungen verschiebt gemeinsam genutzter Storage Daten unterbrechungsfrei dorthin, wo sie gebraucht werden, und hält sie geschützt und sicher. Die Datenmanagement-Software NetApp® ONTAP® bildet dafür eine einheitliche Grundlage über Datacenter und Cloud hinweg.
Big Data bezeichnet große, vielfältige und schnell wachsende Datenmengen aus vielen Quellen. Ein Data Warehouse ist ein strukturiertes Repository für bereinigte, relationale Daten und verarbeitet unstrukturierte Daten nur schwer.
Big Data funktioniert durch das Erfassen, Speichern und Analysieren großer Datensätze mit verteilten Technologien wie Hadoop und Apache Spark. Rohdaten fließen in einen Data Lake und werden parallel über einen Cluster verarbeitet.
Big Data umfasst strukturierte Daten aus relationalen Datenbanken, unstrukturierte Daten wie Texte und Videos sowie halbstrukturierte Daten wie Protokolldateien. Diese Vielfalt beschreibt eines der drei V: Variety.
Big Data unterstützt Echtzeitanalysen, Betrugserkennung, die Abwehr von Cyberangriffen und die Auswertung von Sensordaten aus dem Internet der Dinge. Unternehmen nutzen die Erkenntnisse für fundierte Geschäftsentscheidungen.
Big Data erfordert skalierbaren Speicher, ausreichend Rechenleistung, verteilte Verarbeitungstechnologien und Fachkräfte wie Data Scientists und Data Engineers. Gemeinsam genutzter Storage skaliert dabei besser als klassischer DAS-Storage.
Ein Data Lake dient als primäres Repository für eingehende Rohdaten. Anwender analysieren die Daten direkt im Cluster oder verarbeiten sie über eine Engine wie Apache Spark.
Big-Data-Analysen benötigen skalierbaren, sicheren Storage. Plattformen wie die Big-Data-Analyseplattform von NetApp verschieben Daten und Workloads zwischen Datacenter und Cloud und halten sie geschützt und verfügbar.
Die Big-Data-Analyseplattform von NetApp bietet eine bis zu doppelt so hohe Performance und verschiebt Daten und Workloads sicher in die Cloud oder an jeden anderen Ort. So bleiben Daten gesichert, geschützt und verfügbar. Mit NetApp senken Sie Lizenzgebühren, Hardwarekosten und die gesamte TCO um bis zu 50 %, indem Sie die Ressourcenauslastung erhöhen und unnötige Datenkopien vermeiden.