Zum Hauptinhalt springen

Was ist Big Data?

Themen

Diese Seite teilen

Big Data bezeichnet die Analyse großer und vielfältiger Datensätze, um verborgene Muster, unbekannte Korrelationen, Markttrends, Kundenpräferenzen und andere nützliche Informationen aufzudecken. Unternehmen treffen damit fundierte Geschäftsentscheidungen.

Daten sind heute ein Wettbewerbsvorteil, ganz gleich, ob sie strukturiert oder unstrukturiert sind, von Mensch oder Maschine erzeugt oder im Datacenter oder in der Cloud gespeichert werden. Bereits jetzt gestaltet die digitale Transformation Unternehmen neu, da sich ein Großteil der weltweiten Umsätze auf digitale Produkte und Services verlagert.

Datenmanagement und Datenspeicherung sind fester Bestandteil der Datenstrategie eines Unternehmens.

Wie funktioniert Big Data?

Big Data funktioniert durch das Erfassen, Speichern und Analysieren großer Datenmengen mit verteilten Technologien. Unstrukturierte und halbstrukturierte Datentypen passen schlecht in klassische Data Warehouses, die auf relationalen Datenbanken für strukturierte Datensätze basieren. Solche Data Warehouses bewältigen die Verarbeitungsanforderungen von Big Data oft nicht, das häufig oder kontinuierlich aktualisiert wird.

Viele Unternehmen setzen daher auf NoSQL-Datenbanken sowie auf Hadoop und die zugehörigen Tools:

  • YARN. Eine Technologie für das Cluster-Management und eine der wichtigsten Funktionen in Hadoop der zweiten Generation.
  • MapReduce. Ein Programmiermodell zur Verarbeitung großer Datensätze mit einem parallelen, verteilten Algorithmus auf einem Cluster.
  • Apache Spark. Eine schnelle Engine für die Big-Data-Verarbeitung mit Modulen für Streaming, SQL, Machine Learning und Graphverarbeitung.
  • HBase. Eine nicht relationale, verteilte Open-Source-Datenbank nach dem Vorbild von Google Bigtable.
  • Apache Hive. Ein Data-Warehouse-Softwareprojekt auf Basis von Apache Hadoop für Zusammenfassung, Abfrage und Analyse von Daten.
  • Kafka. Eine Open-Source-Plattform für die Stream-Verarbeitung, entwickelt von der Apache Software Foundation.
  • Pig. Eine Open-Source-Technologie für die parallele Programmierung von MapReduce-Jobs, die auf Hadoop-Clustern ausgeführt werden.

Immer häufiger nutzen Anwender das Konzept eines Hadoop Data Lake als primäres Repository für eingehende Rohdatenströme. In solchen Architekturen lassen sich Daten direkt in einem Hadoop-Cluster analysieren oder über eine Engine wie Spark verarbeiten. Für die Speicherung großer unstrukturierter Datenmengen bietet NetApp StorageGRID objektbasierten Speicher.

Das folgende Ökosystem zeigt gängige Anbieter je Segment.

SegmentWichtige Anbieter
Big Data Analytics, Hadoop- und Apache-SoftwaredistributionenCloudera, HortonWorks, MapR
Applikationsmanagement, Sicherheit, ComplianceSplunk
SparkDataBricks
NoSQL-DatenbankenAerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis Labs
Cloud-AnalysenAmazon EMR, Azure HDInsights, Google Cloud Platform
Open-Source-KomponentenDruid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper

Big Data und Data Warehouse im Vergleich

Big Data und ein Data Warehouse werden häufig verwechselt, verfolgen aber unterschiedliche Ziele. Ein Data Warehouse speichert bereinigte, strukturierte Daten für Berichte. Big Data umfasst zusätzlich unstrukturierte und halbstrukturierte Daten in sehr großem Umfang. Die folgende Tabelle stellt die wichtigsten Merkmale gegenüber.

MerkmalBig DataData Warehouse
Datentypenstrukturiert, halbstrukturiert, unstrukturiertüberwiegend strukturiert
Datenquelleviele verteilte Quellen in Echtzeitdefinierte, relationale Systeme
Verarbeitungverteilt und parallel, etwa mit Hadoopzentral, auf relationalen Datenbanken
Datenmengesehr groß und schnell wachsendbegrenzt und geplant
ZweckMuster erkennen, Data Lake, Data LakehouseBusiness Intelligence (BI) und Reporting

Warum ist Big Data wichtig?

Big Data ist wichtig, weil Daten heute über Datacenter und Cloud verteilt, dynamisch und vielfältig sind. IT-Führungskräfte und Analyseteams stehen unter Druck, diese Datenmengen zu nutzen und daraus Wert zu schaffen, und das mit begrenzter Zeit, begrenzten Fähigkeiten und begrenztem Budget.

Diese Situation stellt Infrastrukturteams vor Herausforderungen, die diese Daten speichern und schützen. Ebenso betrifft sie Data Scientists, Data Engineers und Architekten, die Daten aus vielen Quellen in Echtzeit erfassen und analysieren müssen. Angesichts der Datenflut werden Analyseteams oft gebeten, den Umfang der Analyse zu begrenzen oder tagelang auf die richtigen Daten zu warten.

Mit den passenden Analysesystemen weist Big Data auf konkrete geschäftliche Vorteile hin: neue Umsatzchancen, wirksameres Marketing, besseren Kundenservice, höhere betriebliche Effizienz und Vorteile gegenüber Mitbewerbern.

Arten von Big Data

Big Data lässt sich nach der Struktur der Daten unterteilen. Diese Arten bestimmen, wie Daten gespeichert und verarbeitet werden.

  • Strukturierte Daten. Klar organisierte Daten aus relationalen Datenbanken, etwa Transaktionsdaten.
  • Unstrukturierte Daten. Daten ohne festes Format wie Texte, Bilder, Videos und Social-Media-Inhalte.
  • Halbstrukturierte Daten. Daten mit Markierungen oder Tags wie Protokolldateien und JSON.

Big Data wird häufig über drei Merkmale beschrieben, die drei V:

  • Volume (Datenmenge). Das schiere Volumen der erzeugten Daten.
  • Velocity (Geschwindigkeit). Die Geschwindigkeit, mit der Daten entstehen und verarbeitet werden.
  • Variety (Vielfalt). Die Bandbreite an strukturierten, halbstrukturierten und unstrukturierten Formaten.

Vorteile und Grenzen von Big Data

Big Data bietet klare Vorteile, bringt aber auch Grenzen mit sich, die Unternehmen einplanen sollten.

Vorteile:

  • Bessere Entscheidungen. Erkenntnisse aus großen Datensätzen stützen fundierte Geschäftsentscheidungen.
  • Neue Umsatzchancen. Muster in Kundendaten decken bislang ungenutzte Möglichkeiten auf.
  • Höhere Effizienz. Echtzeitanalysen verbessern Abläufe und den Kundenservice.
  • Risikomanagement. Frühe Signale helfen, Betrug und Cyberangriffe zu erkennen.

Grenzen:

  • Datenqualität. Ungenaue oder unvollständige Daten führen zu falschen Schlüssen.
  • Komplexität. Verteilte Technologien erfordern Fachwissen und sorgfältige Verwaltung.
  • Kosten und Skalierung. Speicher und Rechenleistung müssen mit dem Datenwachstum mithalten.
  • Datenschutz. Große Datenmengen erhöhen die Anforderungen an Sicherheit und Compliance.

Anwendungsfälle für Big Data

Big-Data-Analysen ermöglichen Data Scientists, Statistikern und anderen Fachleuten, wachsende Mengen strukturierter Transaktionsdaten sowie halb- und unstrukturierter Daten auszuwerten. Dazu zählen Clickstream-Daten, Webserver-Protokolle, Social-Media-Inhalte, Texte aus Kunden-E-Mails, Umfrageantworten und Maschinendaten.

Echtzeitanalyse für schnellere Erkenntnisse

Echtzeitanalyse verarbeitet Maschinendaten im Moment ihrer Entstehung. Unternehmen gewinnen so schnell Business Intelligence aus Kundendaten und steigern die Kundenzufriedenheit.

Betrugserkennung und Abwehr von Cyberangriffen

Big Data beschleunigt die Analyse von Maschinendaten und hilft, Cyberangriffe zu erkennen, bevor sie Schaden anrichten. Betrug lässt sich verhindern, ohne die Kundenerfahrung zu beeinträchtigen.

Sensordaten aus dem Internet der Dinge

Sensoren, die mit dem Internet der Dinge (IoT) verbunden sind, erzeugen fortlaufend Maschinendaten. Diese Daten liefern die Grundlage für vorausschauende Analysen und Detaildatensätze, etwa für Mobilfunkverbindungen.

Voraussetzungen für Big Data

Big Data erfordert Datenmanagement-Funktionen der Enterprise-Klasse, um umfangreiche Datensätze zu bewältigen. Das schnelle Erkenntnisse aus Daten gewinnen ist entscheidend, um Chancen zu nutzen, Gewinne zu steigern und Risiken besser zu managen.

Für Big Data sind vier Voraussetzungen zentral:

  • Skalierbarer Speicher. Gemeinsam genutzter oder externer Storage skaliert besser als der klassische DAS-Storage (Direct-Attached Storage) der ersten Generation.
  • Rechenleistung. Verteilte Cluster verarbeiten große Datenmengen parallel.
  • Verarbeitungstechnologien. Frameworks wie Hadoop und Apache Spark erfassen und analysieren die Daten.
  • Fachkräfte. Data Scientists und Data Engineers modellieren und interpretieren die Ergebnisse.

Der DAS-Ansatz der ersten Generation skaliert nicht effizient und bietet nicht die nötige Zuverlässigkeit. Für unternehmenskritische Anwendungen verschiebt gemeinsam genutzter Storage Daten unterbrechungsfrei dorthin, wo sie gebraucht werden, und hält sie geschützt und sicher. Die Datenmanagement-Software NetApp® ONTAP® bildet dafür eine einheitliche Grundlage über Datacenter und Cloud hinweg.

Häufig gestellte Fragen zu Big Data

Was ist der Unterschied zwischen Big Data und einem Data Warehouse?

Big Data bezeichnet große, vielfältige und schnell wachsende Datenmengen aus vielen Quellen. Ein Data Warehouse ist ein strukturiertes Repository für bereinigte, relationale Daten und verarbeitet unstrukturierte Daten nur schwer.

Wie funktioniert Big Data?

Big Data funktioniert durch das Erfassen, Speichern und Analysieren großer Datensätze mit verteilten Technologien wie Hadoop und Apache Spark. Rohdaten fließen in einen Data Lake und werden parallel über einen Cluster verarbeitet.

Welche Arten von Daten gehören zu Big Data?

Big Data umfasst strukturierte Daten aus relationalen Datenbanken, unstrukturierte Daten wie Texte und Videos sowie halbstrukturierte Daten wie Protokolldateien. Diese Vielfalt beschreibt eines der drei V: Variety.

Wofür wird Big Data eingesetzt?

Big Data unterstützt Echtzeitanalysen, Betrugserkennung, die Abwehr von Cyberangriffen und die Auswertung von Sensordaten aus dem Internet der Dinge. Unternehmen nutzen die Erkenntnisse für fundierte Geschäftsentscheidungen.

Welche Voraussetzungen sind für Big Data nötig?

Big Data erfordert skalierbaren Speicher, ausreichend Rechenleistung, verteilte Verarbeitungstechnologien und Fachkräfte wie Data Scientists und Data Engineers. Gemeinsam genutzter Storage skaliert dabei besser als klassischer DAS-Storage.

Welche Rolle spielt ein Data Lake bei Big Data?

Ein Data Lake dient als primäres Repository für eingehende Rohdaten. Anwender analysieren die Daten direkt im Cluster oder verarbeiten sie über eine Engine wie Apache Spark.

Welche Lösung bietet NetApp für Big Data?

Big-Data-Analysen benötigen skalierbaren, sicheren Storage. Plattformen wie die Big-Data-Analyseplattform von NetApp verschieben Daten und Workloads zwischen Datacenter und Cloud und halten sie geschützt und verfügbar.

NetApp und Big Data

Die Big-Data-Analyseplattform von NetApp bietet eine bis zu doppelt so hohe Performance und verschiebt Daten und Workloads sicher in die Cloud oder an jeden anderen Ort. So bleiben Daten gesichert, geschützt und verfügbar. Mit NetApp senken Sie Lizenzgebühren, Hardwarekosten und die gesamte TCO um bis zu 50 %, indem Sie die Ressourcenauslastung erhöhen und unnötige Datenkopien vermeiden.