Was sind unstrukturierte Daten?

In der modernen Welt der Big Data sind die meisten Daten unstrukturiert. Dies ist naheliegend, denn unstrukturierte Daten können praktisch alles umfassen: Medien, Bilder, Audiomaterialien, Sensordaten, Textdaten und vieles mehr. Unstrukturiert bedeutet einfach, dass es sich um Datensätze (meist große Dateisammlungen) handelt, die nicht in einem strukturierten Datenbankformat gespeichert sind. Unstrukturierte Daten haben sehr wohl eine interne Struktur – diese ist jedoch nicht durch Datenmodelle vorgegeben. Die unstrukturierten Daten können von Menschen oder Maschinen generiert worden sein und in einem textlichen oder nicht textlichen Format vorliegen.

Unstrukturierte Daten kann man sich vorstellen als Daten, die nicht aktiv in einem transaktionalen System gemanagt werden. Ein Beispiel sind Daten außerhalb eines relationalen Datenbankmanagementsystems (RDBMS). Strukturierte Daten kann man sich dagegen vorstellen als Datensätze (oder Transaktionen) in einer Datenbankumgebung. Ein Beispiel sind Zeilen in einer Tabelle innerhalb einer SQL-Datenbank.

Strukturierte oder unstrukturierte Daten – keine der beiden Kategorien ist per se besser als die andere. Bei beiden gibt es Tools, mit denen Anwender Zugriff auf Informationen erhalten. Unstrukturierte Daten sind einfach nur zufällig in größerer Menge vorhanden als strukturierte Daten.

Einige Beispiele für unstrukturierte Daten:

• Rich Media. Medien- und Unterhaltungsdaten, Überwachungsdaten, Geodaten, Audiodaten, Wetterdaten.
• Dokumentsammlungen. Rechnungen, Protokolle, E-Mails, Produktivitätsapplikationen.
• Internet of Things (IoT). Sensordaten, Ticker-Daten.
• Analytics. Machine Learning, künstliche Intelligenz (KI).

Bis zum Aufkommen von objektbasiertem Storage waren die meisten – wenn nicht sogar alle – dieser unstrukturierten Daten in dateibasierten Systemen gespeichert.

Wenn es um das Bewältigen der Herausforderungen bei unstrukturierten Daten geht, ist die folgende Frage wichtig: Vor welchen Problemen stehen Unternehmen im Zusammenhang mit herkömmlichen Ansätzen des Managements unstrukturierter Daten?

In vielen Unternehmen sind unstrukturierte Datensätze mit Dutzenden oder Hunderten Milliarden Elementen gang und gäbe. Diese Elemente, Objekte oder Dateien können in einer Größe von wenigen Byte (z. B. beim Temperaturmesswert eines Produktionsgeräts) bis hin zu mehreren Terabyte (z. B. bei einem Kinofilm in voller Länge mit 8K-Auflösung) vorliegen. Das Management einer solchen Menge ist mit herkömmlichen Dateimethoden schnell nicht mehr nur schwierig, sondern schier unmöglich – allein dafür, bei Servern, Filesystemen, Arrays und so weiter ein gewisses Gleichgewicht aufrechtzuerhalten, braucht man immer mehr Ressourcen.

Die riesigen unstrukturierten Datensätze liefern zunehmend Nutzen, wenn sie gemeinsam verwendet werden (beispielsweise bei Forschenden in mehreren Krankenhäusern mit einer übergreifenden großen Datenbank zu Genomsequenzen). Bei herkömmlichen Ansätzen machte eine gemeinsame Nutzung großer Mengen unstrukturierter Daten – verteilt über verschiedene Standorte, Unternehmenseinheiten und so weiter – eine extrem teure Replikation und Governance erforderlich.