Datensilos: Was sie sind und wie man mit ihnen umgeht

Sind Datensilos auch im Jahr 2022 noch ein Problem? Ganz eindeutig.

Aber die IT-Landschaft entwickelt sich ständig weiter; die Art und Weise, wie Silos in der technischen Welt wahrgenommen und behandelt werden, ändert sich ständig.

Das wirft die Frage auf: Werden Datensilos jemals vollständig verschwinden?

Dieser Artikel liefert Hintergrundinformationen zu Datensilos und untersucht neue Lösungen, die Ihnen helfen könnten, sie in Ihrem Unternehmen zu beseitigen.

Was ist ein Datensilo?

Von einem Datensilo spricht man, wenn wertvolle Geschäftsdaten irgendwo in einem Netzwerk oder System stecken bleiben, wo sie weniger nützlich sind, als sie eigentlich sein könnten.

Das Gegenteil eines Datensilos ist also ein System, in dem die Daten immer dorthin fließen, wo sie am besten genutzt werden können.

Es ist nicht schwer, sich die Arten von Szenarien vorzustellen, die in großen und komplexen Netzwerken zu Datensilos führen. Ein gängiges Beispiel ist der Vendor Lock-in, aber jedes Szenario, in dem Daten nicht dorthin gelangen können, wo sie benötigt werden, kann ein Datensilo verursachen.

Warum sind Datensilos problematisch?

Der freie Informationsfluss ist für Unternehmenssysteme von entscheidender Bedeutung; wenn Informationen nicht gemeinsam genutzt werden können, sind sie möglicherweise weniger nützlich.

Wenn beispielsweise eine siloartige Datenbank Informationen über die Kaufhistorie von Kunden und Produktinformationen enthält, kann das größere Netzwerk eines Unternehmens diese Daten nicht für die strategische Ausrichtung nutzen.

Datensilos belasten nicht nur die Speicherkapazität, sondern sind auch deshalb problematisch, weil sie die Wirksamkeit der gesammelten Informationen beeinträchtigen. Der Wert von Daten liegt in ihren Anwendungsfällen: Datensilos verhindern, dass diese Daten dorthin gelangen, wo sie den größten Nutzen für ein Unternehmen bringen können.

Warum sind Datensilos so schwer zu beseitigen?

Laut eines Artikels von Krishna Subramanian gibt es zwei zentrale Gründe, warum es Unternehmen oft nicht gelingt, Datensilos zu beseitigen:

1. Kosten für die Datenverarbeitung.
2. Speicherkosten.

Beide Gründe haben denselben Ursprung: Wenn Unternehmen wachsen und neue Arten von Daten erwerben, werden ihre Datensätze größer und komplizierter – aber ihre Datenbereitstellungssysteme wachsen nicht immer im gleichen Tempo. Das bedeutet, dass immer mehr Daten im kalten Speicher abgelegt werden, um “irgendwann” verwendet zu werden – nur kommt “irgendwann” nicht immer.

Dies kostet sowohl Rechenleistung als auch Geld für die Aufrechterhaltung der Speicherkapazität.

Außerdem lassen sich Datensilos nur schwer beseitigen, denn je länger sie nicht verwaltet werden, desto größer werden sie. Und je größer sie werden, desto verwirrender und teurer werden sie für die Teams, die mit ihrer Verwaltung betraut sind.

Kurz gesagt: Datensilos lassen sich nur schwer beseitigen – aber es ist wichtig, es zu versuchen, damit sie nicht den Gesamterfolg eines Unternehmensnetzwerks beeinträchtigen.

Lösungen für Datensilos

1. Datenseen

Ein Datensee entsteht, wenn Unternehmen alle strukturierten und unstrukturierten Daten in einem zentralen Speicher ablegen, wo sie leicht abrufbar bleiben.

Wie bei einem echten See sind die Daten in einem Datensee jedoch ziemlich amorph. Wenn man eine bestimmte Art von Fisch aus einem physischen See herausziehen wollte, müsste man sich schon etwas Mühe geben, um herauszufinden, wo sich dieser Fisch befindet. Das Gleiche gilt in vielen Fällen auch für Datenseen.

Anders ausgedrückt: Subramanian hat darüber geschrieben, wie ein Data Lake ohne gute Governance zu einer “Müllhalde” für Daten werden kann.

2. ETL und ELT

Es gibt zwei relativ neue Datenprozesse, die um den Einsatz in Unternehmen konkurrieren, wenn es um den Umgang mit Datensilos geht:

1. ETL, was für “Extrahieren, Transformieren, Laden” steht.
2. ELT steht für “Extrahieren, Laden, Transformieren”.

In jedem dieser Prozesse extrahieren Unternehmen Daten aus einem Altsystem, laden sie in ein neues System und transformieren sie. Der einzige Unterschied zwischen den beiden Prozessen besteht darin, ob das Unternehmen die Daten vor oder nach dem Ladevorgang transformiert; bei ETL geschieht dies vor, bei ELT nach dem Ladevorgang.

Warum diese Unterscheidung? Einige Analysten haben auf den Wert der Transformation nach dem Laden hingewiesen: Transformierte Daten benötigen unter Umständen mehr Ressourcen zum Laden, so dass Sie diese Arbeit einsparen können, wenn Sie zuerst laden und erst am Ende transformieren. Allerdings muss die Umwandlung dann erst nach dem Laden erfolgen, was für manche Unternehmen je nach Personalausstattung und -konfiguration ungünstig ist.

In neueren Cloud-basierten ETL-Prozessen können Daten aus unterschiedlichen Systemen gesammelt oder lokale Daten in bestimmte Cloud-Umgebungen portiert werden. Cloud-basierte Datenspeicher können die Sicherheit, Effizienz und Kapazität insgesamt verbessern, und viele Unternehmen nutzen die Dienste großer Anbieter wie AWS und Azure, um diese Art von Plattformen aufzubauen.

3. API

Die API (Application Programming Interface, Schnittstelle zur Anwendungsprogrammierung) hat als Bindegewebe für digitale Systeme viel Aufmerksamkeit erhalten.

Theoretisch können APIs viele Probleme mit Datensilos lösen – aber nur in dem Maße, in dem Ingenieure und andere Beteiligte APIs einfach als Pipeline verbinden können. Auch dies ist jedoch leichter gesagt als getan.

4. KI, ML und Datenintegration

Wenn es um den Umgang mit Datensilos geht, stehen auch neue Maschinen für künstliche Intelligenz (KI) und maschinelles Lernen (ML) in den Startlöchern.

KI und ML haben in den letzten Jahren erhebliche Fortschritte gemacht und sind heute in der Lage, Daten in einem nie dagewesenen Umfang zu klassifizieren und zu bewegen. Folglich können KI und ML die Zukunft des Aufbruchs von Datensilos darstellen.

Durch die Nutzung der Erkenntnisse und der Intelligenz, die KI und ML hervorbringen, können Unternehmen bessere Pläne für die Integration von Daten in einem verteilten Netzwerk erstellen. Man kann sich das Ganze als ein “intelligenteres Aggregations-System” vorstellen, bei dem die KI- und ML-Anwendungen die Katalysatoren und die Techniken (wie ETL/ELT) die Mechanismen zur Erreichung dieser Ziele sind.

Schlussfolgerung

Einige Experten sprechen von der Schaffung einer “Kultur des Teilens” für Daten. Andere sprechen speziell über verschiedene Data-Governance-Methoden, und wieder andere erwähnen, wie Sie Anbieterdienste wie AWS S3 nutzen können, bei denen Daten in Objekt-Buckets gespeichert werden, um sie mit Hilfe von Metadaten abzurufen, um zu identifizieren, was sich darin befindet.

Neben diesen allgemeinen Tipps ist jedoch eines klar: Datensilos, in der einen oder anderen Form, werden in unseren Unternehmensnetzwerken wahrscheinlich bestehen bleiben. Daher ist die Entwicklung neuer Tools und Strategien für den Umgang mit ihnen von größter Bedeutung.