Data Fabric und Data Mesh: Adieu Datensilos

In der Theorie wissen Unternehmensverantwortliche inzwischen, welches Potenzial in ihren Daten liegt. Doch in der Praxis stellen sich die über Jahre und Jahrzehnte gewachsenen Datenstrukturen zunehmend als Problem heraus, denn die Daten liegen in Silos über die gesamte IT-Infrastruktur verteilt.

Eine Modernisierung der Datenverwaltung ist daher dringend notwendig.

In diesem Zusammenhang tauchen die Begriffe „Data Fabric“ und „Data Mesh“ immer häufiger auf. Was hat es damit konkret auf sich und wie können Unternehmen damit ihr Datenmanagement neu aufstellen?

Das Geschäftsmodell an neue Begebenheiten anpassen, neue Produkte und Services entwickeln oder interne Prozesse optimieren – um diese Ziele zu erreichen, brauchen Unternehmen umfassende Einblicke aus ihren Daten. Führungskräfte können sich heute nicht mehr (allein) auf ihr Bauchgefühl verlassen. Jedoch zeigt beispielsweise die Studie IT-Trends 2023 vom Beratungshaus Capgemini, dass Unternehmen nur mit 59 Prozent ihrer Informationen organisationsweit arbeiten können. Im Vergleich zum Vorjahr ist dies gerade mal ein Plus von drei Prozent.

Das Hauptproblem sind dabei Datensilos, die sich oft über Jahre gebildet haben. Der zunehmende, aber oft nur punktuelle Umstieg auf die Cloud verschärft diese Situation noch. So stehen Unternehmen heute vor einer IT-Umgebung mit On-Premises-Systemen, Cloud-Applikationen, SaaS-Anwendungen und womöglich noch Internet of Things (IoT)-Geräten, die allesamt Daten generieren. Hinzu kommen potenziell zudem externe Quellen, deren Daten einen Mehrwert bieten und angeschlossen werden müssen.

Data Fabric: Alle Daten erfassen und zentral zur Verfügung stellen

Was sie brauchen, um die Kontrolle über ihre Daten zurückzuerlangen, ist eine Plattform, die die gesamte verteilte Landschaft abdeckt und alle Daten in dieser erfasst. Denn nur dann sind Unternehmen bzw. deren Mitarbeiter in der Lage, Daten zu entdecken, Daten logisch zu verbinden, Data-Governance-Richtlinien organisationsweit durchzusetzen sowie Datenprodukte zu entwickeln und zu veröffentlichen.

Genau das leistet eine Data-Fabric-Lösung: Hierbei handelt es sich um eine Datenmanagement-Plattform, die sich mit einer Vielzahl von Datenspeichern und -quellen in hybriden, verteilten Multi-Cloud-Umgebungen verbinden kann. Bei der Wahl einer entsprechenden Lösung sollten Unternehmen darauf achten, dass sie unter anderem folgende Kriterien erfüllt:

• Kollaboration: Verschiedene Teams von Data Engineers sollten auf der Plattform arbeiten und Metadaten – zum Beispiel über Datenquellen, Datenbeziehungen, Datenqualität oder Datenherkunft –, aber etwa auch Vorlagen zwischen ihnen geteilt werden können.
• Erweiterbarkeit: Mithilfe von angepasstem Code sollten über die Standardfunktionen hinaus alternative Datenquellen ausgewählt, Überprüfungen der Datenqualität vorgenommen, komplexe Datentransformationen umgesetzt und Daten gekennzeichnet werden können.
• Data Governance: Um neben einer hohen Datenqualität auch sicherzustellen, dass Mitarbeiter nur auf Daten zugreifen können, für die sie befugt sind, sollten sich Data-Governance-Richtlinien über die Plattform durchsetzen lassen.

Wichtig ist darüber hinaus ein Datenkatalog, der Bestandteil vieler Data-Fabric-Lösungen ist. Denn er dient als Verzeichnis für alle im Unternehmen entdeckten Daten. Dabei werden sie automatisch erfasst, klassifiziert und eine Einschätzung der Datenqualität vorgenommen. Dadurch entfällt die Notwendigkeit, Daten zu bewegen und sie etwa in einem zentralen Repository wie einem Data Lake oder Data Warehouse zu speichern.

Data Mesh: Die Datenverarbeitung und -analyse wandert in die Domänenteams

Eine Data-Fabric-Lösung ist allerdings nur der erste Schritt und dient als zentrale Architektur-Plattform für das Management verteilter Daten. Auf dieser Grundlage können Unternehmen dann einen dezentralen domänen-orientierten Ansatz für die Entwicklung von Datenprodukten umsetzen: Data Mesh. Dieser basiert auf einer naheliegenden Annahme: Diejenigen, die täglich mit bestimmten Datensets arbeiten, sind am besten dazu in der Lage, für diese Daten geeignete Transformationen zu bauen, um qualitativ hochwertige, vorschriftsmäßige und geschäftsrelevante Datenprodukte zu entwickeln.

Notwendig ist dafür vor allem ein organisatorischer Wandel: In vielen Unternehmen sind es heute vor allem die Data Scientists und Data Engineers, die mit Daten arbeiten und entsprechend von Anfragen von Kollegen überhäuft werden, die spezifische Daten und Analysen benötigen. Mit dem Data-Mesh-Ansatz wandert diese Aufgabe jedoch in die Domänenteams. Die Data Scientists und Data Engineers werden dann Teil dieser Teams und tragen dazu bei, ihre Kollegen zu sogenannten „Citizen Data Engineers“ auszubilden, die selbstständig auf Daten zugreifen, sie verarbeiten und analysieren können. Und an dieser Stelle kommt die Data-Fabric-Lösung ins Spiel, da sie allen Mitarbeitern Zugang zu den Daten gibt, die sie dafür benötigen. Dadurch können Datenprodukte deutlich schneller entwickelt werden, denn die Abhängigkeit von den Datenexperten wird minimiert.

Daneben sollte die Data-Fabric-Lösung auch einen Data Marketplace unterstützen. So können Domänenteams ihren Kollegen im gesamten Unternehmen ihre einsatzbereiten Daten- und Analyseprodukte zur Verfügung stellen. Auch durch dieses „Recycling“ von Datenprodukten verkürzt sich die Time-to-Value.

Fazit

Eine Data-Fabric-Lösung ermöglicht es Unternehmen, ihre vorhandenen Daten besser zu nutzen, ohne ihre Datenstrukturen dafür komplett verändern zu müssen. Die Daten können dezentral verbleiben, wo sie sind, und werden dennoch zentral bereitgestellt. Doch ohne einen organisatorischen Wandel verbleibt auch die Arbeit mit diesen Daten bei einigen wenigen Mitarbeitern, die zudem nicht als Experten für jedes Datenset fungieren können. Deshalb profitieren Unternehmen enorm davon, wenn sie dem Data-Mesh-Ansatz folgen, ihre Mitarbeiter zu Citizen Data Engineers ausbilden, Nadelöhre auflösen und die Arbeit auf die Schultern ihrer Expertenteams verteilen.