Data Warehouse als Sparschwein?

Vielen Unternehmen wächst nicht nur das Datenvolumen über den Kopf, sondern auch die Kosten für Storage und Data Management. Eine zentrale Rolle in dieser Problematik nehmen Data Warehouses ein. Ein Data Warehouse (DWH) ist eine Datenspeicherlösung, die für die Erfassung, Verarbeitung und Analyse der Daten eines Unternehmens konzipiert ist.

Die Analyse dieser Daten ermöglicht es, das Gesamtbild des Unternehmens zu überblicken und datengestützte Entscheidungen über die Entwicklung einzelner Bereiche oder des gesamten Unternehmens zu treffen. Data Warehouses sind dazu da, Daten aus den Datenbankmanagementsystemen eines Unternehmens zu sammeln und zu bereinigen, um eine einzige Datenquelle zu schaffen. Aus diesem Grund sind DWHs die Heimat der genauesten Informationen innerhalb eines Unternehmens.

Stefan Käser, Solution Architect bei DoubleCloud, erklärt, wie Unternehmen mit Data Warehouses ihre Kosten senken können und welche Alternative es gibt. Das Unternehmen aus Berlin ist ein junger Anbieter eines modernen Data-Stacks für End-to-End-Analytik.

„Sobald die Daten korrekt im Data Warehouse gespeichert sind, können sie mit Business Intelligence (BI)-Tools analysiert und visualisiert werden. Zu den fortschrittlichen BI-Funktionen gehören das Auffinden von Mustern und Beziehungen in Daten (Data Mining), künstliche Intelligenz, maschinelles Lernen und Tools zur Ergebnisvisualisierung. Sie helfen Unternehmen dabei, unentdeckte Trends in ihren Handelsmustern und neue Marktchancen zu erkennen, so dass sie auf der Grundlage genauer Daten und Prognosen schnell reagieren können.

Das wirft jedoch eine Frage auf: Warum einen separaten Speicher für Analysen verwenden, anstatt die Daten in jedem DBMS separat zu analysieren? DWHs sind schließlich auch Datenbanken. Was ist der Unterschied zwischen einem Data Warehouse und einer transaktionalen Datenbank?

Data Warehouses und transaktionale Datenbanken sind nicht dasselbe. Datenspeicherlösungen sind darauf ausgelegt, eingehende Daten stündlich, täglich oder in einem anderen regelmäßigen Intervall zu analysieren. Sie werden außerdem auf einem Datenbankmanagementsystem eingesetzt, weshalb sie schnell große Datenmengen verarbeiten können, die über mehrere Jahre hinweg gesammelt wurden. In Wirklichkeit sind Data Warehouses Werkzeuge für die komplexe Analyse von Daten, die aus verschiedenen Quellen stammen: Waren, Transaktionen, Personal, Logistik und mehr.

Datenbankverwaltungssysteme sind eher für die tägliche Arbeit als für Analysen vorgesehen. Ihre Informationen werden in Echtzeit aktualisiert. CRM, ERP und viele andere Systeme und Programme bauen auf Datenbankfunktionen auf. Nachdem aktuelle Informationen die Hauptdatenbank erreicht haben, werden alle wichtigen Informationen an das DWH weitergeleitet. Das ist es, was das vollständige Bild ausfüllt.

Data Warehouse-Architektur

DWHs können mehrere Ebenen haben. Das sind die wichtigsten davon:

• Datenquellen: Hier werden die ersten Daten gesammelt. Die Informationen werden von der Website, dem Abrechnungssystem, CRM- und ERP-Systemen und anderen Datenbanken erfasst, bevor sie in den Speicher geschickt werden.

• Storage: Alle unterschiedlichen Informationen, die das DWH sammelt, werden strukturiert und in das vom Unternehmen benötigte Format gebracht. Diese Komponente gewährleistet die Vollständigkeit und Integrität der Daten.

• Showcases: Auf dieser Ebene wird das Datenfeld strukturiert, um die Analyse zu erleichtern. Obwohl Data Warehouses Showcases in erster Linie für relativ einfache Aufgaben konzipiert sind, eignen sie sich auch für komplexe Analysen und ungewöhnlichere Projekte. Showcases lassen sich mit dem Managed Service für ClickHouse erstellen.

• Serviceebene: Diese verwaltet die drei vorherigen Ebenen. Mit dieser Unterstützung überwachen DWHs die Daten und korrigieren auftretende Fehler schnell.

• Zugriff und Geschäftslogik: Auf dieser Ebene werden Daten aus Showcases und Speichern aggregiert. Je nach Zugang erstellen die Benutzer Analysen und arbeiten mit Dashboards und Diagrammen.

Andere Datenspeicherlösungen

Speicherlösungen enthalten konvertierte und strukturierte Daten, die für die Verarbeitung und Analyse bereitstehen. Das macht Data Warehouses zu praktischen Werkzeugen für die Lösung von Geschäftsproblemen. Data Warehouses sind aber nicht die einzige Möglichkeit, Daten zu speichern und zu analysieren. Data Lakes und Data Marts sind ebenfalls gängige Ansätze für Big Data. Wie schneiden sie im Vergleich zu Data Warehouses ab?

Data Lakes

In Data Lakes werden die Daten roh und unstrukturiert aufgenommen und gespeichert. Das ist hilfreich, wenn Unternehmen Daten aus verschiedenen externen Quellen verarbeiten und analysieren möchten, die nicht in das Gesamtprofil des Unternehmens passen. So können sie beispielsweise die Daten verarbeiten, die sie für die Entwicklung von Marketingstrategien benötigen.

Data Marts

Data Marts speichern Informationen, die sich auf einen bestimmten Bereich oder eine Abteilung innerhalb eines Unternehmens beziehen. Der Showcase wird aus Daten erstellt, die häufiger angefordert werden oder für die Durchführung bestimmter Aufgaben benötigt werden. Da der Speicher nicht durch zusätzliche Berechnungen belastet wird, erleichtert ein solcher Ansatz die Suche nach den benötigten Daten.