Zusammenführung von Echtzeit-Datenströmen und gespeicherten Daten

Neue Anforderung an Latenzzeit

Zurück zu den bisherigen Ansätzen in Sachen Informationen: An klassischen Datenbanken führt kein Weg vorbei. Sie sind quasi zwischen den Anwendungen und den historischen Daten angesiedelt. 

Die Durchführung von Transaktionen und Abfragen auf Basis dieser gespeicherten Informationen ist ein Kinderspiel für diese Datenbanken. Allerdings stimmt dies nur für herkömmliche Anwendungen. Ihre Funktionalität als auch ihre Leistung ist für eine, in die Jahre gekommene Art der Datenverarbeitung entwickelt. Mit der Digitalisierung haben sich die Leistungsanforderungen geändert. Die zeitlichen Parameter passen nicht mehr und liegen eindeutig außerhalb der Fähigkeiten von klassischen Datenbankarchitekturen.

Zudem wurden Datenbanken nicht für die Verarbeitung von Echtzeitdaten konzipiert. Dabei spielt insbesondere der Transfer vom Entstehungsort zur weiteren Verarbeitung eine große Rolle. Dies müssen externe Systeme übernehmen. Die dazu notwendigen Schnittstellen verursachen zusätzlichen Aufwand inklusive Latenzzeit und letztere ist absolut kontraproduktiv für Echtzeitdaten. Selbst wenn es gelingt, mehrere Systeme zusammenzuschließen, ist die resultierende Architektur komplex. Damit ergeben sich komplett neue Herausforderungen bezüglich Betrieb, Wartung und Weiterentwicklung.

Das Ziel: Wertschöpfung in jeder Sekunde

Unternehmen haben einen wachsenden Bedarf, aus ihren Daten jederzeit einen Mehrwert generieren zu können. Dabei gilt es, die explosionsartige Zunahme neuer Daten mit kontextbezogenen Erkenntnissen aus herkömmlichen Datenspeichern zusammenführen. Darüber hinaus folgt noch deren Nutzung in Anwendungen mit geringer Latenzzeit. Ein erfolgversprechendes Werkzeug dafür ist Data Streaming. 

Dabei handelt es sich um eine neue Kategorie von Datenverarbeitungs-Plattformen. Sie nutzt existierende Datenbanken und unterstützt gleichzeitig Anwendungen, die sowohl Echtzeit- als auch historische Daten verarbeitet. Diese gesamtheitliche Sicht erlaubt es den Unternehmen, entsprechende Maßnahmen abzuleiten und damit Werte zu schaffen. 

Eine solche Multifunktions-Plattform umfasst eine sogenannte Streaming- Engine für die Aufnahme, Umwandlung, Verteilung und Synchronisierung von Daten. Um eine extrem niedrige Latenzzeit bei der Datenverarbeitung zu erreichen, eignet sich die In-Memory-Technologie: Eine verteilte Architektur bietet die besten Voraussetzungen für Skalierbarkeit und Ausfallsicherheit. So lassen sich Antworten im Bereich von weniger als einer Millisekunde liefern und parallel Millionen komplexer Transaktionen pro Sekunde durchführen.

Fazit:

Heute fallen weitaus mehr neue Daten an, als Unternehmen verarbeiten können. Um daraus die richtigen Erkenntnisse und damit die erhoffte Wertschöpfung generieren zu können, müssen diese Daten mit reichhaltigem Kontext aus Datenbanken kombiniert werden. Dies erfordert IT-Architekturen, die eine neue Datenverarbeitungsplattform enthalten. Echtzeit spielt hier eine wesentliche Rolle: zum einen bei den Daten an sich, aber auch bei der Lieferung von Erkenntnissen und entsprechenden Maßnahmen.