Daten-Streaming in hybriden Cloud-Umgebungen

Die Anforderungen, die moderne Verbraucher an Unternehmen stellen, sind klar: Digitale Services müssen schnell und einwandfrei funktionieren sowie personalisiert und komfortabel sein – ansonsten sehen sich Kunden nach besseren Alternativen um. 

Um diesem Wunsch gerecht zu werden, müssen Daten verschiedenen Geschäftsbereichen schnell zur Verfügung stehen. Daher stehen Unternehmen mit einer Hybrid-Cloud-Infrastruktur vor einem Problem: Die getrennten Systeme müssen verzugsfrei miteinander kommunizieren. 

Alltägliche Besorgungen und Geschäfte spielen sich zunehmend im digitalen Raum ab. Dadurch verändern sich nicht nur die Marktanforderungen, sondern auch die Ansprüche, die Kunden an digitale Anwendungen und Services stellen. Egal, ob es sich dabei um die Filmempfehlungen eines Streaming-Dienstes, das Verwalten von Finanzen oder die Abfrage des Lieferstatus eines Pakets handelt: Es wird eine hochpersonalisierte Customer Experience erwartet, bei der relevante Informationen schnell bereitstehen, um Kaufentscheidungen schnell und unkompliziert treffen zu können. Sollten Unternehmen diesen Anforderungen nicht gerecht werden, droht ihnen der Verlust der Kundenbeziehung aufgrund von Unzufriedenheit und Frustration.

Um dem nachzukommen und schnell auf (plötzliche) Veränderungen reagieren zu können, müssen Unternehmen immer mehr Daten in Echtzeit über die gesamte Organisationsstruktur hinweg transportieren und verarbeiten. Darauf sind traditionelle Rechenzentren jedoch nicht ausgelegt. Immer mehr Unternehmen verlagern daher einen Teil ihrer Infrastruktur, Anwendungen und Prozesse in die Cloud, wohingegen der andere Teil On-Prem verbleibt. Dadurch entsteht eine komplexe Hybrid-Cloud-Umgebung.
 

Hybride Cloud-Umgebungen gewinnen an Bedeutung

Deutsche Unternehmen erkennen – vor allem durch die Pandemie befeuert – zunehmend die Vorteile einer hybriden Cloud-Umgebung. So gaben im Rahmen einer Umfrage im Hybrid Cloud Report 2021 57 Prozent der in Deutschland befragten IT- und Business-Entscheider an, dass ein Hybrid-Cloud-Modell bereits Teil ihrer IT-Landschaft ist oder sie es über ein Pilotprojekt testen. Für 34 Prozent der Befragten handelt es sich um einen zukunftsfähigen Ansatz und es wird geplant, innerhalb der nächsten ein bis zwei Jahre Hybrid-Lösungen zu implementieren.

Verbraucher interagieren nicht nur mit einem Service, wenn sie eine App nutzen. Vielmehr befindet sich hinter jeder virtuellen Aktivität ein komplexes Geflecht, bestehend aus verschiedenen SaaS-Lösungen, Datenbanken und Anwendungen, die trotz ihrer unabhängigen Funktionalität kontinuierlich miteinander kommunizieren müssen. Da die Datenanforderungen mit steigender Komplexität ebenfalls anwachsen, würde der Betriebsaufwand das Kosten-Nutzen-Verhältnis übersteigen. Der Einsatz einer hybriden Cloud-Umgebung hilft Unternehmen, diesen Anforderungen gerecht zu werden und für mehr Flexibilität zu sorgen: Daten und Prozesse verteilen sich auf skalierbare On-Prem-Daten und schaffen agile Cloud-Systeme, ohne sich gegenseitig einzuschränken.

Datenaustausch in der Hybrid Cloud – nicht ohne Herausforderungen

Befinden sich Datenproduzenten und -konsumenten in unterschiedlichen Umgebungen, besteht die größte Herausforderung darin, die verzugsfreie Kommunikation und Datenintegration zwischen dem (Edge-) Rechenzentrum und der Cloud zu ermöglichen. So werden beispielsweise die Kundendaten eines Unternehmens in einer lokalen Datenbank gesammelt. Die Analytics-Plattform, die von den On-Prem-Daten abhängig ist, wird hingegen in der Cloud ausgeführt. Es bleibt aber natürlich nicht bei einer Datenbank und einer Analytics-Plattform, mit denen unterschiedliche Geschäftsbereiche arbeiten, sondern es gibt noch eine große Anzahl weiterer Applikationen und Lösungen. Da in einer Hybrid-Cloud-Umgebung die Anzahl von Services und Anwendungen und somit auch der Schnittstellen steigt, entsteht hinter den Prozessen ein immer komplexeres System. Der Transfer, beziehungsweise der Austausch von Daten zwischen On-Prem- und Cloud-Infrastruktur büßt dadurch an Effizienz ein. Je ineffizienter und langsamer die Systeme arbeiten, desto mehr Zeit und folglich auch Chancen verlieren Unternehmen.

In einer hybriden Umgebung, in der Legacy-IT und moderne Cloud-Anwendungen und -Services gleichzeitig zum Einsatz kommen, ist die Umsetzung einer Cloud-first- oder sogar Cloud-only-Strategie oftmals schlichtweg unmöglich. Einige Anwendungen und Prozesse sind auf die etablierte, reibungslos funktionierende Legacy-Infrastruktur angewiesen – selbst wenn sie sich im Zuge dessen als ineffizient und weniger flexibel herausstellen. Ein Austausch der veralteten Systeme wäre in diesem Falle kostspielig und könnte Ausfälle und Produktivitätsverluste nach sich ziehen. Vielmehr müssen an dieser Stelle bestehende Prozesse ergänzt und sowohl Legacy- als auch moderne IT miteinander vernetzt und modernisiert werden.

Data in Motion und Apache Kafka in Hybrid-Cloud-Umgebungen

Die Verbindung mehrerer Systeme, die trotz unterschiedlicher Umgebungen und steigender Komplexität miteinander kommunizieren müssen, kann sich zu einer nicht zu unterschätzenden Herausforderung entwickeln. Es gilt, eine direkte Leitung zwischen On-Prem- und Cloud-Infrastrukturen zu schaffen, damit ein effizienter Datenaustausch stattfinden kann. Die Lösung: Daten müssen in Bewegung verarbeitet und bereitgestellt werden. Unternehmen setzen hierbei auf den Standard für „Data in Motion“: Apache Kafka.

Data in Motion stehen im Kontrast zu der Art und Weise, wie Daten aktuell behandelt werden. Wenn man von „Data at Rest“ spricht, werden Daten dauerhaft an einem bestimmten Ort, wie zum Beispiel in einer Datenbank oder einem anderen Data Warehouse, gespeichert. Von hier ziehen sich die Datenkonsumenten bei Bedarf die notwendigen (unstrukturierten) Daten heraus und verarbeiten sie. Diese Methode ist jedoch höchst ineffizient, da die Daten bereits vor der Auswertung veraltet sein können. Der echte Mehrwert liegt demnach in der Echtzeit-Datenverarbeitung, ab dem Moment wo sie generiert und zu den entsprechenden Geschäftsbereichen transportiert werden.

Apache Kafka wurde als zentrales und elastisches Messaging- und Storage-System konzipiert, das nicht nur in der Lage ist, große Datenmengen kontinuierlich und in Echtzeit zu verarbeiten und zu analysieren, sondern auch als Datendrehscheibe fungiert. So gelangen die Daten in verschiedene Systeme und können bei Bedarf überdies gespeichert werden, damit Konsumenten später darauf zugreifen können. Dadurch können Unternehmen den verzugsfreien Datenaustausch zwischen On-Prem- beziehungsweise Legacy-Systemen und modernen Cloud-Infrastrukturen sicherstellen. Dafür muss Kafka sowohl im Rechenzentrum als auch „at the Edge“ und in der Cloud Einsatz finden.

Vor allem beim Einsatz als Cloud-nativem Services lassen sich die allgemeine Komplexität sowie die durch die Übertragung benötigte Bandbreite erheblich minimieren. Ein Cloud-basierter Fully-Managed Kafka-Service ermöglicht agile und skalierbare Datenverarbeitung und -integration, ohne dass sich Unternehmen selbst mit dem Infrastructure Management befassen müssen. Kunden wie Bosch Power Tools, BMW, s.Oliver oder die Deutsche Post setzen bereits auf diese Mehrwerte der Confluent Cloud und können sich so auf wertschöpfende Tätigkeiten und ihre Geschäftsziele – wie die Optimierung der Customer Experience – konzentrieren.

Fazit

Hybrid-Cloud-Umgebungen erfreuen sich aufgrund ihrer effizienteren und flexibleren Beschaffenheit in Unternehmen immer größerer Beliebtheit. Dennoch besteht eine der größten Herausforderungen darin, einen reibungslosen Datenaustausch zwischen den Systemen zu gewährleisten. Daten-Streaming – also die Echtzeit-Verarbeitung und -Integration von Data in Motion – mit Apache Kafka und Confluent schafft mit hoher Skalierbarkeit und Verfügbarkeit eine Brücke zwischen On-Prem- und Cloud-Infrastruktur und sollte daher Teil der Hybrid-Cloud-Strategie sein.