Wie sich IoT mithilfe von Big Data Streaming Analytics auszahlt

Welche Vorteile entstehen durch das IoT in der Big-Data-Welt? Besserer Service und reduzierte Betrugsraten sind einige Vorteile, die sich Unternehmen versprechen. 

Viele starten ihre Big-Data-Reise mit der Optimierung ihres Data Warehouses, um Kosten zu reduzieren und Hadoop einzuführen. Doch dies ist nur ein Schritt: Ziel sollte es sein, einen Data Lake zu schaffen, der verschiedenste Arten von Daten speichern, verarbeiten und managen kann. Dazu gehören auch Daten aus Social Media und IoT-Maschinen, primär für die Datenexploration.

Die Implementierung eines Master Data Management (MDM) und Real-Time-Streamings innerhalb von Big-Data-Initiativen liefert Erkenntnisse aus dem operativen Tagesgeschäft in Echtzeit. So können Unternehmen wiederum zugeschnittene Angebote liefern, die Ermittlung von Betrugsfällen optimieren, Sicherheit und die Customer Experience verbessern. Die Anwendungsmöglichkeiten erfordern anspruchsvollere Datenplattformen, als dies für traditionelle Streaming Analytics der Fall ist. Beispielsweise nutzt ein Unternehmen Big Data Streaming Analytics unter anderem, um die Risiken durch Betrugsfälle bei Geldtransfervorgängen und Anti-Geldwäsche (AML) zu reduzieren. Um Missbrauch und AML zu identifizieren, benötigt man eine Big-Data-Management-Plattform, die Prognosemodelle erstellt und Betrugs- sowie AML-Muster erkennt. Diese Vorhersagemodelle verbessern sich mit der Zeit, mithilfe von iterativen und agilen Ansätzen für Big Data Streaming Analytics:

• Der erste Schritt ist es, Missbrauchsmuster und Cyber-Security-Gefahren zu erkennen.
• Als nächstes werden Analytics-Modelle erstellt, getestet und mithilfe einer Reihe von Datentypen überprüft, darunter Daten aus Maschinen, dem IoT-Bereich oder beziehungsorientierten Transaktionen.
• Sobald ein Modell mit genügend Vorhersagekraft identifiziert wurde, wird es als Data Pipeline implementiert, um Missbrauch und Cyber-Security-Gefahren in Echtzeit zu erkennen.

Die Nutzung von Big-Data-Management-Plattformen unterstützt einen sich wiederholenden und ganzheitlichen Ansatz, wie das Big Data Streaming Analytics:

• Einbeziehung aller Daten mit unterschiedlichsten Latenzzeiten: Alle Datentypen können mit hoher Verfügbarkeit und Zuverlässigkeit miteinbezogen werden. Maschinendaten werden in Echtzeit generiert und gesammelt und an langlebige und skalierbare Data-Storage- und Processing-Plattformen wie Hadoop gestreamt. Beziehungsdaten werden üblicherweise in Echtzeit aufgenommen (Micro-Batch) oder innerhalb derselben Datenplattform gesammelt. Alle Daten werden genutzt, um Data Lakes oder Data Hubs aufzubauen.
• Erkenntnisse aus Big Data: Profile erstellen, integrieren, reinigen, zuordnen und bereitstellen von Big Data auf skalierbarer Basis für explorative Datenanalysen und Prüfung statistischer sowie maschineller Lernmodelle. Dieser entscheidende Schritt kombiniert eine Vielzahl an verschiedenen Datentypen, -formaten und -größen in Datenpakete, die genutzt werden, um Modelle für Predictive Analytics zu erstellen. Dies ist in der Regel ein skalierbarer Batch-Prozess, der in MapReduce, Spark oder eigenen Engines über YARN (Yet Another Resource Negotiator) durchgeführt wird. Er benötigt kollaborative Tools, damit Datenwissenschaftler, Data Stewards etc. vertrauenswürdige und sichere Daten-Pipelines aufbauen können, die analytische Modelle mit Daten speisen.
• Erkenntnisse in umsetzbare Resultate umwandeln: Die Implementierung von Erkenntnissen wie Daten-Pipelines mit multiplen Latenzzeiten, basiert auf Geschäftsanforderungen, die von Komplexität, Geschwindigkeit, Datendurchsatz und Kosten abhängen. Sobald Erkenntnisse identifiziert oder ein Vorhersagenmodell geprüft wurde, müssen sie als Daten-Pipelines implementiert werden. Diese sollten die Anforderungen an Latenzzeiten erfüllen, die üblicherweise durch die Datenerhebung in Echtzeit, durch Streamen und CEP-Maschinen (Complex Event Processing) entstehen. Der effizienteste und zuverlässigste Ansatz liegt in der Nutzung der Daten-Pipeline, die während der Identifizierungsphase erstellt und aufgebaut werden.

Um das Potenzial von Big Data Streaming Analytics voll auszuschöpfen, sollten Unternehmen nach einer Lösung mit einem Zugangspunkt suchen, die die Anforderungen vollständig abdeckt. Dies verringert nicht nur die Komplexität, sondern reduziert auch die Kosten.

Dirk Häußermann, Geschäftsführer EMEA Central bei Informatica