Thought Leadership
Die Unternehmen Confluent und Databricks bauen ihre Zusammenarbeit aus, um Unternehmen den Zugang zu Echtzeitdaten für KI-gestützte Entscheidungen zu erleichtern.
Durch die Verknüpfung der Daten-Streaming-Plattform von Confluent mit der Data-Intelligence-Plattform von Databricks sollen isolierte Datensilos überwunden und eine durchgängige Kontrolle und Steuerung operativer sowie analytischer Systeme ermöglicht werden.
Viele Unternehmen setzen auf KI-Anwendungen, um fundierte Entscheidungen zu treffen und ihre Kunden besser zu bedienen. Doch nur 22 Prozent sind davon überzeugt, dass ihre bestehende IT-Infrastruktur diesen Anforderungen gewachsen ist. Die größte Hürde liegt in der Trennung zwischen operativen Systemen, die Daten generieren, und Analysesystemen, die diese auswerten. Unterschiedliche Teams, Tools und Prozesse erschweren eine nahtlose Datenverknüpfung und bremsen so die Entwicklung innovativer KI-Lösungen.
Neue Integrationen für nahtlosen Datenaustausch
Um diese Herausforderungen zu bewältigen, setzen Confluent und Databricks auf eine engere Integration. Die Verbindung von Confluents Tableflow mit Databricks Unity Catalog und Delta Lake ermöglicht einen bidirektionalen Echtzeit-Datenaustausch. So stehen Unternehmen konsistente, vertrauenswürdige Daten für operative und analytische Systeme zur Verfügung.
Delta Lake, eine von Databricks entwickelte Speicherlösung für Streaming-Daten, hat sich mit einer täglichen Datenverarbeitung von über 10 Exabyte als Branchenstandard etabliert. Durch die Kombination mit Tableflow können Betriebsdaten sofort im Delta-Lake-Ökosystem genutzt werden. Nutzer haben die Möglichkeit, verschiedene Engines und KI-Tools wie Apache Spark, Trino, Polars, DuckDB und Daft auf ihre Daten im Unity Catalog anzuwenden.
Ein weiterer Vorteil der neuen Integration ist die automatische Anreicherung ausgetauschter Daten mit Metadaten. Dies erleichtert sowohl Data-Science- und Analytics-Teams in Databricks als auch Anwendungsentwicklern und Streaming Engineers in Confluent den Zugriff auf relevante Informationen. Die Stream-Governance-Suite von Confluent sorgt zudem für verbesserte Kontrolle, End-to-End-Nachverfolgbarkeit und optimiertes Monitoring der Datenqualität.
Dank der neuen Funktionen lassen sich operationale Daten von Confluent nahtlos in Databricks integrieren. Gleichzeitig stehen die in Databricks gespeicherten Daten für alle relevanten Verarbeitungsprozesse im Unternehmen zur Verfügung. So entsteht eine einheitliche Sicht auf Echtzeitdaten für KI-Anwendungen und Analysen. Diese nahtlose Integration ist ein entscheidender Schritt für die Entwicklung skalierbarer KI-Lösungen, die fundierte, datenbasierte Entscheidungen in Echtzeit ermöglichen.
