Thought Leadership
Fivetran, Anbieter von moderner Datenintegration, erweitert Fivetran Transformations für dbt Core um integriertes Scheduling und Data Lineage Graphen.
Die Unterstützung von dbt Core durch dbt Labs, einem in der Data Analytics-Community weit verbreiteten Open-Source-Transformations-
Transformationen sind eine wesentliche Stufe im ELT-Prozess: Rohdaten werden zu analysefähigen Datensätzen aufbereitet, die dann in nachgelagerten Data Analytics-Workflows verwendet werden können – vom einfachen Reporting bis hin zu Data Science. Ohne eine effektive und zuverlässige Methode der Transformation sind Unternehmen nicht in der Lage, Rohdaten in eine analysefähige Form zu überführen.
In der Umfrage „State of Data Engineers 2021“, die Dimensional Research im März 2021 im Auftrag von Fivetran durchführte, gaben fast die Hälfte der Unternehmen an, dass wichtige Daten für die Entscheidungsfindung nicht nutzbar waren. Die Studie ergab außerdem, dass 68 Prozent der Data Engineers die Zeit fehlt, um einen Mehrwert aus den vorhandenen Daten zu ziehen. Mit Fivetran Transformations will Fivetran die Komplexität von Transformationen durch die Automatisierung des Prozesses reduzieren.
Durch die Erweiterung um integriertes Scheduling können Anwender demnach ihre dbt Core-Modelle so planen, dass sie nach der Synchronisierung mit einem Fivetran Connector automatisch ausgeführt werden. Dadurch werden Datenlatenzzeiten reduziert und die Geschwindigkeit der End-to-End-ELT-Pipeline gesteigert, heißt es.
Eine zusätzliche Beschleunigung ihrer Analytics erfahre die dbt-Community außerdem durch die Nutzung vorkonfigurierter Datenmodelle. Dabei handelt es sich um paketierte SQL-Skripte für gängige Datenquellenkonnektoren, die in dbt ausgeführt werden können, um neue Berichte schnell und ohne weiteres Data Engineering zu erstellen.
Mit Data Lineage Graphen lassen sich dbt Core-Datenmodelle visualisieren, damit Anwender ihre End-to-End-Datenpipelines besser verfolgen und verwalten können. Data Analysts müssen so nicht mehr den SQL-Code durchgehen, um die Beziehungen zwischen den Modellen zu erkennen. Data Engineers erhalten eine visuelle Darstellung der Datenbewegungen während des Transformationsprozesses. Die Graphen seien außerdem leicht verständlich und können im gesamten Unternehmen geteilt werden, um eine bessere Zusammenarbeit mit Datenanalysten und anderen Geschäftsanwendern möglich zu machen.
www.fivetran.com
