Hey Tech Heads,
unter Data Scientists und Engineers wird Databricks als Cloud Data Platform immer beliebter. Auf den Databricks Clustern können Entwickler:innen mit wenig Aufwand ihre Spark ETL-Strecken ausführen oder analytisch und explorativ im bekannten Notebook-Format arbeiten.
Gleichermaßen ist Apache Airflow aus großen Projekten mit komplexen Workflows nicht mehr wegzudenken:
Die OpenSource Plattform hilft uns, einzelne Tasks zu gerichteten, azyklischen Graphen (DAGs) zu verbinden und diese über einen festgelegten Zeitplan oder als Reaktion auf externe Events zu triggern. Während Databricks zur Zeit ein simples Scheduling einzelner Jobs ermöglicht, ist eine kollaborative Nutzung der Tools für die meisten Use Cases erstrebenswerter, weshalb bereits ein Databricks Provider Package für Airflow-Nutzer:innen grundlegende Operatoren bereitstellt.
Wir zeigen euch in unserem Meetup, wie wir noch viele weitere Funktionalitäten von Databricks in benutzerdefinierten Airflow-Operatoren nutzen können, z. B.:
- DBFS-File-Sensoren die einen DAG triggern
- Abruf von Notebook-Ergebnissen über xcom
- Ansteuern der Databricks Cluster API
Wir freuen uns über Interessierte mit oder ohne Vorwissen, die Lust haben, mehr über die Orchestrierung Databricks via Airflow zu erfahren.
Infos und Anmeldung:
Das Meetup wird in deutscher Sprache durchgeführt.
Anmeldung bitte über eine unserer Meetup-Seiten oder unter meetups@inovex.de
Wir freuen uns auf euch!
Zur Durchführung des Online Meetups verwenden wir „Zoom“. Hinweise zur Datenverarbeitung findet ihr unter https://www.inovex.de/de/datenschutz/.