[Online Meetup] Databricks-Orchestrierung mit Apache Airflow

inovex
Oktober 2021
MODIMIDOFRSASO
27 28 29 30 01 02 03
04 05 06 07 08 09 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

Hey Tech Heads,

unter Data Scientists und Engineers wird Databricks als Cloud Data Platform immer beliebter. Auf den Databricks Clustern können Entwickler:innen mit wenig Aufwand ihre Spark ETL-Strecken ausführen oder analytisch und explorativ im bekannten Notebook-Format arbeiten.

Gleichermaßen ist Apache Airflow aus großen Projekten mit komplexen Workflows nicht mehr wegzudenken:

Die OpenSource Plattform hilft uns, einzelne Tasks zu gerichteten, azyklischen Graphen (DAGs) zu verbinden und diese über einen festgelegten Zeitplan oder als Reaktion auf externe Events zu triggern. Während Databricks zur Zeit ein simples Scheduling einzelner Jobs ermöglicht, ist eine kollaborative Nutzung der Tools für die meisten Use Cases erstrebenswerter, weshalb bereits ein Databricks Provider Package für Airflow-Nutzer:innen grundlegende Operatoren bereitstellt.

Wir zeigen euch in unserem Meetup, wie wir noch viele weitere Funktionalitäten von Databricks in benutzerdefinierten Airflow-Operatoren nutzen können, z. B.:

  • DBFS-File-Sensoren die einen DAG triggern
  • Abruf von Notebook-Ergebnissen über xcom
  • Ansteuern der Databricks Cluster API

Wir freuen uns über Interessierte mit oder ohne Vorwissen, die Lust haben, mehr über die Orchestrierung Databricks via Airflow zu erfahren.

Infos und Anmeldung:

Das Meetup wird in deutscher Sprache durchgeführt.

Anmeldung bitte über eine unserer Meetup-Seiten oder unter meetups@inovex.de

inovex Meetup Karlsruhe

inovex Meetup München

inovex Meetup Köln

inovex Meetup Hamburg

Wir freuen uns auf euch!

Zur Durchführung des Online Meetups verwenden wir „Zoom”. Hinweise zur Datenverarbeitung findet ihr unter https://www.inovex.de/de/datenschutz/.