Python Day

, WeAreDevelopers
Dezember 2021
MODIMIDOFRSASO
29 30 01 02 03 04 05
06 07 08 09 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31 01 02

Vor über 30 Jahren haderte Guido van Rossum mit der häufig zu komplizierten Syntax von ABC. Er wünschte sich etwas neues und intuitives, aber dennoch mächtiges und vielseitiges. Also setzte er sich auf seinen Hosenboden, schaute einen seiner liebsten Monty-Python-Filme im Fernsehen und fing an zu coden … der Rest ist Geschichte!

Wenn du hintergründige Einblicke in die Welt von Python gewinnen und erfahren möchtest, wie die Programmiersprache heute verwendet wird, melde dich an zum WeAreDevelopers Live Python Day!

Fully Orchestrating Databricks from Airflow

Vortrag von Alan Mazankiewicz (Englisch)

In this talk we will introduce how to use the popular cloud service Databricks for hosting Apache Spark applications for distributed data processing in combination with Apache Airflow, an orchestration framework for ETL batch workflows. After a brief exploration of the Databricks Workspace and the fundamentals of Airflow we will take a deeper look into the functionality Databricks provides in Airflow for orchestrating its workspace. Afterwards, we will find out how to extend and customize that functionality to manage virtually every aspect of the Databricks Workspace from Airflow.

The talk does not require any prior knowledge of Databricks, Spark or Airflow but it does assume familiarity with the  fundamentals of the Python programming language especially object oriented programming and REST api requests. The actual distributed data processing with Apache Spark itself is not the focus of this talk.

Zur Anmeldung