{"id":20201,"date":"2021-01-28T10:16:45","date_gmt":"2021-01-28T09:16:45","guid":{"rendered":"https:\/\/www.inovex.de\/blog\/?p=20201"},"modified":"2022-09-19T08:31:03","modified_gmt":"2022-09-19T06:31:03","slug":"der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters","status":"publish","type":"post","link":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/","title":{"rendered":"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters"},"content":{"rendered":"<p><strong>Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Bei inovex bleiben die M\u00f6glichkeiten, sich im Unternehmen einzubringen, jedoch nicht auf den eigenen Fachbereich beschr\u00e4nkt. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.<\/strong><!--more--><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_83 counter-hierarchy ez-toc-counter ez-toc-custom ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\"><p class=\"ez-toc-title\" style=\"cursor:inherit\"><\/p>\n<\/div><nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#Start-in-den-Tag\" >Start in den Tag<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#Data-Guild-Meeting-%E2%80%93-Apache-Airflow-zur-Orchestrierung-von-Data-Pipelines\" >Data Guild Meeting \u2013 Apache Airflow zur Orchestrierung von Data Pipelines<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#Data-Ingestion-Pipeline\" >Data Ingestion Pipeline<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#Brownbag-zum-Wissensaustausch\" >Brownbag zum Wissensaustausch<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#Model-Performance-Reports-Feature-Engineering\" >Model Performance Reports &amp; Feature Engineering<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#Ad-hoc-Data-Science\" >Ad-hoc Data Science<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#Weiterbildung-ist-Key\" >Weiterbildung ist Key<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Start-in-den-Tag\"><\/span>Start in den Tag<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>9:00<\/strong> Der Tag beginnt, anders als gewohnt, mit einem Espresso aus der eigenen Mokkakanne und dem Login in das VPN-Netzwerk der Kundeninfrastruktur vom heimischen Schreibtisch. \u00dcblicherweise w\u00e4re ich jetzt unterwegs zum Kundenprojekt, doch die Corona-bedingten Umst\u00e4nde verschieben die gesamte T\u00e4tigkeit in das eigene Arbeitszimmer. Nach dem obligatorischen Blick auf die E-Mail Inbox und die wichtigsten Slack Channels, besch\u00e4ftigt mich die Frage, ob die n\u00e4chtlichen Datenpipelines erfolgreich durchlaufen wurden. Sie sind die Datenkuriere, die den Data Scientists und Analysts neue Nutzerdaten \u00fcberbringen und so die Basis f\u00fcr Analysen und Modelle \u00fcberhaupt erst herstellen. Heute ist alles ohne Probleme gelaufen und ich starte meinen ersten Video Call f\u00fcr das Team Daily.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Data-Guild-Meeting-%E2%80%93-Apache-Airflow-zur-Orchestrierung-von-Data-Pipelines\"><\/span>Data Guild Meeting \u2013 Apache Airflow zur Orchestrierung von Data Pipelines<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>10:00<\/strong>\u00a0Als n\u00e4chstes findet das w\u00f6chentliche Data Guild Meeting statt. Es dient dazu, Technologien und Best Practices mit einem gro\u00dfen Kreis von Kolleg:innen aus allen technischen Organisationsbereichen zu teilen. Es ist eine hervorragende Plattform, um in die Rolle eines Technology Evangelist zu schl\u00fcpfen und gemeinsame Standards zu promoten und letztlich auch zu etablieren. Am heutigen Tag stelle ich Apache Airflow zur Orchestrierung von Data Pipelines vor. Nach einer kurzen Einf\u00fchrung widme ich mich den spezifischen Einsatzm\u00f6glichkeiten beim Kunden, was zu einem angeregten Austausch f\u00fchrt. In den kommenden Wochen werden Ressourcen f\u00fcr die Vertiefung des Themas in der Quartalsplanung reserviert, somit kann ich diese Initiative als Erfolg verbuchen.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Data-Ingestion-Pipeline\"><\/span>Data Ingestion Pipeline<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>11:00<\/strong>\u00a0In der n\u00e4chsten Stunde arbeite ich an der Data Ingestion Pipeline. Data Scientist und Data Analyst sind gewohnt, die vorhandenen Datent\u00f6pfe f\u00fcr die Erstellung eines Reports oder f\u00fcr das Training eines Machine-Learning-Modells zu verwenden. Doch der Weg der Daten in diese Datendepots ist ein \u00fcberraschend langer. Die Interaktion eines Nutzers mit einer Website erzeugt Events, die von der Website an das Backend gesendet werden. Hier m\u00fcssen sie zun\u00e4chst mit Kontextinformation angereichert werden, wie z. B. welcher Service genutzt, wurde, welche Version dieser besitzt und vieles mehr. Damit hat das Datum jedoch erst wenige Schritte in die Richtung der Big-Data-Tabellen gemacht. Von hier wird das Datenobjekt von einer Verarbeitungsschicht zur n\u00e4chsten weitergereicht und durchl\u00e4uft dabei Java Services, HTTP-Endpunkte, Kafka Topics und Flume Agents bis es schlie\u00dflich in einer Rohform auf Apache Hadoop landet.<\/p>\n<p>Ab dieser Stelle \u00fcbernehme ich die Verarbeitung der Daten und sorge f\u00fcr eine konsistente, anonymisierte und sinnvoll strukturierte Datenbasis. Um die Konsistenz zu gew\u00e4hrleisten, m\u00fcssen die Eventobjekte eine vordefinierte Struktur einhalten. Zur Anonymisierung und Anreicherung kommen User Defined Functions (UDF) in Spark zum Einsatz. Und da die entsprechenden Spark Jobs in Gr\u00f6\u00dfenordnungen von mehreren Terrabyte Arbeitsspeicher keine Ausnahme sind, gilt mein Augenmerk auch der effizienzsoptimierten Gestaltung dieser Jobs. Dazu ein Beispiel: Beim Anreichern von Events durch einen Join l\u00e4sst sich ein teurer Shuffle der gesamten Daten \u00fcber alle Spark Executors verhindern, wenn man die kleinere Anreicherungstabelle vorher per Broadcast verteilt. Auch eine spezifisch gew\u00e4hlte Zahl von Shuffle Partitions kann die Laufzeit dieser Jobs von Stunden auf den Bruchteil einer Stunde reduzieren und die Last auf den Yarn Cluster merklich verringern.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Brownbag-zum-Wissensaustausch\"><\/span>Brownbag zum Wissensaustausch<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>12:00<\/strong>\u00a0Ein fester Bestandteil der inovex Kultur ist ohne Zweifel der Wissensaustausch. Und hier steht in allererster Linie die Tradition der Kurz-Vortr\u00e4ge in der Mittagszeit. Daher ist der Blick in den inovex Kalender zur Mittagszeit schon zu einer gewissen Routine geworden. Heute bietet sich die Wahl zwischen zwei Abschlusspr\u00e4sentationen zweier Masterarbeiten an:\u00a0\u201eFeedbackschleifen f\u00fcr Bildersuchen\u201c und \u201eInverse Reinforcement Learning\u201c. Ich entscheide mich f\u00fcr das letztere Brownbag und lerne State-of-the-Art-Methoden, wie zielf\u00fchrende Reward Functions gefunden werden k\u00f6nnen.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Model-Performance-Reports-Feature-Engineering\"><\/span>Model Performance Reports &amp; Feature Engineering<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>13:00<\/strong>\u00a0Den Rest des Nachmittags widme ich mich einem produktiven Modell zur Fraud Detection. Zuallererst m\u00f6chte ich die produktive Performance des Modells f\u00fcr alle Stakeholder m\u00f6glichst sichtbar machen, indem ich einen automatisierten Report erstelle. Zu den Stakeholdern geh\u00f6ren neben den Business Owner auch die beteiligten Data Scientists, die \u00fcber einen Drift in der Performance und der Verteilung der Predictions m\u00f6glichst schnell in Kenntnis gesetzt werden m\u00fcssen. Gerade bei Fraud kann ein Shift in den Daten schnell geschehen, da die Fraudster selbst mit einen hohen Grad an Automatisierung arbeiten und ein Individuum ohne weiteres eine hohe Anzahl von F\u00e4llen hervorrufen kann.<\/p>\n<p>Als erstes mache ich mir mithilfe eines Jupyter Notebooks ein Bild von den relevanten Daten und erstelle erste Prototypen der sp\u00e4teren Funktionen. Ich entscheide mich daf\u00fcr den Report in Form einer E-Mail, mit\u00a0 HTML Tables im Body f\u00fcr die Daten, zu implementieren. Nachdem ich eine entsprechende Reportvorlage generiert habe, gilt es, die Br\u00fccke von meinen Pandas DataFrames zum HTML Output f\u00fcr die E-Mail zu schlagen. Dazu mache ich mir die .render-Methode von Pandas zunutze und f\u00fcge die resultierenden CSS und HTML Scripts mittels Jinja2 in mein HTML-Template. Ab hier gilt es den Inhalt dieses Jupyter Notebooks in ein leicht zu wartendes, testf\u00e4higes und f\u00fcr Dritte nachvollziehbar strukturiertes Python-Modul zu gie\u00dfen.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Ad-hoc-Data-Science\"><\/span>Ad-hoc Data Science<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Als n\u00e4chstes widme ich mich einer eher zuf\u00e4lligen Beobachtung, die ich bei der Analyse der Rohdaten f\u00fcr den Report gemacht habe: das Vokabular nutzergenerierten Texte scheint sich zwischen den Fraud und Non-Fraud F\u00e4llen zu unterscheiden. Ein solcher Unterschied k\u00f6nnte als Basis f\u00fcr ein weiteres Input Feature f\u00fcr das Vorhersagemodell (Random Forest) dienen. Ich formuliere eine entsprechende Hypothese und strukturiere ein neues Notebook grob vor, um dieser Frage nachzugehen.<\/p>\n<p>Zun\u00e4chst w\u00e4hle ich die False-Negative und True-Negatives als meine zu diskriminierenden Gruppen. W\u00fcrde ich hier lediglich Positives und Negatives als Ground Truth heranziehen, best\u00fcnde das Risiko, dass ich zwar ein Feature mit guter Erkl\u00e4rungskraft konstruiere, es aber gr\u00f6\u00dftenteils dieselbe Information tr\u00e4gt, wie die bereits bestehenden Input Features. In diesem Fall w\u00fcrde ich die VC Dimension erh\u00f6hen, ohne dass sich die Performance des Random Forest Modells verbessert. Als Resultat w\u00fcrde das Modell bei gleicher Gr\u00f6\u00dfe des Trainset leichter overfitten, was ein Nachteil w\u00e4re.\u00a0Im n\u00e4chsten Schritt s\u00e4ubere ich die Daten, indem ich mithilfe von SpaCy alle Stop Words und Special Characters entferne.<\/p>\n<p>Um meine Hypothese mit m\u00f6glichst geringem Aufwand zu verifizieren, w\u00e4hle ich f\u00fcr das weitere Vorgehen ein relativ simples Verfahren \u2013 das Bag-of-words model \u2013,\u00a0 anstatt beispielsweise Word Embeddings \u00fcber neuronale Netzwerke zu finden. Daf\u00fcr erstelle ich mir ein Vocabulary aus den h\u00e4ufigsten unigrams und generiere auf dieser Basis die Inputvektoren der True-Negative und False-Negative Gruppen. Sie k\u00f6nnen nun als weitere Features zum Training des Random Forest Modells verwendet werden. Diese Vorgehensweise w\u00fcrde jedoch die Vapnik\u2013Chervonenkis (VC) Dimensions unn\u00f6tig erh\u00f6hen, da die Vektoren sehr sparse sind. Diesem Problem kann man mit Techniken der Dimension Reduction begegnen. Das Ziel ist dabei, die Dimension des Features zu reduzieren ohne dessen Informationsgehalt zu verlieren. Eine der bekanntesten Methoden daf\u00fcr ist die Principal Component Analysis (PCA), welche sich in dem vorliegenden Fall jedoch nicht eignet, da es sich bei den Daten um bin\u00e4re Vektoren handelt. Stattdessen verwende ich die lineare Diskriminanzanalyse. Sie gibt mir schlie\u00dflich die Koeffizienten f\u00fcr eine lineare Transformation, mit der sich die hochdimensionalen Vektoren zu eindimensionalen Vektoren zu verdichten lassen.<\/p>\n<p>Im letzten Schritt gilt es noch die initial gew\u00e4hlten Parameter, wie die L\u00e4nge der n-grams und die Gr\u00f6\u00dfe des Vocabularys zu optimieren. Dazu f\u00fchre ich eine Grid Search durch und umgehe das Risiko des Overfittings, indem ich das jeweilige Datenset per Cross Validation zusammenstelle. Als Resultat dieser Analyse kann ich die eingangs formulierte Hypothese bejahen, da das neue Feature eine um 8% h\u00f6here Vorhersagekraft besitzt als die naive Alternative.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Weiterbildung-ist-Key\"><\/span>Weiterbildung ist Key<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Bei inovex ist Lifelong Learning ein zentrales Thema. Deshalb verf\u00fcgen alle Mitarbeiter:innen \u00fcber vielseitige M\u00f6glichkeiten zur Weiterbildung. Ich pers\u00f6nlich habe sehr gute Erfahrungen mit der Online-Lernplattform Udacity gemacht und habe mich zu meinem zweiten Nanodegree-Kurs angemeldet. An manchen Abenden nehme ich mir noch ein paar Stunden Zeit, um ein Kurs-Modul zu bearbeiten. Jedes Modul besteht aus einem theoretischen Teil, der von Expert:innen aus dem jeweiligen Bereich vorgetragen wird. Die heutige Videoreihe pr\u00e4sentiert Sebastian Thrun. Er erkl\u00e4rt, was die neuesten Entwicklungen im Autonomen Fahren sind und geht auf die gr\u00f6\u00dften Herausforderungen f\u00fcr die Serienreife ein. Als n\u00e4chstes geht es an die praktische Umsetzung einer Spurerkennung mittels CNNs, welche im Anschluss von einem Reviewer begutachtet wird.<\/p>\n<p><em>Hier erf\u00e4hrst du mehr zu unserem typischen <a href=\"https:\/\/www.inovex.de\/de\/leistungen\/data-science\/\">Data Science Setup<\/a>.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Bei inovex bleiben die M\u00f6glichkeiten, sich im Unternehmen einzubringen, jedoch nicht auf den eigenen Fachbereich beschr\u00e4nkt. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.<\/p>\n","protected":false},"author":224,"featured_media":20610,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"ep_exclude_from_search":false,"footnotes":""},"tags":[385],"service":[431,432],"coauthors":[{"id":224,"display_name":"Simon Kufeld","user_nicename":"skufeld"}],"class_list":["post-20201","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","tag-data-engineering","service-data-science","service-devops"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.7 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters - inovex GmbH<\/title>\n<meta name=\"description\" content=\"Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters - inovex GmbH\" \/>\n<meta property=\"og:description\" content=\"Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/\" \/>\n<meta property=\"og:site_name\" content=\"inovex GmbH\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/inovexde\" \/>\n<meta property=\"article:published_time\" content=\"2021-01-28T09:16:45+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2022-09-19T06:31:03+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1920\" \/>\n\t<meta property=\"og:image:height\" content=\"1080\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Simon Kufeld\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:image\" content=\"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer-1024x576.png\" \/>\n<meta name=\"twitter:creator\" content=\"@inovexgmbh\" \/>\n<meta name=\"twitter:site\" content=\"@inovexgmbh\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Simon Kufeld\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"7\u00a0Minuten\" \/>\n\t<meta name=\"twitter:label3\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data3\" content=\"Simon Kufeld\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/\"},\"author\":{\"name\":\"Simon Kufeld\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/person\\\/b930fc2e2e7ac1e0b9a7869e9009b222\"},\"headline\":\"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters\",\"datePublished\":\"2021-01-28T09:16:45+00:00\",\"dateModified\":\"2022-09-19T06:31:03+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/\"},\"wordCount\":1484,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2020\\\/11\\\/data-engineer.png\",\"keywords\":[\"Data Engineering\"],\"articleSection\":[\"Analytics\",\"General\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/\",\"name\":\"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters - inovex GmbH\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2020\\\/11\\\/data-engineer.png\",\"datePublished\":\"2021-01-28T09:16:45+00:00\",\"dateModified\":\"2022-09-19T06:31:03+00:00\",\"description\":\"Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2020\\\/11\\\/data-engineer.png\",\"contentUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2020\\\/11\\\/data-engineer.png\",\"width\":1920,\"height\":1080,\"caption\":\"Ein Dirigent mit Kaffeetasse dirigiert Dateien\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#website\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/\",\"name\":\"inovex GmbH\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#organization\",\"name\":\"inovex GmbH\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/inovex-logo-16-9-1.png\",\"contentUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/inovex-logo-16-9-1.png\",\"width\":1921,\"height\":1081,\"caption\":\"inovex GmbH\"},\"image\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/inovexde\",\"https:\\\/\\\/x.com\\\/inovexgmbh\",\"https:\\\/\\\/www.instagram.com\\\/inovexlife\\\/\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/inovex\",\"https:\\\/\\\/www.youtube.com\\\/channel\\\/UC7r66GT14hROB_RQsQBAQUQ\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/person\\\/b930fc2e2e7ac1e0b9a7869e9009b222\",\"name\":\"Simon Kufeld\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/1bb7398da75908d7891397bbe3cd1c0127fe5f355b4287f26109e42b14cadd35?s=96&d=retro&r=g7b4e61daccdebd8f28413252dff98845\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/1bb7398da75908d7891397bbe3cd1c0127fe5f355b4287f26109e42b14cadd35?s=96&d=retro&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/1bb7398da75908d7891397bbe3cd1c0127fe5f355b4287f26109e42b14cadd35?s=96&d=retro&r=g\",\"caption\":\"Simon Kufeld\"},\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/author\\\/skufeld\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters - inovex GmbH","description":"Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/","og_locale":"de_DE","og_type":"article","og_title":"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters - inovex GmbH","og_description":"Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.","og_url":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/","og_site_name":"inovex GmbH","article_publisher":"https:\/\/www.facebook.com\/inovexde","article_published_time":"2021-01-28T09:16:45+00:00","article_modified_time":"2022-09-19T06:31:03+00:00","og_image":[{"width":1920,"height":1080,"url":"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer.png","type":"image\/png"}],"author":"Simon Kufeld","twitter_card":"summary_large_image","twitter_image":"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer-1024x576.png","twitter_creator":"@inovexgmbh","twitter_site":"@inovexgmbh","twitter_misc":{"Verfasst von":"Simon Kufeld","Gesch\u00e4tzte Lesezeit":"7\u00a0Minuten","Written by":"Simon Kufeld"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#article","isPartOf":{"@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/"},"author":{"name":"Simon Kufeld","@id":"https:\/\/www.inovex.de\/de\/#\/schema\/person\/b930fc2e2e7ac1e0b9a7869e9009b222"},"headline":"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters","datePublished":"2021-01-28T09:16:45+00:00","dateModified":"2022-09-19T06:31:03+00:00","mainEntityOfPage":{"@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/"},"wordCount":1484,"commentCount":0,"publisher":{"@id":"https:\/\/www.inovex.de\/de\/#organization"},"image":{"@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#primaryimage"},"thumbnailUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer.png","keywords":["Data Engineering"],"articleSection":["Analytics","General"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/","url":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/","name":"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters - inovex GmbH","isPartOf":{"@id":"https:\/\/www.inovex.de\/de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#primaryimage"},"image":{"@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#primaryimage"},"thumbnailUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer.png","datePublished":"2021-01-28T09:16:45+00:00","dateModified":"2022-09-19T06:31:03+00:00","description":"Der Tag eines Data Engineers kann vielf\u00e4ltig sein: Datenaufbereitung und -analyse, die Konzeption von KI-Modellen etc. Im Blog-Artikel beschreibt Simon Kufeld, wie ein Tag als Senior Data Engineer bei inovex ablaufen kann.","breadcrumb":{"@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#primaryimage","url":"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer.png","contentUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/2020\/11\/data-engineer.png","width":1920,"height":1080,"caption":"Ein Dirigent mit Kaffeetasse dirigiert Dateien"},{"@type":"BreadcrumbList","@id":"https:\/\/www.inovex.de\/de\/blog\/der-tag-eines-data-engineers-bei-inovex-dirigieren-eines-datenorchesters\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.inovex.de\/de\/"},{"@type":"ListItem","position":2,"name":"Der Tag eines Data Engineers bei inovex \u2013 Dirigieren eines Datenorchesters"}]},{"@type":"WebSite","@id":"https:\/\/www.inovex.de\/de\/#website","url":"https:\/\/www.inovex.de\/de\/","name":"inovex GmbH","description":"","publisher":{"@id":"https:\/\/www.inovex.de\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.inovex.de\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/www.inovex.de\/de\/#organization","name":"inovex GmbH","url":"https:\/\/www.inovex.de\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.inovex.de\/de\/#\/schema\/logo\/image\/","url":"https:\/\/www.inovex.de\/wp-content\/uploads\/2021\/03\/inovex-logo-16-9-1.png","contentUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/2021\/03\/inovex-logo-16-9-1.png","width":1921,"height":1081,"caption":"inovex GmbH"},"image":{"@id":"https:\/\/www.inovex.de\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/inovexde","https:\/\/x.com\/inovexgmbh","https:\/\/www.instagram.com\/inovexlife\/","https:\/\/www.linkedin.com\/company\/inovex","https:\/\/www.youtube.com\/channel\/UC7r66GT14hROB_RQsQBAQUQ"]},{"@type":"Person","@id":"https:\/\/www.inovex.de\/de\/#\/schema\/person\/b930fc2e2e7ac1e0b9a7869e9009b222","name":"Simon Kufeld","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/secure.gravatar.com\/avatar\/1bb7398da75908d7891397bbe3cd1c0127fe5f355b4287f26109e42b14cadd35?s=96&d=retro&r=g7b4e61daccdebd8f28413252dff98845","url":"https:\/\/secure.gravatar.com\/avatar\/1bb7398da75908d7891397bbe3cd1c0127fe5f355b4287f26109e42b14cadd35?s=96&d=retro&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/1bb7398da75908d7891397bbe3cd1c0127fe5f355b4287f26109e42b14cadd35?s=96&d=retro&r=g","caption":"Simon Kufeld"},"url":"https:\/\/www.inovex.de\/de\/blog\/author\/skufeld\/"}]}},"_links":{"self":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts\/20201","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/users\/224"}],"replies":[{"embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/comments?post=20201"}],"version-history":[{"count":1,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts\/20201\/revisions"}],"predecessor-version":[{"id":38417,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts\/20201\/revisions\/38417"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/media\/20610"}],"wp:attachment":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/media?parent=20201"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/tags?post=20201"},{"taxonomy":"service","embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/service?post=20201"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/coauthors?post=20201"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}