Headergrafik Mann telefoniert vor PC

Data Engineering

Data Engineering bildet die Grundlage für nachhaltigen Erfolg in der Digitalisierung – von der Datenanalyse bis zum KI-Einsatz.

Eine solide Dateninfrastruktur ist der Schlüssel für eine zukunftsorientierte Unternehmensentwicklung. Von der Entstehung neuartiger Wertschöpfungsketten über die fundierte Entscheidungsfindung mittels Business Intelligence bis hin zu personalisierten Produkten und dem Einsatz von Artificial Intelligence.

Erfolgreich mit Data Engineering

In den letzten Jahren sind die Möglichkeiten, Daten zu sammeln, rapide gewachsen. Nahezu jede Schnittstelle zu Kund:innen, Maschinen und Produkten kann auch Daten erheben. Um in der Menge der Informationen nicht den Überblick zu verlieren braucht es Konzepte und Kompetenzen aus unterschiedlichsten Bereichen, die über traditionelles Software Engineering hinausgehen.

Dafür stellen wir mehr als nur einfache Datenstrecken bereit. Das Orchestrieren der Datenmengen sowie die Bereitstellung, Verwaltung und Integration verlangt intelligentes Data Engineering, das auch Testing, Security, Monitoring und die Datenqualität berücksichtigt.

Um Data Engineering noch erfolgreicher zu gestalten, setzen wir auf die Best Practices aus dem Software Engineering. So entstehen bessere, robuste Datenprodukte, die den Grundpfeiler für nachhaltigen Erfolg bilden.

Case Studies

dm-drogerie markt: Entwicklung eines vollautomatisierten Data Centers für den Online-Shop

Wenn eine große Marke wie dm strategisch ins Onlinegeschäft einsteigt, weckt das hohe Erwartungen. Deshalb hat das IT-Tochterunternehmen FILIADATA, das seit 1988 für alle IT-Systeme von dm verantwortlich ist, bereits 2013 ein Projekt angestoßen, das die Voraussetzung für den zuverlässigen und ausfallsicheren IT-Betrieb von dm.de schaffen sollte: den Aufbau einer großen vollautomatisierten Linux-Infrastruktur im Rechenzentrum, auf der anspruchsvolle Web-Dienste wie der Onlineshop betrieben werden.

CASE STUDY LESEN

REWE digital: Demand Forecasting für den REWE-Lieferservice

Im Rahmen des aktuellen Projektes wurde die Absatzprognose (Demand Forecasting) für den REWE-Lieferservice neu entwickelt. Die Implementierung der Lösung sollte mit Hilfe von Big-Data-Technologien eine einfache Skalierbarkeit ermöglichen.

CASE STUDY LESEN

mobile.de: Use Cases für Recommendations bei Online-Portalen anhand von Datenprodukten

Pro Monat sind 13,5 Millionen Besucher:innen auf der Web-Plattform mobile.de, die aus über 1,6 Millionen Fahrzeugen wählen können. Jeder Besuch der Plattform erzeugt einen Strom von Daten, der etwas über die Nachfrage nach bestimmten Fahrzeugen, die Qualität der Angebote und die Bedürfnisse der Nutzer:innen verrät. mobile.de möchte diese Daten nutzen, um die User Experience – sowohl der Fahrzeugkäufer:innen als auch der Fahrzeuganbieter:innen – kontinuierlich zu verbessern.

CASE STUDY LESEN

Arvato Bertelsmann: Optimierte Betrugserkennung auf Microsoft Azure

In einem Innovationsprojekt realisiert arvato Financial Solutions gemeinsam mit Microsoft, dem Cloud- und Big-Data-Spezialisten inovex GmbH und drei Pilotkunden aus dem E-Commerce-Bereich eine Big-Data-Architektur auf Microsoft Azure und lotet damit aus, wie durch die Kombination von Cloud Computing, Big Data und Advanced Analytics Betrugserkennung verbessert und neue Finance BPO-Services entwickelt werden können.

CASE STUDY LESEN

Unsere Kompetenzen

Design und Weiterentwicklung von Data Lakes

Wie bei der klassischen Software-Entwicklung ist die Architektur auch bei der Konzeption eines Data Lakes maßgeblich für den Projekterfolg. Durch das richtige Design ist die Datenplattform nicht nur stabil, sondern auch flexibel genug, um neuen Use Cases wie z. B. in den Bereichen Reporting oder Machine Learning gerecht zu werden. Gleichzeitig bleiben die Betriebskosten niedrig.
Durch eine sauber konzipierte Architektur ermöglichen wir unseren Kunden, auch Herausforderungen wie etwa die DSGVO zu meistern.
In Projekten richten wir unseren Technologieeinsatz ganz nach den Anforderungen unserer Kunden. Meistens begleiten wir sie von der Konzeptionsphase bis hin zur Umsetzung und Weiterentwicklung.

Cloud-Migration

Wir haben schon früh Erfahrung im Bereich Big Data gesammelt und sind besonders erfahren in der Aufsetzung, Konzeption und Wartung von On-Premise Hadoop-Distributionen. Dementsprechend genau kennen wir die Aspekte einer Cloud-Migration und können ihre Vor- und Nachteile individuell und umfassend bewerten.
Bei einer Migration stellen wir sicher, dass sowohl die Infrastruktur als auch die Datensysteme und Anwendungsfälle „cloud native” umgesetzt werden. Hierbei schöpfen wir die Vorteile der Cloud voll aus. Dabei ist uns wichtig, dass die migrierten Produkte auch mit den neuen Technologien von unseren Kunden möglichst so wie vorher verwendet werden können.

Datenschutz-konforme Datenverarbeitung

Die EU-Datenschutzgrundverordnung (DSGVO) ist ein wichtiger Faktor für die Entwicklung neuer Lösungen. Sie bringt nicht nur neue technische Anforderungen mit sich, sondern kann bei Verletzung auch empfindliche Strafen für Unternehmen bedeuten.
Das hat massiven Einfluss auf bestehende und neue Datenplattformen – angefangen bei der konformen Speicherung und Bereitstellung der Daten bis hin zu entsprechenden Berechtigungskonzepten und der Dokumentation.
Eine nachträgliche Umstellung ist zeitaufwendig und mit zusätzlichen Kosten verbunden, falls diese Anforderungen bei der Konzeption der Architektur nicht bedacht wurden. Daher prüfen wir in unseren Projekten sehr genau, welche Bestimmungen gelten und wie sie in den individuellen Lösungen Anwendung finden müssen.

Entwicklung von neuen Data-driven Services

Eine performante Datenplattform ist die Basis für erfolgreiche Datenwertschöpfung. Sie macht es Teams möglich, neue Produkte zu entwickeln, indem sie flexibel auf die Informationen zugreifen und sie beliebig erweitern können. So ergeben sich mit einer gemeinsamen Plattform auch teamübergreifende Symbiosen, die dem Unternehmen neue Insights bieten können.
Wir helfen Teams mit kontinuierlichem Qualitätsmonitoring dabei, die Plattform so aufzusetzen, dass sie erfolgreich arbeiten und ihre Daten zuverlässig in die Plattform laden können.
Zusätzlich ermöglichen wir eine flexible Auswertung der Daten, indem wir klassischen Reporting-Lösungen Zugriff auf den Data Lake erteilen. So können Analyst:innen Berichte und Auswertungen auf den Daten erstellen.
Aber nicht nur die klassischen Berichte profitieren von einer zentralen Datenplattform. Auch komplexe Machine-Learning-Produkte können die Vorteile eines Data Lakes ausnutzen, auf dem auch unstrukturierte Daten, wie etwa Bilder, abgelegt werden können.

Vertiefungsthemen

Unsere Data-Engineering-Schwerpunkte
Frau mit Kopfhörer am Laptop

Big Data

Die Sammlung, Analyse und Auswertung von Big Data hilft, bestehende Geschäftsmodelle besser und detaillierter zu verstehen, sie zu digitalisieren und neue digitale Produkte zu etablieren. Ein hochskalierbares Datenmanagement bildet die unverzichtbare Basis für viele Verfahren der Data Science, des Machine Learnings und der Künstlichen Intelligenz.

Drei Männer gucken gemeinsam auf Laptop

Business Intelligence

Mittels performance-orientierter BI-Lösungen können Unternehmen ihre Geschäftsdaten eigenständig und in Echtzeit analysieren, auswerten und visualisieren. Aus den so aggregierten Informationen können sie im Nachhinein fundierte Erkenntnisse und konkrete Handlungsoptionen ableiten.

Eine Person zeigt auf gelbe Post-Its an einer Glaswand, im Hintergrund zwei weitere Personen

Cloud

Eine soldie Cloud-Infrastruktur ist ein wichtiger Faktor, um Daten skalierbar und kosteneffizient zu analysieren und zu bearbeiten. Wo klassische Rechenzentren einen höheren manuellen Aufwand bedeuten, kann mit Cloud-Lösungen flexibler auf den Ressourcenbedarf reagiert werden. Darauf aufbauend haben weitere Automatisierungsschritte dafür gesorgt, dass wir heute Cloud-Infrastrukturen realisieren können, die exakt auf die Anforderungen der Digitalen Transformation abgestimmt sind.

Zwei Personen schauen auf einen Bildschirm

Data Science

Die Data Science geht mit Data Engineering Hand in Hand. Sobald Daten gesammelt und aufbereitet werden können, geht es daran, die Erkenntnisse nutzbar zu machen. Datengetriebene Modelle sorgen dafür, dass die gewonnenen Informationen ihren Weg in die Produktion finden.

Zwei Männer lachen sich an und stehen vor Computern

Data Mesh

Daten haben das Potenzial, Unternehmen großen Mehrwert zu bieten. Die Herausforderung ist jedoch, die richtigen Schlüsse aus ihnen ziehen zu können: Die schiere Menge, Komplexität und Vielfalt stellen hohe Anforderungen an Werkzeuge, Menschen und Methoden bis relevante Einsichten gewonnen werden können. Data Mesh kann als analytische Datenarchitektur die Voraussetzung für effektive Datenwertschöpfung schaffen.

Technologiepartner

Cloudera Logo

Cloudera

Als zertifizierter Partner von Cloudera und Hortonworks unterstützen wir (nach der Fusion beider Unternehmen) unsere Kunden mit der Cloudera Data Platform – einer Lösung, die sehr große Datenmengen erfassen, speichern, verarbeiten und analysieren kann.

Confluent klein Logo

Confluent

Besonders interessant ist die Plattform zum Beispiel für Anwendungsfälle im Bereich der Betrugs- und Sicherheitskontrolle, Maschinenüberwachung und des Internet of Things sowie für Unternehmen, die mit sensiblen Daten, wie z. B. Finanz- oder medizinischen Daten, arbeiten und Multi-Mandanten-Umgebungen mit strengen Qualitäts- und Servicestandards betreiben.

databricks logo

databricks

Die Mission unseres Partners databricks besteht darin, Innovationen für alle Kunden voranzutreiben, indem Data Science, Data Engineering und Business in einer Lösung vereint werden.

Amazon Web Services Logo

Amazon Web Services (AWS)

Amazon Web Services (AWS) ist eine sichere Plattform für Cloud-Services, die Rechenleistung, Datenbankspeicherung, Bereitstellen von Inhalten und weitere Funktionen bietet, und das Wachstum Ihres Unternehmens zu unterstützen. AWS ist eine Sammlung verschiedener Online-Dienste von Amazon.com, die im Jahr 2006 gestartet sind.

Google Cloud Logo

Google Cloud

Google Cloud Platform bietet eine Vielzahl von Services, die Unternehmen das Betreiben ihrer Systeme und Verarbeiten ihrer Daten auf einer modernen, hoch skalierbaren und bewährten Infrastruktur ermöglichen.

Microsoft Gold Partner Logo

Microsoft

Wir bieten unseren Kunden die maximale Investitionssicherheit, weil unsere zertifizierten Mitarbeiter:innen im Umgang mit den Data-Management- und Reporting-Produkten von Microsoft über jahrzehntelange Erfahrung aus einer Vielzahl von erfolgreichen Projekten verfügen und dieses Wissen gerne aktiv an Kolleg:innen, unsere Kunden und die Community weitergeben.

Snowflake

Snowflake ist eine Cloud-Datenplattform, welche die wichtigsten Daten-Workloads von Unternehmen unterstützt. Als Partner von Snowflake helfen wir, das Potential des Snowflake-Ökosystems praktisch nutzbar zu machen – in den Bereichen Business Intelligence, Analytics, Machine Learning & Data Engineering sowie Data Science.

Forschungsprojekte

KOSMoS Logo

Projekt „KOSMoS“

Das Projekt KOSMoS, das durch das Bundesministerium für Bildung und Forschung gefördert wird, hat das Ziel, produzierende Unternehmen miteinander zu verbinden und damit ein sicheres, digitales Wertschöpfungsnetz über die Unternehmensgrenzen hinweg zu schaffen. Im Konsortium der neun Projektpartner ist inovex der Experte für Data Management und Analytics.

Frau mit Kopfhörer am Laptop

EM²Q Expertensystem

Bildgebende Massenspektrometrie ist als innovative Technologie aktuell im Begriff, den Schritt von ihrer primären Anwendung im Forschungsbereich in die kommerzielle Verwendung im klinischen Umfeld zu vollziehen.

Wie können wir Sie unterstützen?

Florian Wilhelm

Head of Data Science, Ansprechperson Data Management & Analytics