Big Data

Die fortschreitende Digitalisierung verschiedener Lebens- und Arbeitsbereiche innerhalb unserer Gesellschaft macht stetig wachsende Mengen an Daten in verschiedensten Formen verfügbar.

Immer leistungsfähigere und immer stärker vernetzte Endgeräte wie Smartphones, Sensoren, Kameras, Maschinen und Server produzieren Mess-, Protokoll- und Verlaufsdaten, Commerce- und Social-Media-Plattformen generieren Aufzeichnungen von sozialen Interaktionen sowie Waren- und Finanztransaktionen.

Die Sammlung, Analyse und Auswertung dieser Daten helfen, bestehende Geschäftsmodelle besser und detaillierter zu verstehen und neue, „digitale“ Geschäftsmodelle und Produkte zu etablieren. Ein hochskalierbares Datenmanagement bildet die unverzichtbare Basis für viele Verfahren der Data Science, des Machine Learning und der Künstlichen Intelligenz.

Das Big-Data-Umfeld

„Big Data“ beschreibt als Sammelbegriff die in den letzten Jahren zu diesem Zweck entstandenen Technologien, Frameworks und Tools. Ihnen ist gemeinsam, dass sie als verteilte Systeme horizontal skalieren und ihre Laufzeiteigenschaften damit durch Hinzunahme weiterer Ressourcen vergleichsweise einfach an steigende Datenmengen angepasst werden können. Big-Data-Systeme können eine große Bandbreite an Datentypen aus verschiedensten Quellen sowohl in großen Batches als auch im kontinuierlichen Datenstrom mit niedrigen Latenzen verarbeiten. Mit diesen Eigenschaften bilden Big-Data-Technologien die Grundlage für komplexe analytische Auswertungen, für skalierbare reportingorientierte Datenplattformen und für verteilte Softwaresysteme mit eventbasiertem Verarbeitungsparadigma.

inovex beschäftigt sich bereits seit 2009 fundiert als einer der ersten IT-Dienstleister in Deutschland mit Big Data und hat in vielen Projekten produktive Unternehmenslösungen entwickelt und umgesetzt:

Daher können wir Sie in allen Bereichen unterstützen: Von der Planung über die Entwicklung bis hin zum Betrieb von Big-Data-Systemen, sowohl auf On-Premises-Infrastrukturen als auch in der Cloud.

Technologie-Stack Big Data
  • Event Streaming Plattform: Kafka, Confluent
  • Streaming Data Processing: Spark Streaming, NiFi, Flink, Storm
  • Skalierbares Data Processing und Analytics: Spark, Databricks
  • Hadoop Data Platform Distributionen: Cloudera
  • SQL Abfragen auf Massendaten: Hive, Phoenix oder Drill
  • NoSQL-Datenbanken: HBase, Cassandra, Elasticsearch, Druid
  • Public Cloud (Big) Data Services: Microsoft Azure, Amazon AWS und Google Cloud
  • Container-basiertes Setup von Infrastruktur & Services: Docker, Kubernetes
  • Job-Steuerung, Orchestrierung: AirFlow, Argo, Oozie
  • Data Ingestion: NiFi, Flume, Sqoop
  • Data Governance und Cluster Security: Ranger, Kerberos, Navigator, Atlas

Case Study

Big Data

dmTech: Aufbau einer hybriden BI-Architektur mit Big-Data-Komponenten

Die IT-Tochter von dm-drogerie markt fokussiert sich mit mehr als 800 Mitarbeitenden auf die Digitalisierung des Handels. Im Mittelpunkt steht die Entwicklung von innovativen Lösungen: für den Online Shop, Kund:innen- und Mitarbeiter:innen-Apps sowie für die IT in den dm-Märkten, den Verteilzentren und der Zentrale. Bei vielen Innovationen spielen der effiziente Umgang mit und die Analyse von großen Datenmengen eine zentrale Rolle, um Mehrwerte aus der Kombination von Datenquellen zu generieren (Big Data).

CASE STUDY LESEN

mobile.de: Use Cases für Recommendations bei Online-Portalen anhand von Datenprodukten

Pro Monat sind 13,5 Millionen Besucher:innen auf der Web-Plattform mobile.de, die aus über 1,6 Millionen Fahrzeugen wählen können. Jeder Besuch der Plattform erzeugt einen Strom von Daten, der etwas über die Nachfrage nach bestimmten Fahrzeugen, die Qualität der Angebote und die Bedürfnisse der Nutzer:innen verrät. mobile.de möchte diese Daten nutzen, um die User Experience – sowohl der Fahrzeugkäufer:innen als auch der Fahrzeuganbieter:innen – kontinuierlich zu verbessern.

CASE STUDY LESEN

REWE digital: Agile Data Science für die Supply-Chain-Optimierung

inovex hat im Bereich der Supply-Chain-Optimierung mit der REWE-IT-Tochter REWE digital zusammengearbeitet. Bei REWE digital werden alle strategischen Online-Aktivitäten der REWE Group gebündelt. Ziel ist es, der führende Anbieter von Online-Lösungen in allen für REWE relevanten Einkaufsmärkten und Lieferlagern zu werden. Dazu gehören die ausschließlich für den Lieferservice eingerichteten Lieferlager, aber auch Liefer- und Abholmärkte, die im ganzen Bundesgebiet verteilt sind.

CASE STUDY LESEN

Arvato Bertelsmann: Optimierte Betrugserkennung auf Microsoft Azure

In einem Innovationsprojekt realisiert arvato Financial Solutions gemeinsam mit Microsoft, dem Cloud- und Big-Data-Spezialisten inovex GmbH und drei Pilotkunden aus dem E-Commerce-Bereich eine Big-Data-Architektur auf Microsoft Azure und lotet damit aus, wie durch die Kombination von Cloud Computing, Big Data und Advanced Analytics Betrugserkennung verbessert und neue Finance BPO-Services entwickelt werden können.

CASE STUDY LESEN

Wie können wir Sie unterstützen?

Florian Wilhelm

Head of Data Science, Ansprechperson Data Management & Analytics