Real-time Architectures with Spark and Kafka

The training sessions are usally held in German. Please contact us if you are interested in training sessions in English.

Bei immer mehr Anwendungsfällen werden Big-Data-Systeme mit der Herausforderung konfrontiert, Datenströme an Stelle von Dateien zu verarbeiten. Dies erfordert oft eine Umstellung (oder Neuentwicklung) der gesamten Architektur eines Big-Data-Systems, da von einem Batch-Processing auf eine Event-Streaming Paradigma gewechselt werden muss.

In diesem Training werden die Architektur-Prinzipien beleuchtet, welche benötigt werden, um Big Data Systeme zu betreiben, die große, in Echtzeit anfallende Datenmengen verarbeiten und hochverfügbar für Anfragen zur Verfügung stellen können. Hierzu richten die Teilnehmer ein exemplarisches Big Data System mit Spark und Kafka ein, welches in der Lage ist den Stream der Wikipedia-„Edits“ (individuelle Bearbeitungen einzelner Artikel) in Echtzeit zu verarbeiten.

Agenda:

  • Event Streams (Broker, Topics, Partitionen in Kafka)
  • Stream Processing (Transformationen, Verarbeitungsmuster, Fehlerbehandlung (at-least-once vs. exactly once)
  • Offloading / Archivierung von großen Datenmengen (Lambda Architektur, Flume, Kafka Connect, Camus/Gobblin)
  • Result store (Caches (HBase, Cassandra, Riak, Redis), Dashboards (ES, Kibana), Umgang mit historischen Daten)

Zielgruppe:  Software-Architekten, Software-Entwickler

Dauer:          2 Tage

Would you like a consultation on this On-Site Training?

Call Collin Rogowski on +49 172 5673497 or send us an E-Mail. We look forward to advising you.

Collin Rogowski

Do you have any questions?

Collin Rogowski

Head of inovex Academy