Real-time Architekturen mit Apache Spark und Apache Kafka

Training zu den Architektur-Prinzipien für den Betrieb von Big-Data-Systemen.

Bei immer mehr Anwendungsfällen werden Big-Data-Systeme mit der Herausforderung konfrontiert, Datenströme an Stelle von Dateien zu verarbeiten. Dies erfordert oft eine Umstellung (oder Neuentwicklung) der gesamten Architektur eines Big-Data-Systems, da von einem Batch-Processing auf eine Event-Streaming Paradigma gewechselt werden muss.

In diesem Training werden die Architektur-Prinzipien beleuchtet, welche benötigt werden, um Big Data Systeme zu betreiben, die große, in Echtzeit anfallende Datenmengen verarbeiten und hochverfügbar für Anfragen zur Verfügung stellen können. Hierzu richten die Teilnehmer ein exemplarisches Big Data System mit Spark und Kafka ein, welches in der Lage ist den Stream der Wikipedia-„Edits“ (individuelle Bearbeitungen einzelner Artikel) in Echtzeit zu verarbeiten.

Agenda:

  • Event Streams (Broker, Topics, Partitionen in Kafka)
  • Stream Processing (Transformationen, Verarbeitungsmuster, Fehlerbehandlung (at-least-once vs. exactly once)
  • Offloading / Archivierung von großen Datenmengen (Lambda Architektur, Flume, Kafka Connect, Camus/Gobblin)
  • Result store (Caches (HBase, Cassandra, Riak, Redis), Dashboards (ES, Kibana), Umgang mit historischen Daten)

Zielgruppe:  Software-Architekten, Software-Entwickler

Dauer:          2 Tage

Sie haben Interesse an diesem Inhouse Training?

Dann rufen Sie uns an unter +49 (0)172 5673497 oder schreiben Sie uns eine E-Mail. Wir freuen uns auf Ihre Nachricht und senden Ihnen gerne ein individuelles Angebot zu!

Collin Rogowski

Sie haben Interesse an diesem Training?

Collin Rogowski

Head of inovex Academy

inovex Content Pool

Aktuelle Vorträge, Whitepaper, Fachartikel & Videos

Hier geht's zum Content Pool