{"id":1971,"date":"2016-08-17T08:00:07","date_gmt":"2016-08-17T07:00:07","guid":{"rendered":"https:\/\/www.inovex.de\/\/?p=1971"},"modified":"2026-03-17T08:32:31","modified_gmt":"2026-03-17T07:32:31","slug":"cloud-wars-collection-und-storage-teil-2","status":"publish","type":"post","link":"https:\/\/www.inovex.de\/de\/blog\/cloud-wars-collection-und-storage-teil-2\/","title":{"rendered":"Cloud Wars: Collection und Storage [Teil 2]"},"content":{"rendered":"

Typischerweise steht zu Beginn eines klassischen Analytics-Anwendungsfalles die Datenerfassung. Im Zuge der steigenden Bedeutung der Analyse bei Web-Anwendungen und mobilen Ger\u00e4ten, aber auch anderer Software-Anwendungen und Diensten, werden kontinuierlich gro\u00dfe Mengen an Daten generiert. Im Gegensatz zu statischen Datens\u00e4tzen, die periodisch im Batch verarbeitet werden, besteht in diesem Bereich oft die Anforderung, den Datenstrom kontinuierlich zu erfassen und zu analysieren. Im Folgenden m\u00f6chten wir die Streaming-Dienste in die sogenannten Publish-Subscribe-Message-Systeme (oder Message Broker) und die eigentliche Stream-Verarbeitung unterteilen.<\/p>\n

Ein Publish-Subscribe-Message-System ist f\u00fcr die Datenannahme zust\u00e4ndig. Je nach Anwendungsfall fallen teilweise Millionen von Ereignissen pro Sekunde an. Um diese zu erfassen wird ein hoch skalierbarer und hoch verf\u00fcgbarer Dienst ben\u00f6tigt, der auch Lastspitzen abdeckt. Zudem m\u00fcssen tausende Ger\u00e4teverbindungen mit flexibler Autorisierung m\u00f6glich sein. Die Daten sollen zuverl\u00e4ssig erfasst und mit geringer Latenz weitergegeben werden k\u00f6nnen. Um auch Daten von verschiedenen Ger\u00e4ten und Plattformen erfassen zu k\u00f6nnen, sind plattform\u00fcbergreifende Client-Bibliotheken w\u00fcnschenswert. Apache Kafka ist ein prominenter Vertreter aus dem Open-Source-Bereich.<\/p>\n

Die Dienste zur Stream-Verarbeitung lesen aus den Publish-Subscribe-Systemen und verarbeiten und speichern die Daten in Echtzeit. StreamVerarbeitung kann f\u00fcr verschiedenste Use Cases wie Echtzeitanalyse, Online Machine Learning, Continuous Computing oder auch ETL-Szenarien eingesetzt werden. Die Systeme erlauben es, kontinuierlich Analysefunktionen auf den Datenstrom anzuwenden. Teilweise stehen daf\u00fcr eine deklarative (h\u00e4ufig SQL-\u00e4hnliche) Sprache oder Lambda-Funktionen zur Verf\u00fcgung. Aus der Open-Source-Welt sind hier Storm und Spark Streaming bekannt.<\/p>\n

Um die Cloud-Systeme mit Daten zu versorgen, wurde ein kleines C#-Programm erstellt,\u00a0das die Sensordaten der Wetterstationen verschickt und die entsprechenden Security-Mechanismen bedient.<\/p>\n

\"aws\"<\/p>\n

\"kinesis_icon\"
AWS Kinesis: \u201eservices to make it easy to load and analyze streaming data\u201c<\/figcaption><\/figure>\n
\n

<\/p>\n<\/div>