{"id":47143,"date":"2023-08-16T07:53:33","date_gmt":"2023-08-16T05:53:33","guid":{"rendered":"https:\/\/www.inovex.de\/?p=47143"},"modified":"2023-10-10T10:56:53","modified_gmt":"2023-10-10T08:56:53","slug":"kontinuierlicher-import-von-daten-mit-snowpipe","status":"publish","type":"post","link":"https:\/\/www.inovex.de\/de\/blog\/kontinuierlicher-import-von-daten-mit-snowpipe\/","title":{"rendered":"Kontinuierlicher Import von Daten mit Snowpipe"},"content":{"rendered":"

Willkommen zu unserem ersten Artikel in einer l\u00e4ngeren Artikelserie \u00fcber die Snowflake Data Cloud<\/a>, einer cloud-nativen Plattform, die separate Data Warehouses, Data Lakes und Data Marts \u00fcberfl\u00fcssig macht und eine sichere gemeinsame Nutzung von Daten im gesamten Unternehmen erm\u00f6glicht.<\/p>\n

Snowflake ist seit vielen Jahren als cloud-native Data Warehouse L\u00f6sung bekannt, hat aber in den letzten Monaten viele neue Features, wie z.B. Snowpark als Spark-\u00e4hnliche Dataframe API f\u00fcr klassisches Data Engineering und Snowpark ML f\u00fcr Data Science, hinzugewonnen. Da damit viele Use-Cases erstmals auf Snowflake erm\u00f6glicht werden, die bisher traditionell auf der Databricks Lakehouse Plattform<\/a> umgesetzt wurden, m\u00f6chten wir in einer Reihe an Artikeln die Features der Snowflake Data Cloud beleuchten. Ziel dieser Artikelserie ist es, einem breiteren Publikum ein umfassendes Verst\u00e4ndnis \u00fcber die Snowflake Technologien zu vermitteln, um selbst evaluieren zu k\u00f6nnen, ob Snowflake eine passende L\u00f6sung f\u00fcr den eigenen Use-Case sein kann.<\/p>\n

In diesem ersten Beitrag unserer Blogserie zu Snowflake schauen wir uns Snowpipe an. Snowpipe erm\u00f6glicht das Laden von Dateien, sobald sie in einem externen Cloudspeicher zur Verf\u00fcgung stehen. Entsprechende Ladestrecken k\u00f6nnen vollst\u00e4ndig automatisiert werden, indem Ereignisbenachrichtigungen verwendet werden, die \u00fcber das Eintreffen neuer Dateien informieren.<\/p>\n

Wir bei inovex nutzen diese Technologie, um die Daten unseres Meetingraum-Monitorings auf einfachem und schnellem Wege in Snowflake zur Verf\u00fcgung zu stellen. Hierzu werden die von einem Azure IoT Hub in einen Storage Account geschriebenen Daten kontinuierlich in eine Snowflake-Tabelle geladen.<\/p>\n

Anhand dieses Use Case zeigen wir Step-by-step, wie eine automatisierte Ladestrecke aus einem Azure Storage Account mit Snowpipe umgesetzt werden kann.<\/p>\n

\n

<\/p>\n<\/div>