Writing a Hive UDF for lookups
In today’s blog I am going to take a look at a fairly mundane and unspectacular use of a Hive UDF (user-defined function), that of performing lookups against re [...]
Redis Cluster and Partitioning
In my past articles we learned a lot about Redis basics, high availability, CLI and performance. Today we take a look at Redis as a distributed keyspace for huge data [...]
Data Science in Production: Packaging, Versioning and Continuous Integration
A common pattern in most data science projects I participated in is that it’s all fun and games until someone wants to put it into production. From that point in time [...]
6 Things to Consider for Microservice Migration
For my master’s thesis I conducted interviews with industry experts in the field of microservice migration. As a result a guidance is provided by thoroughly analyzin [...]
Product Discovery Workshop – ein Design Sprint speziell für Datenprodukte
Wir haben ein neues Workshop-Format entwickelt, das den spezifischen Besonderheiten von Datenprodukten Rechnung trägt und mit dem wir (und unsere Kunden) systematisch [...]
Network Anomaly Detection: Online vs. Offline Machine Learning
In this part of our network anomaly detection series we want to compare two basically different styles of learning. The very first post introduced the simple k-means [...]
Digitale Qualität messen: Ein neues Framework
Software-Entwickler und Verantwortliche für Software-Projekte kennen vermutlich die zahlreichen Modelle für die Bewertung der digitalen Qualität. In der Theorie versp [...]
Sport-Tracking mit Elasticsearch [Meetup]
In diesem Mittschnitt unseres Meetups in Karlsruhe zeigt Wolfgang, ein begeisterter Triathlet und Tracking Fan, wie er die Daten seiner Garmin Watch selbst mit Elasti [...]
Smart Home Köln Kalk [Meetup]
In diesem Mittschnitt unseres Meetups in Karlsruhe zeigt Sebastian, wie er sein Zuhause mit Apple HomeKit automatisiert hat und welche Möglichkeiten Apples Schnittste [...]
Erfolgreiche Datenprodukte finden: Nur Glück – oder geht das mit System?
Wir analysieren Uber. Der Erfolg hat viele Väter. Der Misserfolg ist ein Waisenkind. Wenn ein spezifischer Firmenname zur generischen Beschreibung einer Tätigkeit wir [...]
Efficient UD(A)Fs with PySpark
Nowadays, Spark surely is one of the most prevalent technologies in the fields of data science and big data. Luckily, even though it is developed in Scala and runs in [...]
A hybrid supervised/unsupervised approach to network anomaly detection
The previous two posts gave a short introduction of network anomaly detection in general. We also introduced the k-means algorithm as a simple clustering technique an [...]