spotsize: Besseres Schuhkauf-Erlebnis durch Größenfindung per AI

Die Umsätze im E-Commerce wachsen weiter und das Smartphone nimmt einen zunehmend wichtigen Part im Kaufprozess ein. Für Kund:innen soll dabei ein Kauferlebnis entstehen, das die Vorteile von Online- und Offline-Handel verbindet. Artificial Intelligence (AI) kann dabei helfen.

spotsize hat daher eine Lösung entwickelt, die Online-Shops das Schuhkauf-Erlebnis verfügbar macht, das Kund:innen aus stationären Geschäften kennen. Mittels einer Augmented-Reality-(AR)-Lösung übernimmt die Anwendung von spotsize die Aufgaben der Schuhverkäufer:innen. Mithilfe von Machine Learning vermisst das Programm per Smartphone-Kamera die Füße der Kund:innen und bestimmt auf dieser Basis entsprechende Schuhgrößen. Das Ausprobieren mehrerer Größen entfällt und senkt damit die Anzahl der Retouren, die für Shops und Käufer:innen mit Kosten und Aufwand verbunden sind. spotsize suchte einen Partner für die Umsetzung der ML-Komponenten der App und hat diesen mit inovex gefunden.

Wie digitale 3D-Füße entstehen

Bevor jedoch eine Segmentierung in verschiedene Größen stattfinden kann, muss der Fuß in ein 3D-Modell übertragen werden. Um eine zuverlässige Vermessung und Größenzuordnung sicherzustellen, hat inovex eine Lösung zur Bildklassifikation in das Programm von spotsize integriert. Die Objekterkennung per Smartphone ist jedoch noch ein neues Anwendungsgebiet. Für das Projekt wurde daher ein forschender Ansatz gewählt, der dieser Herausforderung Rechnung trägt. Denn zum einen wurde die verwendete Technologie zur 3D-Objektklassifizierung bisher noch nicht ausführlich mit Endnutzer:innen getestet und zum anderen gibt es für die dreidimensionale Tiefenmessung mit dem Smartphone noch nicht viele Anwendungsfälle.

Die Ausarbeitung eines Proof of Concept (PoC) war nach drei Wochen abgeschlossen. Danach folgte innerhalb von vier Monaten die Integration der Lösung. Die Aufnahmen der Füße sollten sich dafür durch einen Machine-Learning-Algorithmus analysieren lassen. Störfaktoren wie Hintergrundelemente haben Deep-Learning-Modelle, die auf das Erkennen von Fußmustern trainiert sind,  von der Vermessung ausgeschlossen.

Technologieeinsatz

Durch die vergleichsweise neuen Technologielösungen, die zum Einsatz kamen, mussten anfänglich Probleme mit den Trainingsdaten behoben werden. Anstatt auf vorhandene Trainingsdaten zurückzugreifen, wurden eigene Modelle trainiert, um eine bessere Objekterkennung zu gewährleisten. 

MLFlow wurde für das Model-Management und die Verwaltung der Experimente genutzt. Die Apple CoreML hat derweil die Konvertierung der Modelle auf das Smartphone übernommen. Die Auswertungen erfolgten über Jupyter-Notebooks.

spotsize hat schließlich die Datensätze aufgenommen und gelabelt sowie die Modelle in die App eingebaut. Später folgte eine Integration in die SAP Cloud. 

So kann ein digitaler 3D-Zwilling des Fußes entstehen und im Nachgang seine Länge, Breite und Höhe berechnet werden. Zudem können weitere Daten aus dem 3D-Modell ausgelesen werden. 

Die mithilfe eines AR-Interfaces gesammelten biometrischen Daten fließen zudem in eine Big-Data-Lösung, mit deren Hilfe zukünftig Schuhgrößen noch schneller erkannt und empfohlen werden. Das System lernt und wird effektiver.

Fazit

Durch die Verwendung neuer Technologien, wie der 3D-Objektklassifizierung mit Smartphones, ist eine einzigartige AI-Lösung entstanden, die das volle Potenzial von Smartphones im modernen E-Commerce nutzt. 

Für die Umsetzung war es essentiell, dass flexibel auf technische Limitierungen reagiert wurde und mehrere Lösungsansätze erforscht wurden. 

Der final gewählte Ansatz war so erfolgreich, dass nun für die Endnutzer:innen mehr Funktionen zur Verfügung stehen, als es vorher geplant war: anstatt einzelne Fotos ihres Fußes zu schießen, ist es möglich, die Bilder des Fußes per AR-Scan aufzunehmen. So wird die User Experience nochmals verbessert.

Wie können wir Sie unterstützen?

Nehmen Sie Kontakt mit uns auf – ganz einfach per Telefon oder E-Mail.

Wir freuen uns auf Ihre Nachricht!


Weitere Themen:

Wir freuen uns auf Ihre Nachricht!

inovex Leistungen

Artificial Intelligence

Bei inovex konzentrieren wir unsere Arbeit im Feld der AI auf drei Kernbereiche: die Verarbeitung von visuellen Inputs durch Computer Vision, die computergestützte Kommunikation mittels Natural Language Processing und die Bündelung der Anwendungsfelder im Bereich Robotics.

Mehr erfahren

inovex Case Study

Agile Data Warehousing mit BIML und Microsoft SQL Server für TimoCom

Case Study lesen

inovex Case Study

Data Science für ProSiebenSat.1

Case Study lesen

inovex Blog

Manuel Brandstetter | 12.10.2020

Using Artificial Intelligence in Mobile Web Apps

Blog-Artikel lesen

inovex Blog

Christian Becker | 14.10.2020

Federated Learning: Frameworks for Decentralized Private Training – Part 2

Blog-Artikel lesen