Running DE & ML Workloads at Scale
Eine Einführung zu Distributed Computing mit Ray und seinem Ökosystem
Was ist Ray? Eine erste Einführung in Ray Core anhand eines Beispiels
Ray bietet flexibles, verteiltes Python für Entwickler:innen und ML-Anwender:innen. Es wird von der übersichtlichen Ray Core API angetrieben, deren sechs Haupt-API-Aufrufe während dieses Vortrags vorgestellt werden. Wir werden uns gemeinsam einige Beispiele ansehen, die veranschaulichen, was allein mit dem Ray Core möglich ist. Nebenbei gehen wir auf die grundlegende Architektur von Ray-Clustern ein und besprechen, wie die ML-Bibliotheken von Ray auf Core aufbauen.
Wie Ray komplexe Apps wie ChatGPT unterstützt. Ein Überblick über die AI Runtime (AIR)
OpenAI hat ChatGPT auf Ray trainiert, und Unternehmen wie Uber oder Shopify setzen auf Ray, um ihre ML-Plattformen darauf aufzubauen. Wir besprechen kurz alle Komponenten der Ray AI Runtime (AIR), vom groß angelegten ML-Ingest mit Datasets bis hin zu Modellimplementierungen mit Ray Serve, die in komplexen ML-Anwendungen eingesetzt werden können. Anschließend geben wir einen kurzen Überblick über die technischen Feinheiten von Systemen wie ChatGPT und darüber, wie Ray als einziges verteiltes System für ML-Projekte in großem Maßstab genutzt werden kann.
Eine Architektur zur Skalierung von Daten-Workloads und Datenteams
Datenarchitekturen müssen viele verschiedene Aspekte abdecken, damit die zugrunde liegenden Daten einen Mehrwert für Unternehmen bieten. Zwei der wichtigsten davon sind:
- Verfügbarkeit von Unternehmensdaten, um datengesteuerte Anwendungsfälle zu ermöglichen
- Die Implementierung von Anwendungsfällen auf diesen Daten, die Erkenntnisse für das Unternehmen liefern.
Diese beiden Aspekte sind voneinander abhängig. Sowohl in Bezug auf die Technologie als auch auf die technischen Ressourcen: Wenn keine Daten verfügbar sind, können auch keine Erkenntnisse gewonnen werden. Ebenso sind die Daten wertlos, wenn keine Erkenntnisse abgeleitet werden können.
In diesem Vortrag wird eine Architektur vorgestellt, die auf die Skalierung von DE- und ML-Workloads abzielt, und zwar sowohl im technischen Sinne (Beschleunigung,…) als auch im Hinblick darauf, dass die Barriere zwischen DE- und ML-Workloads niedrig gehalten wird, während gleichzeitig eine unabhängige Iteration zwischen diesen Workloads möglich ist.
Konkret werden Ray und Spark genutzt, um diese Architektur zu demonstrieren.
Buchsignierung
Das kürzlich erschienene Buch Learning Ray kann in den Pausen und nach dem Meetup vom Autor Max Pumperla signiert werden.
Über die Speaker:
Max Pumperla ist Professor für Data Science und Software Engineer in Hamburg. Er ist aktives Mitglied der Open Source Community, betreut mehrere Python-Pakete und ist Autor von Büchern über maschinelles Lernen. Derzeit arbeitet er als Softwareentwickler bei Anyscale. Als Leiter der Produktforschung bei Pathmind Inc. entwickelte er mit Ray RLlib, Serve und Tune Reinforcement-Learning-Lösungen für industrielle Anwendungen. Max ist bei der Entwicklung von Ray beteiligt, war einer der Hauptentwickler von DL4J bei Skymind und half bei der Entwicklung und Erweiterung des Keras-Ökosystems.
Kolja Maier ist Daten- und ML-Ingenieur bei inovex. Er entwirft und implementiert Datenprodukte, die den gesamten Data-Engineering-Lebenszyklus zur Lösung von Geschäftsanforderungen abdecken. Sein Fokus liegt auf Datenarchitekturen und der Überführung von Datenanwendungen wie Streaming- und ML-Anwendungen in die Produktion.
Agenda
Ob das Meetup auf Englisch oder Deutsch stattfindet, entscheiden wir vor Ort und je nach Teilnehmer:innenkreis.
Bei den Vorträgen ist bereits Zeit für Q&A eingerechnet.
18:00 Uhr | Ankommen
18:30 Uhr | Vortrag: Was ist Ray? Eine erste Einführung in Ray Core anhand eines Beispiels.
19:00 Uhr | Kurze Pause
19:15 Uhr | Vortrag: Wie Ray komplexe Apps wie ChatGPT antreibt. Ein Überblick über die AI Runtime (AIR)
19:45 Uhr | Vortrag: Eine Architektur zur Skalierung von Daten-Workloads und Datenteams
20:30 Uhr | Abschluss, Getränke & Buchsignierung