Dieser Beitrag ist eine (teil-)automatisierte Übersetzung des englischen Originals.
Haben Sie eine großartige Idee für eine Edge-AI-Anwendung und ein einsatzbereites Modell? Großartig! Aber wie geht es nun weiter? Wie lässt sich daraus ein echtes Produkt entwickeln? Wir haben eine KI-basierte Anwendung zur Live-Videoverarbeitung entwickelt, die NVIDIA Jetson in Verbindung mit dem DeepStream-Framework von NVIDIA nutzt.
Anhand unserer Anwendung als Praxisbeispiel werden wir verschiedene Aspekte der Anwendungs- und Produktentwicklung erörtern. Wir beginnen mit den Grundlagen wie Framework, Tools und Hardware-Aspekten. Anschließend widmen wir uns dem Testen und der Leistungsoptimierung. Abschließend besprechen wir den Prozess und die Vorteile der Einrichtung eines eigenen Yocto-basierten Betriebssystems und heben dabei den erheblichen Mehrwert hervor, den dieser Schritt für das Gesamtprodukt mit sich bringt.
Begleiten Sie uns auf unserer Reise, während wir uns mit dem Prozess der Umsetzung einer Edge-AI-Anwendung beschäftigen.
Contents
Jedes Produkt beginnt mit einer Idee
Wir begannen mit unserer ursprünglichen Produktidee: einer intelligenten, KI-basierten Kamera, die die Körperhaltungen von Personen in einem Live-Videostream kennzeichnet und dabei alle Daten auf dem Gerät verarbeitet. Ähnlich wie Audio-Untertitel in Videos und Filmen soll sie die Handlungen der visuell erkannten Person im Stream beschreiben.
Bei unserer ersten Umsetzung liegt unser Hauptaugenmerk auf der Erkennung grundlegender Körperhaltungen. Wir planen, diese Grundlage in der zukünftigen Entwicklung durch zusätzliche Funktionen zu erweitern, beispielsweise durch die Generierung beschreibender Sätze, die als Untertitel angezeigt oder von einer KI mit natürlicher Sprachausgabe vorgelesen werden können. Diese Erweiterung soll sehbehinderten Menschen helfen, den Inhalt des Videos zu verstehen.
Unser Schwerpunkt liegt nicht auf der Entwicklung des KI-Modells selbst. Die Konzeption von Architekturen für KI-Modelle, die Erstellung von Trainingsdatensätzen sowie das Training und die Validierung sind stark auf die jeweilige Aufgabe des Modells zugeschnitten. Daher greifen wir auf das NVIDIA NGC-Repository mit seinen vortrainierten Modellen zurück und optimieren unseren Prozess, indem wir direkt zur Anwendungsentwicklung übergehen.
Dieser Ansatz eignet sich für Demonstrationszwecke. Für den Einsatz in Produktionsumgebungen könnte man entweder Modelle verwenden, für die NVIDIA Unternehmenssupport anbietet, oder eigene Modelle erstellen und trainieren.
Da es keine allzu restriktiven Anforderungen an die Hardware gibt, haben wir uns dafür entschieden, unsere Anwendung auf einem NVIDIA Jetson Orin NX mit 8 GB RAM auf einem reComputer J401-Carrierboard auszuführen.
Die Auswahl der perfekten Werkzeuge: Auswahl und Begründung
Für eine schnelle Entwicklung nutzen wir das NVIDIA DeepStream-Framework, eine Sammlung von Bausteinen für KI-basierte Videoverarbeitungsanwendungen, die auf dem Open-Source-Framework GStreamer basiert. GStreamer arbeitet nach dem Pipeline-Prinzip, bei dem Medien durch eine Reihe modularer Elemente geleitet werden, von denen jedes eine bestimmte Funktion erfüllt, wie beispielsweise Dekodierung, Filterung, Kodierung oder Streaming. Diese Elemente lassen sich in nahezu unbegrenzten Kombinationen miteinander verknüpfen, was eine hochgradig anpassbare und flexible Medienverarbeitung ermöglicht. Die pluginbasierte Architektur von GStreamer ermöglicht es Entwicklern, die Funktionen des Frameworks zu erweitern und an verschiedene Anwendungsfälle anzupassen, wobei DeepStream eine Reihe solcher Plugins bereitstellt, die GStreamer-Pipelines um KI-Inferenzfunktionen erweitern.
Das NVIDIA DeepStream-Framework bietet zwei Betriebsmodi: einen benutzerfreundlichen Graph Composer zum visuellen Aufbau Ihrer Videopipeline über eine flussdiagrammähnliche Oberfläche sowie einen eher traditionellen Programmieransatz unter Verwendung der Python- oder C++-APIs in Verbindung mit der C-API von GStreamer. Während der grafische „Graph Composer“ für kleinere Projekte intuitiv ist, erweist er sich bei größeren, komplexeren Anwendungen zunehmend als unpraktisch. Die Herausforderung, sich in umfangreichen Diagrammen mit einer Vielzahl von Knoten und Verbindungen zurechtzufinden und diese zu verwalten, kann die Effizienz und Übersichtlichkeit beeinträchtigen. Da wir erkannt haben, dass die grafische Methode für groß angelegte, praxisnahe Szenarien nicht ausreicht, haben wir uns dafür entschieden, unsere Anwendung in C++ zu entwickeln. Als Ausgangspunkt diente uns eine der vorhandenen DeepStream-Demoanwendungen, die ein grundlegendes Framework bot, auf dessen Basis wir unsere Anwendung aufbauen und anpassen konnten.
CI/CD & Toolchains
Entscheidet man sich für einen traditionellen Entwicklungsansatz ohne den Einsatz grafischer Low-Code-Methoden, ist es unerlässlich, die für den Erfolg notwendigen Werkzeuge zu berücksichtigen.
Unser Ziel ist es, in einer modernen Entwicklungsumgebung zu arbeiten. Diese Umgebung sollte ein modernes Build-System mit schnellen inkrementellen Builds umfassen. Wir legen Wert auf Entwicklungsmöglichkeiten außerhalb des Geräts und eine nahtlose CI/CD-Integration. Die Gewährleistung reproduzierbarer Build-Ergebnisse ist unerlässlich. Außerdem streben wir eine stabile Build-Umgebung an, die alle Entwickler gemeinsam nutzen können. Diese Konsistenz erstreckt sich auch auf unsere CI-Systeme, um einheitliche Ergebnisse zu gewährleisten.
Um diese Anforderungen zu erfüllen, haben wir eine eigene CMake-basierte Build-Infrastruktur aufgebaut und einen Build-Umgebungs-Container entwickelt, der eine Toolchain für die Cross-Kompilierung enthält. Obwohl NVIDIA derzeit mehrere Container für Entwicklungszwecke anbietet, können wir diese Standard-Container für unsere Zwecke nicht verwenden. Die Docker-Container zum Ausführen grafischer Tools wie TAO und Graph Composer erfordern, dass die NVIDIA-GPUs in die Docker-Umgebung weitergeleitet werden, was jedoch weder für jeden Entwickler – da auf dessen Arbeitsrechner möglicherweise keine GPU verfügbar ist – noch für CI-Server realisierbar ist. Zudem ist uns kein bestehender Cross-Compilation-Container bekannt, der ohne Weiteres verfügbar ist und die Kompilierung für ARM-basierte NVIDIA Jetson Orin-Boards auf x86/64-Linux-Hosts ermöglicht.
Unter Nutzung unseres Docker-Build-Containers haben wir eine GitLab-CI/CD-Pipeline konfiguriert, um neu eingecheckten Code in unseren Git-Repositorys zu kompilieren und zu validieren. Dieser Ansatz ermöglicht es uns, einen modernen, effizienten und zuverlässigen Entwicklungsprozess zu verfolgen.
Hardware
Das Orin NX System-on-Module (SOM) verfügt über eine 6-Kern-ARM-Cortex-A78-CPU mit dem 64-Bit-Befehlssatz ARMv8.2-A sowie eine GPU mit 1024 Kernen auf Basis der NVIDIA-Ampere-Architektur und 32 Tensor-Kernen, die eine KI-Leistung von 70 Billionen Operationen pro Sekunde (TOPS) erreicht. Zudem kann es eine NVIDIA Deep Learning Accelerator (NVDLA)-Engine für eine verbesserte Lernleistung nutzen.
Das von uns gewählte Entwicklungskit, das reComputer J4011, umfasst eine Trägerplatine, auf der das NVIDIA Jetson Orin NX 8 GB SOM untergebracht ist und die über den 260-poligen SO-DIMM-Anschluss des SOM Zugriff auf dessen Peripheriegeräte bietet. Die Trägerplatine bietet verschiedene Peripherieanschlüsse, darunter 2 der 4 möglichen CSI-Kamerakanäle, USB, HDMI, Netzwerk, GPIOs, serielle Kommunikationsschnittstellen und mehr.
Dieses Entwicklungskit eignet sich zwar gut für die anfängliche Prototypenentwicklung von Edge-KI-Anwendungen, ist jedoch nicht für die Serienfertigung geeignet. Verschiedene Anbieter bieten Jetson-Module in Systemen an, die für unterschiedliche Einsatzbedingungen geeignet sind. Je nach Anforderungen und Umfang Ihres Anwendungsfalls kann auch ein maßgeschneidertes Design auf Basis eines der Jetson-SoMs oder -SoCs sinnvoll sein.
Kameras
Für unseren Demo-Aufbau haben wir uns aufgrund der guten Verfügbarkeit, der geringen Kosten, des austauschbaren Objektivs und der sofortigen Kompatibilität mit dem Orin NX-Entwicklungskit für die Raspberry Pi High-Quality-Kamera entschieden. Bei der Auswahl einer Kamera für den tatsächlichen Produktionseinsatz würden wir jedoch ein Kameramodul basierend auf den spezifischen Anforderungen des Projekts auswählen. Faktoren wie die Sensorqualität, die Widerstandsfähigkeit gegen Staub und Feuchtigkeit sowie die bevorzugte Verbindungsmethode – sei es eine direkte CSI-Verbindung oder RTSP-Streaming über Ethernet – beeinflussen die Wahl des Kameramoduls.
Bei der von uns gewählten Kamera ermöglichte uns die sofortige Kompatibilität ihres IMX477-Sensors, die Kamera einfach durch Verwendung des von Jetson Linux bereitgestellten Tools „jetson-io“ zur Auswahl des angeschlossenen Kamerageräts zu aktivieren. Bei unserem Entwicklungsboard wird diese Art der Unterstützung nur für die Bildsensoren IMX477 und IMX219 bereitgestellt. Bei anderen Kameras oder Plattformen müssen Sie sorgfältig prüfen, ob der Sensor vom Linux-Tegra-Kernel unterstützt wird, und Ihre Integration in Form eines Device-Tree-Overlays bereitstellen.
Entwicklung von Edge-AI-Anwendungen mit NVIDIA DeepStream
Der Modellkatalog von NVIDIA enthält einige einsatzbereite Optionen. So kann beispielsweise „ActionRecognitionNet“ Aktionen wie Fahrradfahren erkennen. Angesichts unseres begrenzten Platzes für Tests und unserer Präferenz, ein Modell ohne zusätzliches Training zu verwenden, sind die Standardposen von „ActionRecognitionNet“ für uns jedoch ungeeignet. Im Gegensatz dazu ist „PoseClassificationNet“ besser geeignet, da es auf die Erkennung von Körperpositionen spezialisiert ist. Es erfordert jedoch eine gewisse Vorverarbeitung, da es die Positionen von Gelenken im 3D-Raum über die Zeit hinweg analysiert, anstatt direkt mit Bilddaten zu arbeiten. Dennoch ist „PoseClassificationNet“ die beste Wahl für unsere Anforderungen, weshalb wir beschlossen haben, unsere Demo darauf aufzubauen – das Ergebnis ist eine Pipeline, die drei Modelle nutzt.
Schritt für Schritt: Videoverarbeitungs-Pipeline
Im ersten Schritt muss die Anwendung in der Lage sein, die richtigen Objekte (in unserem Fall Personen) im Video zu identifizieren und auszuwählen. Hierfür wird das treffend benannte PeopleNet verwendet.
Anhand eines einzelnen Bildes lässt sich oft nicht erkennen, ob eine Person stillsteht oder geht, sitzt oder gerade aufsteht usw. Daher müssen wir vielmehr in der Lage sein, zu erkennen, wie sich die Körperhaltung einer Person im Laufe der Zeit verändert. Wenn mehrere Personen gleichzeitig im selben Videostream verarbeitet werden, müssen wir sie zudem voneinander unterscheiden und ihre Bewegungen verfolgen können, um die Körperhaltungen individuell zu erkennen. Diese Verfolgung sich bewegender Objekte über mehrere Videobilder hinweg erfolgt durch einen sogenannten Tracker, der durch das DeepStream-Element „nvtracker“ implementiert wird.
Schließlich muss für jede verfolgte Person die ausgeführte Aktion klassifiziert werden. Dies geschieht in zwei Schritten: Zunächst wird das „Skelett“ der Person durch das BodyPose3DNet-Modell ermittelt. Die erkannten Posen, die als Gelenkpositionen kodiert sind, die sich über einen bestimmten Zeitraum im 3D-Raum bewegen, werden anschließend an das PoseClassificationNet-Modell weitergeleitet. Wir haben ein benutzerdefiniertes Plugin in C++ entwickelt, um die erforderliche Transformation der BodyPose3DNet-Ausgabe in ein Format durchzuführen, das in das PoseClassificationNet eingespeist werden kann. Das PoseClassificationNet bestimmt dann die Pose. In der Demo-App werden die sechs Posen „Sitzen“, „Stehen“, „Gehen“, „Springen“, „Aufstehen“ und „Sich hinsetzen“ unterstützt.
Herausforderungen bei der Entwicklung
Das größte Problem, auf das wir stießen, ergab sich aus dem benutzerdefinierten Plugin, das anfangs mehrere Fehler im Zusammenhang mit dem Datenlayout und dem Kopieren der Eingabetensoren für das PoseClassificationNet in den CUDA-Speicher aufwies. Es dauerte einige Zeit, diese Probleme zu lokalisieren und zu beheben, da das KI-Modell wie eine „Black Box“ funktioniert. Da wir keine Fehlermeldungen erhalten, sondern nur falsche Klassifizierungsergebnisse, ist es schwer festzustellen, ob ein Problem auf fehlerhafte Eingabedaten, eine fehlerhafte Verarbeitung im Modell oder eine falsche Interpretation der Ausgabetensoren zurückzuführen ist. Dies zeigt, wie wichtig eine gründliche Testung (z. B. mit Unit-Tests) der Nicht-KI-Komponenten einer Anwendung ist. Insgesamt ist die DeepStream-Entwicklungsumgebung für C++ zufriedenstellend, auch wenn die Dokumentation verbesserungswürdig ist; in einigen Fällen muss der Quellcode gelesen werden, um das Verhalten der Plugins vollständig zu verstehen.
Testen von KI Anwendungen
Das Testen von Edge-KI-Anwendungen bringt ganz eigene Herausforderungen mit sich. Ohne vorläufige Filterung oder andere Gegenmaßnahmen erzeugen KI-Modelle unweigerlich eine Ausgabe für jede Eingabe, einschließlich grundlegend falscher oder fehlerhafter Eingaben – ohne jeglichen Hinweis auf fehlerhafte oder unwahrscheinliche Eingaben.
Das Fehlen einer direkten, vorhersehbaren Möglichkeit, die Schlussfolgerung für eine bestimmte Eingabe nachzuvollziehen, erschwert das Testen von KI-Anwendungen. Daher muss das Testen auf mehreren Ebenen erfolgen. In unserem Beispiel lässt sich die Korrektheit der Modelleingaben beispielsweise durch Unit-Tests sicherstellen. GStreamer unterstützt uns dabei.
Die Tatsache, dass die Modelle bei gleichen Eingaben und Voraussetzungen deterministische Ergebnisse liefern, erleichtert das Testen. Allerdings können geringfügige Abweichungen in den Ausgangsbedingungen zu deutlich unterschiedlichen Ergebnissen führen. Erinnert das noch jemanden an die Chaostheorie?! 😉
Normalerweise wird beim Testen von KI-Anwendungen zur Videoanalyse auf Komponenten- oder Integrationsebene ein festgelegter und manuell beschrifteter Satz von Testvideos verwendet, der absichtlich nicht im ursprünglichen Trainingsdatensatz des Modells enthalten war.
Stattdessen haben wir uns aufgrund zeitlicher Einschränkungen bei unserem kleinen Demonstrationsprojekt für einen einfacheren Ansatz entschieden. Wir haben vorab aufgezeichnete Videos verwendet und dem Programm eine Funktion zum Exportieren der Klassifizierungsergebnisse hinzugefügt. So konnten wir die Auswirkungen von Änderungen am Code oder an der Konfiguration abschätzen, auch wenn wir diese nicht qualitativ messen konnten. Das Testen auf Komponenten- oder Integrationsebene war mit dieser Methode dennoch möglich.
Leistung und Profiling
NVIDIA bietet eine umfassende Suite von Analysewerkzeugen, die zur Bewertung der Leistung der verschiedenen Komponenten des Jetson DeepStream-KI-Stacks entwickelt wurden. Zu diesen Werkzeugen gehören NVIDIA Nsight Systems, das für die Ablaufverfolgung auf Systemebene eingesetzt wird, NVIDIA Nsight Compute, das auf die Leistungsanalyse von CUDA-Kerneln spezialisiert ist, sowie NVIDIA Nsight Graphics, ein Werkzeug zur Bewertung der Grafikleistung. Zusammen ermöglichen diese Werkzeuge Entwicklern die Feinabstimmung und Optimierung ihrer KI-Anwendungen, indem sie detaillierte Einblicke in den Systembetrieb und Leistungsengpässe liefern.
Von diesen Tools ist NVIDIA Nsight Systems ein guter Ausgangspunkt für die Analyse der Gesamtleistung des Systems. Es kann systemweite Leistungsdaten erfassen und analysieren, darunter allgemeine Informationen wie CPU- und Speicherauslastung sowie NVIDIA-spezifische Daten wie CUDA- und TensorRT-Daten, und bietet so einen umfassenden Überblick über das Verhalten der Anwendung im gesamten System.
Wir nutzten Nsight Systems, um ein Leistungsproblem zu untersuchen, bei dem die Bildrate auf etwa 1 fps abfiel, sobald mehr als eine Person im Video erschien. Bei der Betrachtung des Nsight-Systems-Traces stellten wir fest, dass das Problem nicht direkt mit der Leistung zusammenhing, da die Bilder in der Inferenz-Pipeline weiterhin mit den gewünschten 30 fps verarbeitet wurden. Stattdessen identifizierten wir ein Latenzproblem, bei dem jede weitere Person zu einer Erhöhung der Latenz führte. Dies hatte zur Folge, dass das Sink-Element Frames verwarf, da diese „zu spät“ eintrafen. Nur gelegentlich kam ein Frame rechtzeitig an, um dargestellt zu werden, was den Anschein einer niedrigen Bildrate erweckte. Mit dieser Erkenntnis konnten wir das Problem für die Demo beheben, indem wir die zulässige Latenz der Videoverarbeitungs-Pipeline erhöhten.
Die anderen Tools, Nsight Compute und Nsight Graphics, können für eine eingehendere Analyse der GPU-Rechen- bzw. Rendering-Leistung verwendet werden. Wir haben diese Tools für unsere Anwendung nicht evaluiert.
Yocto Linux: eine Lösung für Sicherheits- und Wartungsprobleme
Das standardmäßig für das von uns verwendete Entwicklungskit verfügbare Betriebssystem ist ein vorkonfiguriertes Ubuntu 20.04 LTS / Jetson Linux 35.3 mit JetPack 5.1.1.
Dies ist zwar ein durchaus geeigneter Ausgangspunkt für erste Experimente, eignet sich jedoch nicht gut als Plattform für ein eingebettetes Produkt.
Bei der Entwicklung eines tatsächlichen Produkts ist es wichtig, auch den unterstützenden Systemkomponenten, wie beispielsweise dem auf dem Gerät laufenden Betriebssystem, besondere Aufmerksamkeit zu schenken. Das Betriebssystem hostet und führt nicht nur die Anwendungssoftware aus und verbindet sie mit der zugrunde liegenden Hardware, sondern überwacht auch Aktualisierungsmechanismen, Zusatzdienste, Sicherheitsaspekte und andere Funktionen. Die Nutzung der vorkonfigurierten, vielseitigen Entwicklungsumgebung, die mit dem Entwicklungskit bereitgestellt wird, führt zu einer erheblichen Abhängigkeit von der kontinuierlichen Weiterentwicklung und dem Support des Betriebssystems durch die Upstream-Quellen. Diese Abhängigkeit kann es erschweren, die installierte Software effektiv nachzuverfolgen und zu verwalten, was zu Unklarheiten in der Software-Stückliste (SBOM) führt und zu deren zunehmender Größe und Komplexität beiträgt.
Stattdessen haben wir uns entschieden, unser eigenes, maßgeschneidertes Betriebssystem auf Basis der Yocto-Meta-Tegra-Schicht zu verwenden. Nach unserer Erfahrung war die Erstellung einer eigenen, maßgeschneiderten Yocto-basierten Linux-Distribution für das Jetson Orin NX-Board ein großer Erfolg.
Auf dieser Grundlage konnten wir die Fähigkeiten des Betriebssystems durch die Integration zusätzlicher Yocto-Schichten – beispielsweise aus dem Mender-Projekt – weiter ausbauen, um die Robustheit der Update-Mechanismen zu verbessern und sicherzustellen. Damit ist unsere Lösung serienreif und zukunftssicher, insbesondere im Hinblick auf den kürzlich vom EU-Parlament verabschiedeten Cyber Resilience Act.
Zusammenfassung
Wir haben unser Ziel erreicht, eine Live-Videoverarbeitungs-App mit KI auf Jetson zu entwickeln, haben aus den Hürden und Lösungen bei der Implementierung von Edge-KI gelernt und die Schritte zur Vorbereitung einer Edge-KI-App für den produktiven Einsatz überprüft. Diese Erfahrung hat uns das Wissen vermittelt, eine robuste, produktionsreife und vor Ort aktualisierbare Edge-KI-Plattform aufzubauen, die unsere Kunden in die Lage versetzt, am Edge innovativ zu sein.
