{"id":33076,"date":"2021-12-13T06:27:22","date_gmt":"2021-12-13T05:27:22","guid":{"rendered":"https:\/\/www.inovex.de\/?p=33076"},"modified":"2024-06-03T07:55:48","modified_gmt":"2024-06-03T05:55:48","slug":"hand-tracking-mediapipe","status":"publish","type":"post","link":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/","title":{"rendered":"Hand Tracking mit der Smartphone-Kamera und Mediapipe: Drawing In The Air"},"content":{"rendered":"<p>Dieser Blogartikel behandelt die Frage, wie sich eine Fingerbewegung mittels Kameraerkennung in einer App als gezeichnete Linie darstellen l\u00e4sst. Als Prototyp ist eine Android App entstanden, in der mittels Hand Tracking bei ge\u00f6ffneter Kamera gezeichnet werden kann. Dabei ist der Einsatz einer geeigneten Machine- oder Deep-Learning-L\u00f6sung f\u00fcr das Tracken menschlicher H\u00e4nde in Echtzeit relevant. Hierf\u00fcr wurde das von Google ver\u00f6ffentlichte Framework Mediapipe verwendet.<\/p>\n<p><!--more--><\/p>\n<p>Gestenerkennung gewinnt im Einsatz neuer und innovativer Technologien zunehmend an Bedeutung. Zum Beispiel kann sie dabei unterst\u00fctzen, Skizzen digital zu zeichnen, wenn die Bedienung mit der Computermaus oder dem Touchdisplay eines Smartphones eine H\u00fcrde darstellen. Weiterhin w\u00e4re es m\u00f6glich, in einer App mittels der Smartphone-Kamera durch Hand-Tracking direkte Skizzen in einer realen Umgebung zu zeichnen.<\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-custom ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\"><p class=\"ez-toc-title\" style=\"cursor:inherit\"><\/p>\n<\/div><nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#Technische-Herausforderungen\" >Technische Herausforderungen<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#Hand-Tracking-Technologie\" >Hand-Tracking-Technologie<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#Prototyp-Entwicklung\" >Prototyp-Entwicklung<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#Ergebnis-und-Beeintraechtigungen\" >Ergebnis und Beeintr\u00e4chtigungen<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#Fazit\" >Fazit<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#Repository-zum-Projekt\" >Repository zum Projekt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#Literaturverzeichnis\" >Literaturverzeichnis<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Technische-Herausforderungen\"><\/span>Technische Herausforderungen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>F\u00fcr die Entwicklung einer solchen App m\u00fcssen folgende technische Herausforderungen gel\u00f6st sein:<\/p>\n<ol>\n<li>Einen bestimmten Punkt eines menschlichen Fingers definieren.<\/li>\n<li>Die Position eines bestimmten Punktes des Fingers mittels der Smartphone-Kamera erkennen und dessen dreidimensionalen Koordinaten erfassen.<\/li>\n<li>Den Bewegungsablauf dieses Punktes mittels Smartphone-Kamera verfolgen und dessen dreidimensionalen Koordinaten erfassen.<\/li>\n<li>Den Bewegungsablauf als gezeichnete Linie darstellen.<\/li>\n<\/ol>\n<p>&nbsp;<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Hand-Tracking-Technologie\"><\/span>Hand-Tracking-Technologie<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><a href=\"https:\/\/mediapipe.dev\/\" target=\"_blank\" rel=\"noopener\">Mediapipe<\/a> ist ein Framework zum Erstellen von multimodalen Machine-Learning-L\u00f6sungen und bietet diese plattform\u00fcbergreifend an, darunter auch Hand Tracking f\u00fcr Android in Android Studio. Au\u00dferdem wird eine Ende-zu-Ende-Optimierung bereitgestellt, die eine schnelle ML-Inferenz und beschleunigte Verarbeitung auch auf g\u00e4ngiger Hardware gew\u00e4hrleistet, wie z. B. einer Smartphone GPU. Mediapipe bietet ein umfassendes Hand Tracking inkl. aller relevanten Fingerpunkte (vgl. Abbildung 1), auch bei unterschiedlichen Ausrichtungen der Hand (vgl. Abbildung 2). Dies ist aufgrund von Ground-Thruth-Daten m\u00f6glich, wof\u00fcr 30.000 reale Bilder mit 21 3D-Koordinaten manuell annotiert wurden. Ground-Truth-Daten sind Daten, die in gro\u00dfem Ma\u00dfstab aus realen Szenarien gesammelt werden, um Algorithmen auf Kontextinformationen wie menschliche Gesten und Verhaltensweisen sowie r\u00e4umliche Orientierung zu trainieren. Zudem wird hierbei auch ein hochwertiges synthetisches Handmodell \u00fcber verschiedene Hintergr\u00fcnde gerendert und den entsprechenden 3D-Koordinaten zugeordnet. Des weiteren gibt Google an, dass ihre Hand-Tracking-L\u00f6sung von Mediapipe in Echtzeit arbeitet. Dabei kommt ein Single-Shot-Detektormodell namens BlazePalm zum Einsatz, das nur eine Aufnahme macht, um mehrere Objekte in einem Bild mit Multibox zu erkennen. BlazePalm ist zudem f\u00fcr mobile Echtzeitanwendungen optimiert, \u00e4hnlich wie BlazeFace, das auch in MediaPipe verwendet wird.\u00a0 Es zeigt sich, dass dies eine geeignete Hand-Tracking-L\u00f6sung ist, um den Prototyp in Android darauf aufbauend zu entwickeln.<\/p>\n<figure id=\"attachment_33126\" aria-describedby=\"caption-attachment-33126\" style=\"width: 734px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-33126\" src=\"https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks.jpg\" alt=\"Gezeichnete Hand mit Punkten, die zur Referenz von Positionen dienen\" width=\"734\" height=\"256\" srcset=\"https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks.jpg 1543w, https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks-300x105.jpg 300w, https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks-1024x357.jpg 1024w, https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks-768x268.jpg 768w, https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks-1536x536.jpg 1536w, https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks-400x139.jpg 400w, https:\/\/www.inovex.de\/wp-content\/uploads\/21-hand_landmarks-360x126.jpg 360w\" sizes=\"auto, (max-width: 734px) 100vw, 734px\" \/><figcaption id=\"caption-attachment-33126\" class=\"wp-caption-text\">Abbildung 1: 21 hand landmarks from Mediapipe (Google LLC, MediaPipe Hands. Fig 2. , 2020)<\/figcaption><\/figure>\n<figure id=\"attachment_33128\" aria-describedby=\"caption-attachment-33128\" style=\"width: 734px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-33128\" src=\"https:\/\/www.inovex.de\/wp-content\/uploads\/Hand_crops.jpg\" alt=\"H\u00e4nde in unterschiedlichen Stellungen \" width=\"734\" height=\"387\" srcset=\"https:\/\/www.inovex.de\/wp-content\/uploads\/Hand_crops.jpg 640w, https:\/\/www.inovex.de\/wp-content\/uploads\/Hand_crops-300x158.jpg 300w, https:\/\/www.inovex.de\/wp-content\/uploads\/Hand_crops-400x211.jpg 400w, https:\/\/www.inovex.de\/wp-content\/uploads\/Hand_crops-360x190.jpg 360w\" sizes=\"auto, (max-width: 734px) 100vw, 734px\" \/><figcaption id=\"caption-attachment-33128\" class=\"wp-caption-text\">Abbildung 2: Aligned hand crops passed to the tracking network with ground truthannotation. Bottom: Rendered synthetic hand images with groundtruth annotation. (Google LLC, MediaPipe Hands. Fig 3., 2020)<\/figcaption><\/figure>\n<h2><span class=\"ez-toc-section\" id=\"Prototyp-Entwicklung\"><\/span>Prototyp-Entwicklung<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Sobald die Hand-Tracking-Anwendung von Mediapipe auf einem Smartphone ausgef\u00fchrt wird, \u00f6ffnet sich die Kamera. Dabei werden 21 unterschiedliche Punkte einer Hand visuell dargestellt, falls diese erkannt werden. Das Tracking der Fingerspitze des Zeigefingers (Index 8, siehe Abbildung 1) wird im weiteren Verlauf verwendet, um damit die Position der Zeichnung in Echtzeit anzugeben. Die Zeichnung wird mit OpenGL ES realisiert.<\/p>\n<p><i>OpenGL ist eine Plattform \u00fcbergreifende Grafik-API, womit\u00a0Anwendungen in 2D- und 3D-Computergrafik erstellt werden k\u00f6nnen. F\u00fcr eingebettete Ger\u00e4te, wie ein Smart Device, ist OpenGL ES eine Variante der OpenGL-Spezifikation. In OpenGL ES werden die Grafiken in einem virtuellen Raum dargestellt.\u00a0<\/i><\/p>\n<p>Die dadurch gerenderte Grafik ist dementsprechend in das Kamerabild von Mediapipe integriert bzw. wird auf einem transparenten Layer dar\u00fcber gelegt. Dadurch ist die Zeichnung genau dort platziert, wo die Fingerspitze des Zeigefingers getrackt wird. Die von Mediapipe in Echtzeit getrackten x, y und z Koordinaten der Fingerspitze des Zeigefingers geben die Position f\u00fcr die zu zeichnenden Linien an. OpenGL ES verarbeitet diese Informationen und stellt die dazugeh\u00f6rige Zeichnung dar. Dabei muss das Koordinatensystem von Medipaipe an das von OpenGL ES mathematisch angepasst werden, sodass die getrackten Koordinatendaten die richtige bzw. dazugeh\u00f6rige Position f\u00fcr die Zeichnung angeben.<\/p>\n<p>&nbsp;<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Ergebnis-und-Beeintraechtigungen\"><\/span>Ergebnis und Beeintr\u00e4chtigungen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Der finale Prototyp zeigt an einem Beispiel, wie das Wort <em>cool<\/em> mittels Hand Tracking gezeichnet wird (siehe Abbildung 3).<\/p>\n<p>Die Zuverl\u00e4ssigkeit des Zeichnens ist abh\u00e4ngig davon, ob Mediapipe in dem jeweiligen Zeitpunkt die Hand bzw. die Position des Fingers richtig erkennen und verfolgen kann. Dabei kann es vorkommen, dass ein anderes Objekt, wie z. B. das Gesicht eines Menschen, f\u00e4lschlicherweise als Hand erkannt wird und somit ungewollte Zeichnungen entstehen. Zudem trackt Mediapipe immer nur die Fingerposition von einer Hand und nicht von mehreren. Wenn mehrere H\u00e4nde getrackt werden, springt die Zeichnung von der Fingerspitze einer Hand zur anderen. Aus diesem Grund hat es sich bew\u00e4hrt, nur eine Hand in die Kamera zu halten, um ein zuverl\u00e4ssiges und korrektes Ergebnis zu erzielen.<\/p>\n<figure id=\"attachment_33081\" aria-describedby=\"caption-attachment-33081\" style=\"width: 249px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-33081\" src=\"https:\/\/www.inovex.de\/wp-content\/uploads\/Zeichnen_cool_gif.gif\" alt=\"\" width=\"249\" height=\"520\" \/><figcaption id=\"caption-attachment-33081\" class=\"wp-caption-text\">Abbildung 3: Aufgenommene Zeichnung von <em>cool<\/em> mittels Hand-Tracking (Quelle: Eigene Darstellung)<\/figcaption><\/figure>\n<h2><span class=\"ez-toc-section\" id=\"Fazit\"><\/span>Fazit<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Mit dem entwickelten Prototyp konnte gezeigt werden, dass eine Android App den Bewegungsablauf von einem bestimmten Punkt eines menschlichen Fingers in einem realen dreidimensionalen Raum mittels Smartphone-Kamera erfassen und in eine gezeichnete Linie umwandeln kann.<\/p>\n<p>Die Zeichnung wird zu diesem Stand in nur 2D dargestellt, obwohl sowohl x, y und z Koordinaten verarbeitet werden. Dies liegt daran, dass f\u00fcr eine dreidimensionale Darstellung die Position der virtuellen Kamera von OpenGL ES angepasst werden muss. Aktuell wird die Zeichnung von oben betrachtet, weshalb diese zweidimensional abgebildet wird. F\u00fcr eine Darstellung in 3D m\u00fcsste sich diese Kamera im virtuellen Raum bewegen. Eine weitere M\u00f6glichkeit die Zeichnung in 3D darzustellen ist das Hinzuf\u00fcgen von Augmented Reality. Hierzu k\u00f6nnte die Erweiterung des Prototyps zus\u00e4tzliche Erkenntnisse liefern.<\/p>\n<p>&nbsp;<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Repository-zum-Projekt\"><\/span>Repository zum Projekt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>F\u00fcr den entwickelten Prototyp wurde ein Repository mit einer dazugeh\u00f6rigen Dokumentation einer dementsprechenden Installation und Ausf\u00fchrung des Projekts bereitgestellt: <a href=\"https:\/\/github.com\/Marjuw\/Draw-From-The_Air\" target=\"_blank\" rel=\"noopener\">https:\/\/github.com\/Marjuw\/Draw-From-The_Air<\/a><\/p>\n<p>&nbsp;<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Literaturverzeichnis\"><\/span>Literaturverzeichnis<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Google. (2019, August). On-Device, Real-Time Hand Tracking with MediaPipe. Retrieved September 04, 2021, from <a href=\"https:\/\/ai.googleblog.com\/2019\/08\/on-device-real-time-hand-tracking-with.html\">https:\/\/ai.googleblog.com\/2019\/08\/on-device-real-time-hand-tracking-with.html<\/a><\/p>\n<p>Google Developers. (2021). Open GL ES. Retrieved September 13, 2021, from <a href=\"https:\/\/developer.android.com\/guide\/topics\/graphics\/opengl\">https:\/\/developer.android.com\/guide\/topics\/graphics\/opengl<\/a><\/p>\n<p>Google LLC. (2020). MediaPipe Hands. Fig 2. . Retrieved August 30, 2021, from <\/p>\n<p>Google LLC. (2020). MediaPipe Hands. Fig 3. Retrieved August 30, 2021, from <\/p>\n<p>Google LLC. (2020). Mediapipe Hands-Hand Landmark Model. Retrieved September 04, 2021, from <\/p>\n<p>Google Open Source. (n.d.). Mediapipe. Retrieved August 30, 2021, from <a href=\"https:\/\/opensource.google\/projects\/mediapipe\">https:\/\/opensource.google\/projects\/mediapipe<\/a><\/p>\n<p>Grand View Research. (2019, January). Gesture Recognition Market Size, Share and Trends Analysis Report By Technology (Touch-based, Touchless), By Industry (Automotive, Consumer Electronics, Healthcare), And Segment Forecasts, 2019 &#8211; 2025. Retrieved August 30, 2021, from <a href=\"https:\/\/www.grandviewresearch.com\/industry-analysis\/gesture-recognition-market\">https:\/\/www.grandviewresearch.com\/industry-analysis\/gesture-recogn<\/a><\/p>\n<p>Statista Research Department. (2020). Statistiken zur Digitalisierung der Arbeitswelt. Retrieved November 18, 2021, from <a href=\"https:\/\/de.statista.com\/themen\/6129\/digitalisierung-der-arbeit\/#dossierKeyfigures\">https:\/\/de.statista.com\/themen\/6129\/digitalisierung-der-arbeit\/#dossierKeyfigures<\/a><\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Dieser Blogartikel behandelt die Frage, wie sich eine Fingerbewegung mittels Kameraerkennung in einer App als gezeichnete Linie darstellen l\u00e4sst. Als Prototyp ist eine Android App entstanden, in der mittels Hand Tracking bei ge\u00f6ffneter Kamera gezeichnet werden kann. Dabei ist der Einsatz einer geeigneten Machine- oder Deep-Learning-L\u00f6sung f\u00fcr das Tracken menschlicher H\u00e4nde in Echtzeit relevant. Hierf\u00fcr [&hellip;]<\/p>\n","protected":false},"author":268,"featured_media":33486,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"ep_exclude_from_search":false,"footnotes":""},"tags":[149,372,511,140,353],"service":[420,76],"coauthors":[{"id":268,"display_name":"Marvin Juwig","user_nicename":"mjuwig"}],"class_list":["post-33076","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","tag-android","tag-app","tag-artificial-intelligence-2","tag-machine-learning","tag-mobile","service-apps","service-artificial-intelligence"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.5 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Hand Tracking mit der Smartphone-Kamera und Mediapipe<\/title>\n<meta name=\"description\" content=\"Das Google Framework Mediapipe erlaubt es, durch Hand Tracking mit der Smartphone-Kamera 2D-Skizzen zu erstellen.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Hand Tracking mit der Smartphone-Kamera und Mediapipe\" \/>\n<meta property=\"og:description\" content=\"Das Google Framework Mediapipe erlaubt es, durch Hand Tracking mit der Smartphone-Kamera 2D-Skizzen zu erstellen.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/\" \/>\n<meta property=\"og:site_name\" content=\"inovex GmbH\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/inovexde\" \/>\n<meta property=\"article:published_time\" content=\"2021-12-13T05:27:22+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-06-03T05:55:48+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1440\" \/>\n\t<meta property=\"og:image:height\" content=\"810\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Marvin Juwig\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:image\" content=\"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe-1024x576.png\" \/>\n<meta name=\"twitter:creator\" content=\"@inovexgmbh\" \/>\n<meta name=\"twitter:site\" content=\"@inovexgmbh\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Marvin Juwig\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"7\u00a0Minuten\" \/>\n\t<meta name=\"twitter:label3\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data3\" content=\"Marvin Juwig\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/\"},\"author\":{\"name\":\"Marvin Juwig\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/person\\\/39796512e3b2c58348890161ccb2f719\"},\"headline\":\"Hand Tracking mit der Smartphone-Kamera und Mediapipe: Drawing In The Air\",\"datePublished\":\"2021-12-13T05:27:22+00:00\",\"dateModified\":\"2024-06-03T05:55:48+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/\"},\"wordCount\":1097,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/hand-tracking-mediapipe.png\",\"keywords\":[\"Android\",\"App\",\"Artificial Intelligence\",\"Machine Learning\",\"Mobile\"],\"articleSection\":[\"Applications\",\"General\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/\",\"name\":\"Hand Tracking mit der Smartphone-Kamera und Mediapipe\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/hand-tracking-mediapipe.png\",\"datePublished\":\"2021-12-13T05:27:22+00:00\",\"dateModified\":\"2024-06-03T05:55:48+00:00\",\"description\":\"Das Google Framework Mediapipe erlaubt es, durch Hand Tracking mit der Smartphone-Kamera 2D-Skizzen zu erstellen.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/hand-tracking-mediapipe.png\",\"contentUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/hand-tracking-mediapipe.png\",\"width\":1440,\"height\":810,\"caption\":\"Hand Tracking erfasst die Geste \u201ein Ordnung\u201c\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/hand-tracking-mediapipe\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Hand Tracking mit der Smartphone-Kamera und Mediapipe: Drawing In The Air\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#website\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/\",\"name\":\"inovex GmbH\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#organization\",\"name\":\"inovex GmbH\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/inovex-logo-16-9-1.png\",\"contentUrl\":\"https:\\\/\\\/www.inovex.de\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/inovex-logo-16-9-1.png\",\"width\":1921,\"height\":1081,\"caption\":\"inovex GmbH\"},\"image\":{\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/inovexde\",\"https:\\\/\\\/x.com\\\/inovexgmbh\",\"https:\\\/\\\/www.instagram.com\\\/inovexlife\\\/\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/inovex\",\"https:\\\/\\\/www.youtube.com\\\/channel\\\/UC7r66GT14hROB_RQsQBAQUQ\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/#\\\/schema\\\/person\\\/39796512e3b2c58348890161ccb2f719\",\"name\":\"Marvin Juwig\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/5915259c4ff1cfb6f8a506bf9a1b8dbae812a0bad3790c8dc1f349ef74811d2d?s=96&d=retro&r=gdc70a3b3d1ab9aaf118138207562fc42\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/5915259c4ff1cfb6f8a506bf9a1b8dbae812a0bad3790c8dc1f349ef74811d2d?s=96&d=retro&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/5915259c4ff1cfb6f8a506bf9a1b8dbae812a0bad3790c8dc1f349ef74811d2d?s=96&d=retro&r=g\",\"caption\":\"Marvin Juwig\"},\"url\":\"https:\\\/\\\/www.inovex.de\\\/de\\\/blog\\\/author\\\/mjuwig\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Hand Tracking mit der Smartphone-Kamera und Mediapipe","description":"Das Google Framework Mediapipe erlaubt es, durch Hand Tracking mit der Smartphone-Kamera 2D-Skizzen zu erstellen.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/","og_locale":"de_DE","og_type":"article","og_title":"Hand Tracking mit der Smartphone-Kamera und Mediapipe","og_description":"Das Google Framework Mediapipe erlaubt es, durch Hand Tracking mit der Smartphone-Kamera 2D-Skizzen zu erstellen.","og_url":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/","og_site_name":"inovex GmbH","article_publisher":"https:\/\/www.facebook.com\/inovexde","article_published_time":"2021-12-13T05:27:22+00:00","article_modified_time":"2024-06-03T05:55:48+00:00","og_image":[{"width":1440,"height":810,"url":"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe.png","type":"image\/png"}],"author":"Marvin Juwig","twitter_card":"summary_large_image","twitter_image":"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe-1024x576.png","twitter_creator":"@inovexgmbh","twitter_site":"@inovexgmbh","twitter_misc":{"Verfasst von":"Marvin Juwig","Gesch\u00e4tzte Lesezeit":"7\u00a0Minuten","Written by":"Marvin Juwig"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#article","isPartOf":{"@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/"},"author":{"name":"Marvin Juwig","@id":"https:\/\/www.inovex.de\/de\/#\/schema\/person\/39796512e3b2c58348890161ccb2f719"},"headline":"Hand Tracking mit der Smartphone-Kamera und Mediapipe: Drawing In The Air","datePublished":"2021-12-13T05:27:22+00:00","dateModified":"2024-06-03T05:55:48+00:00","mainEntityOfPage":{"@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/"},"wordCount":1097,"commentCount":0,"publisher":{"@id":"https:\/\/www.inovex.de\/de\/#organization"},"image":{"@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#primaryimage"},"thumbnailUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe.png","keywords":["Android","App","Artificial Intelligence","Machine Learning","Mobile"],"articleSection":["Applications","General"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/","url":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/","name":"Hand Tracking mit der Smartphone-Kamera und Mediapipe","isPartOf":{"@id":"https:\/\/www.inovex.de\/de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#primaryimage"},"image":{"@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#primaryimage"},"thumbnailUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe.png","datePublished":"2021-12-13T05:27:22+00:00","dateModified":"2024-06-03T05:55:48+00:00","description":"Das Google Framework Mediapipe erlaubt es, durch Hand Tracking mit der Smartphone-Kamera 2D-Skizzen zu erstellen.","breadcrumb":{"@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#primaryimage","url":"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe.png","contentUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/hand-tracking-mediapipe.png","width":1440,"height":810,"caption":"Hand Tracking erfasst die Geste \u201ein Ordnung\u201c"},{"@type":"BreadcrumbList","@id":"https:\/\/www.inovex.de\/de\/blog\/hand-tracking-mediapipe\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.inovex.de\/de\/"},{"@type":"ListItem","position":2,"name":"Hand Tracking mit der Smartphone-Kamera und Mediapipe: Drawing In The Air"}]},{"@type":"WebSite","@id":"https:\/\/www.inovex.de\/de\/#website","url":"https:\/\/www.inovex.de\/de\/","name":"inovex GmbH","description":"","publisher":{"@id":"https:\/\/www.inovex.de\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.inovex.de\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/www.inovex.de\/de\/#organization","name":"inovex GmbH","url":"https:\/\/www.inovex.de\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.inovex.de\/de\/#\/schema\/logo\/image\/","url":"https:\/\/www.inovex.de\/wp-content\/uploads\/2021\/03\/inovex-logo-16-9-1.png","contentUrl":"https:\/\/www.inovex.de\/wp-content\/uploads\/2021\/03\/inovex-logo-16-9-1.png","width":1921,"height":1081,"caption":"inovex GmbH"},"image":{"@id":"https:\/\/www.inovex.de\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/inovexde","https:\/\/x.com\/inovexgmbh","https:\/\/www.instagram.com\/inovexlife\/","https:\/\/www.linkedin.com\/company\/inovex","https:\/\/www.youtube.com\/channel\/UC7r66GT14hROB_RQsQBAQUQ"]},{"@type":"Person","@id":"https:\/\/www.inovex.de\/de\/#\/schema\/person\/39796512e3b2c58348890161ccb2f719","name":"Marvin Juwig","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/secure.gravatar.com\/avatar\/5915259c4ff1cfb6f8a506bf9a1b8dbae812a0bad3790c8dc1f349ef74811d2d?s=96&d=retro&r=gdc70a3b3d1ab9aaf118138207562fc42","url":"https:\/\/secure.gravatar.com\/avatar\/5915259c4ff1cfb6f8a506bf9a1b8dbae812a0bad3790c8dc1f349ef74811d2d?s=96&d=retro&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/5915259c4ff1cfb6f8a506bf9a1b8dbae812a0bad3790c8dc1f349ef74811d2d?s=96&d=retro&r=g","caption":"Marvin Juwig"},"url":"https:\/\/www.inovex.de\/de\/blog\/author\/mjuwig\/"}]}},"_links":{"self":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts\/33076","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/users\/268"}],"replies":[{"embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/comments?post=33076"}],"version-history":[{"count":6,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts\/33076\/revisions"}],"predecessor-version":[{"id":54133,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/posts\/33076\/revisions\/54133"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/media\/33486"}],"wp:attachment":[{"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/media?parent=33076"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/tags?post=33076"},{"taxonomy":"service","embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/service?post=33076"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/www.inovex.de\/de\/wp-json\/wp\/v2\/coauthors?post=33076"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}