{"id":20420,"date":"2020-12-29T09:32:09","date_gmt":"2020-12-29T08:32:09","guid":{"rendered":"https:\/\/www.inovex.de\/blog\/?p=20420"},"modified":"2025-01-08T07:59:27","modified_gmt":"2025-01-08T06:59:27","slug":"one-shot-learning-eure-fragen-beantwortet","status":"publish","type":"post","link":"https:\/\/www.inovex.de\/de\/blog\/one-shot-learning-eure-fragen-beantwortet\/","title":{"rendered":"One Shot Learning: Eure Fragen beantwortet"},"content":{"rendered":"

Bei unserem Meetup zum Thema One Shot Learning blieben einige Fragen unbeantwortet. Mai und Sebastian haben sich dieser angenommen und an dieser Stelle beantwortet. Hast du noch weitere Fragen? Dann stelle sie unseren Expert:innen gerne in den Kommentaren!<\/p>\n

Gibts die Slides zum Download?<\/strong><\/p>\n

Klar! Ihr findet sie auf inovex.de<\/a>.<\/p>\n

Wie gehe ich vor, um mich weiterf\u00fchrend in das Thema einzuarbeiten? Welche Literatur w\u00fcrdet ihr empfehlen?<\/strong><\/p>\n

Dieser Blogpost \u00fcber One Shot Learning<\/a> in der Bild Klassifikation ist super verst\u00e4ndlich geschrieben und zum Einstieg in die Thematik mit Siamese Netzwerken gut geeignet.<\/p>\n

Ihr findet einen \u00dcberblick zu relevanten Papern in den Slides (Folie 21). Au\u00dferdem verweisen wir in den weiteren Antworten auf eure Fragen noch auf einige weitere Arbeiten.<\/p>\n

Bitte erl\u00e4utert nochmal, wie das Training mit einem Shot denn \u00fcberhaupt abl\u00e4uft. Sind die nicht trainierten Klassen dann jeweils nur eine Klasse (sozusagen der Rest<\/em>)? Wie habt Ihr die Trainings-Paare f\u00fcr das Siamese-Network ausgew\u00e4hlt?<\/strong><\/p>\n

Unser One Shot Learning Setting bezieht sich auf die Inferenz und nicht auf das Training (in Anlehnung an [1] und [2]). Wir verwenden \u2154 der verf\u00fcgbaren Klassen f\u00fcr das Training. Das verbleibende \u2153 der Klassen wird im Training nie gesehen und dienen als Holdout Set.<\/p>\n

W\u00e4hrend des Trainings werden dem Siamese-Netzwerk Batches mit Satzpaaren pr\u00e4sentiert. 50% der Paare im Batch sind aus derselben Klasse und werden mit einer \u00c4hnlichkeit von 1 versehen. 50% der Paare sind aus unterschiedlichen Klassen und mit einer \u00c4hnlichkeit von 0 annotiert. Die Paare werden w\u00e4hrend der Laufzeit zuf\u00e4llig gezogen.<\/p>\n

Ziel der Evaluierung ist es, Beispiele aus den Holdout-Klassen anhand ihrer \u00c4hnlichkeit zu den potentiellen Klassen zu klassifizieren. Zu diesem Zweck werden zuf\u00e4llig Kandidaten aus den Holdout-Klassen gezogen. F\u00fcr jeden dieser Kandidaten werden dann zuf\u00e4llig Vergleichskandidaten pro Klasse bestimmt. Der gew\u00e4hlte Kandidat wird dann mit den Vertretern aller Klassen verglichen und der Klasse, zu dem er die h\u00f6chste \u00c4hnlichkeit besitzt, zugewiesen.<\/p>\n

[1] Koch et al. (2015) – Siamese Networks for One Shot Learning Recognition<\/em><\/p>\n

[2] Brown et al. (2020) – Language Models are Few Shot Learners<\/em><\/p>\n

Was ist der Unterschied zwischen One und Zero Shot Learning?<\/strong><\/p>\n

In Analogie zur vorherigen Frage beziehen wir uns bei den Begriffen One und Zero Shot Learning auf die Inferenz. Der zu klassifizierende Kandidat aus dem Holdout-Set ist stets ein Text. Der Unterschied zwischen One und Zero Shot Learning liegt auf der Seite der Vergleichskandidaten. Beim One Shot Learning sind die Vergleichskandidaten ebenfalls Texte. In unserem Setting stehen im Falle von Zero Shot Learning keine zus\u00e4tzlichen Texte zur Verf\u00fcgung, deswegen vergleicht man hier direkt mit den Klassen-Labels. Zero Shot Klassifizierung wurde lediglich mit dem vortrainierten DistilBart Modell durchgef\u00fchrt.<\/p>\n

Wie sah die Architektur des TripletNet aus, z.B. wie viele Layer folgten auf das jeweilige GUSE-Embedding? Wieviele Layer\/Parameter haben eure Modelle ?<\/strong><\/p>\n

Wir haben verschiedene Architekturen ausprobiert und dabei bspw. die Anzahl der Layer, die Aktivierungen und die Merge-Layer variiert. Bei den Siamese-Netzwerken hat ein Dense-Layer (ReLU) nach den USE Embeddings, absolute Distanz f\u00fcr den Merge Layer und ein weiterer Dense-Layer mit einer Sigmoid-Aktivierung als Output zu den besten Ergebnissen gef\u00fchrt. Die Anzahl der Units pro Layer haben wir von 16 bis 1024 variiert und konnten bei 256 bzw. 512 Units pro Layer die beste und stabilste Performance beobachten. Bei den Triplet-Netzwerken konnten wir dieselben Effekte beobachten. Allerdings entf\u00e4llt bei diesen der Merge-Layer, da die Hidden States direkt in den Triplet-Loss einflie\u00dfen.<\/p>\n

Wie funktioniert die Generalisierung basierend auf dem einen Sample der unbekannten Klasse? Da hattet ihr am Rande erw\u00e4hnt, dass es geht.<\/strong><\/p>\n

Der wesentliche Punkt ist die Abstraktion der Labels. Das Siamese (bzw. Triplet) Netzwerk lernt die Abbildung von [Text A, Text A] auf die \u00c4hnlichkeit 1 und nicht das Label A. Dies bedeutet, dass Embeddings derselben Klassen dichter zueinander gebracht werden, w\u00e4hrend Embeddings unterschiedlicher Klassen weiter auseinander driften sollten. Daher l\u00e4sst sich dieser Ansatz im sp\u00e4teren Verlauf auf unbekannte Klassen anwenden. Sie werden embedded und sollten dann idealerweise als entsprechender Cluster abgebildet werden. In diesem Fall ist die \u00c4hnlichkeit zu einem zuf\u00e4lligem Beispiel aus diesem Cluster gr\u00f6\u00dfer als zu Vertretern der anderen Klassen und erm\u00f6glicht eine korrekte Klassifizierung.<\/p>\n

Wie w\u00fcrdet ihr z.B. einen TripletNet-Ansatz auf das Few-Shot Setting erweitern?<\/strong><\/p>\n

In unserem Setting w\u00fcrde sich eine Erweiterung auf Few Shot Learning nur auf die Inferenz auswirken. Im Training verwenden wir weiterhin die bekannten Triplets (Anchor, Positiv, Negativ). F\u00fcr die Inferenz wird dann die Anzahl der Vergleichskandidaten pro Klasse von k=1 auf bspw. k=5 erh\u00f6ht. Ein zu klassifizierendes Beispiel w\u00fcrde nun mit f\u00fcnf Vertretern jeder Klasse verglichen und anschlie\u00dfend entsprechend der gr\u00f6\u00dften \u00c4hnlichkeit klassifiziert. Charmanterweise erfordert dies keine Anpassung der Architektur oder zus\u00e4tzliches Training. Je mehr gelabelte Samples der Holdout-Klassen zur Verf\u00fcgung stehen, desto mehr Vergleichskandidaten werden bereitgestellt.<\/p>\n

Der Effekt dieser Erweiterung ist sehr intuitiv. Texte innerhalb einer Klasse unterscheiden sich voneinander. Vergleicht man einen Text mit verschiedenen Texten derselben Klasse ist die Wahrscheinlichkeit gr\u00f6\u00dfer, einen \u00c4hnlichen anzutreffen, als bei einem Vergleich mit lediglich einem anderen Text.<\/p>\n

K\u00f6nnt ihr kurz Triplet im Verh\u00e4ltnis zu Contrastive learning beschreiben?<\/strong><\/p>\n

Der Contrastive-Loss ist beliebt im Unsupervised Learning und Self-Supervised Learning. Er wird auf Paare angewandt und versucht die Distanz zwischen den Auspr\u00e4gungen der gleichen Klasse so klein wie m\u00f6glich und die zwischen den Auspr\u00e4gungen verschiedener Klassen so weit wie m\u00f6glich zu halten. Hier wird das Konzept einer Margin eingef\u00fchrt, die sich auf die minimale Distanz von unterschiedlichen Auspr\u00e4gungen bezieht.<\/p>\n

Im Gegensatz dazu nimmt der Triplet-Loss nicht nur ein Paar, sondern ein Triplet in Betrachtung. Er ist im Bereich der Face Recognition, Person Re-Identification und des Feature Embedding verbreitet. Das Triplet besteht aus einem Anker, einer positiven und einer negativen Auspr\u00e4gung. Das Ziel ist es die Distanz vom Anker zur positiven Auspr\u00e4gung zu minimieren und gleichzeitig die Distanz zwischen dem Anker und der negativen Auspr\u00e4gung zu vergr\u00f6\u00dfern. Das Setup kann nochmal spezifiziert werden, indem wir die negativen Auspr\u00e4gungen mit folgenden Strategien w\u00e4hlen:<\/p>\n