{"id":33397,"date":"2021-12-09T16:59:14","date_gmt":"2021-12-09T15:59:14","guid":{"rendered":"https:\/\/www.inovex.de\/?p=33397"},"modified":"2022-11-17T10:29:08","modified_gmt":"2022-11-17T09:29:08","slug":"social-bias-ki-modelle","status":"publish","type":"post","link":"https:\/\/www.inovex.de\/de\/blog\/social-bias-ki-modelle\/","title":{"rendered":"Social Bias in gro\u00dfen KI-Modellen und wie man damit umgeht"},"content":{"rendered":"

Dieser Artikel zeigt auf, wie sich Bias in Natural Language Generation (NLG) durch gro\u00dfe Sprachmodelle wie GPT-2 und GPT-3 nachweisen l\u00e4sst und ob bzw. wie man Bias in vortrainierten Modellen abschw\u00e4chen kann.<\/p>\n

Gro\u00dfe Sprachmodelle wie GPT-2 oder GPT-3 sind im Trend, denn sie k\u00f6nnen flie\u00dfende Texte generieren, die wie vom Menschen verfasst wirken. Gro\u00df sind diese Modelle da sie viele Parameter haben und auf Basis vieler Daten trainiert werden. Bei Modellen wie GPT-2 oder GPT-3 sprechen wir \u00fcber 774 Millionen, respektive 175 Milliarden Modellparameter und 40 GB bzw. 45 TB aus dem Internet gescrapter Textdaten. F\u00fcr das Training von GPT-2 wurden diese Daten von Reddit und darin verlinkten Webseiten gesammelt. Die Reddit-Nutzerschaft besteht jedoch vor allen Dingen aus wei\u00dfen M\u00e4nnern zwischen 18 und 29, sodass man von einem Sampling Bias sprechen kann: die Interessen und Ansichten, die auf Reddit kommuniziert werden, repr\u00e4sentieren nicht die Gesamtgesellschaft, sondern nur eine ausgew\u00e4hlte Gruppe. \u00c4hnliches kann man auch bei Datenbasen anderer KI-Modelle beobachten (siehe z. B. Dodge et al., 2021<\/a>, Birhane et al., 2021<\/a>). Ihre Inhalte umfassen auch ungewollte rassistische, sexistische oder homophobe Vorurteile, die den gro\u00dfen KI-Modellen nicht entgehen. In der Folge kann gezeigt werden, dass sie nachweislich beispielsweise rassistische, homophobe (Sheng et al., 2020<\/a>) oder religi\u00f6se Stereotype (Abid et al., 2021<\/a>) aufgreifen und reproduzieren. Die Ergebnisse meiner Masterarbeit zeigen u. a., dass GPT-2 (in deutscher Variante) und GPT-3 Frauen wesentlich h\u00e4ufiger sexualisieren oder in einem h\u00e4uslichen F\u00fcrsorge-Kontext darstellen als M\u00e4nner.<\/p>\n

In diesem Blogpost m\u00f6chte ich anhand des Vorgehens und der Ergebnisse meiner Masterarbeit folgende Dinge zeigen:<\/p>\n

    \n
  1. Wie sich Bias in Natural Language Generation (NLG) nachweisen l\u00e4sst<\/li>\n
  2. Ob und wie man Bias mitigieren, also in vortrainierten Modellen abschw\u00e4chen kann<\/li>\n<\/ol>\n

    Der Einsatz von KI etabliert sich in unserer Gesellschaft zunehmend. Damit vermehren sich auch die Interaktionsschnittstellen zwischen KI und Mensch. Umso dringender m\u00fcssen sich Entwickler:innen und Forscher:innen ihrer sozialen Verantwortung stellen \u2013 soziale Vorurteile sind nur eins von vielen Themen, die hierzu in den Fokus r\u00fccken m\u00fcssen. Vorab m\u00f6chte ich schon darauf hinweisen, dass die Ursache f\u00fcr diese Vorurteile vor allen Dingen in den Daten liegt, die den KI-Modellen zugrunde liegen. Die eigentliche L\u00f6sung w\u00e4ren sorgf\u00e4ltiger kuratierte Daten. Aufgrund des enormen zeitlichen und finanziellen Aufwands ist dies jedoch kaum vereinbar mit dem Trend hin zu immer gr\u00f6\u00dfer werdenden Modellen mit h\u00f6herem Datenbedarf (siehe Bender et al., 2021<\/a>). Hier muss es langfristig ein Umdenken geben. Kleinere und effizientere Modelle sind auch aus \u00f6kologischen Gr\u00fcnden ein hoffnungsvoller Forschungszweig (siehe z. B. https:\/\/huggingface.co\/blog\/large-language-models<\/a>).<\/p>\n

    Bias Quantifizieren<\/h2>\n

    Die Forschung zu Fairness und Bias in der englischen Textgenerierung hat bereits einige Methoden hervorgebracht, um soziale Vorurteile (Social Bias) quantifizierbar zu machen. Dies l\u00e4sst sich beispielsweise durch \u201eValenz-basierte\u201c Classifier erreichen. Damit meine ich z. B. Sentiment Classifier, welche die Stimmung in einem Satz erkennen, oder Classifier f\u00fcr Toxizit\u00e4t. In meiner Masterarbeit habe ich ein neueres Konzept namens Regard untersucht (Sheng et al., 2019<\/a>).<\/p>\n

    Das Konzept Regard<\/em><\/h3>\n

    Mit Regard ist die \u201eAchtung\u201c vor einer Person gemeint, die durch eine Beschreibung dieser Person vermittelt wird. \u201eDie Person war bekannt daf\u00fcr, dass sie mit ihren B\u00fcchern anderen Menschen die Augen \u00f6ffnete\u201c ist ein Beispiel f\u00fcr einen Satz mit positivem Regard, da wir auf Basis dieser Beschreibung eher positiv \u00fcber die Person denken. \u201eDie Person arbeitete als Verk\u00e4uferin.\u201c vermittelt ein neutrales Bild \u00fcber die Person (neutraler Regard). Der Satz \u201eDie Person wurde betrachtet als w\u00e4re sie ein St\u00fcck M\u00fcll.\u201c hat zur Folge, dass wir negativ \u00fcber die Person denken (negativer Regard).<\/p>\n

    \"Drei<\/p>\n

    <\/div>\n

    Datensammlung und Entwicklung eines Regard Classifiers<\/h3>\n

    F\u00fcr das Training des Classifiers habe ich einen eigenen Datensatz \u00fcber eine webbasierte Umfrage erhoben. Dem oben beschriebenen Regard-Konzept folgend, sollten die Teilnehmenden Personenbeschreibungen erfinden, die eine Person in ein negatives, neutrales oder positives Licht stellen. Jede Beschreibung beginnt mit den Worten \u201eDie Person\u201c und umfasst einen Satz. Auf diese Weise wurden ca. 1.000 individuelle deutsche S\u00e4tze gesammelt.<\/p>\n

    F\u00fcnf unabh\u00e4ngige Annotator:innen wurden dann darum gebeten, alle S\u00e4tze nochmals danach zu beurteilen, ob sie die Person negativ, neutral oder positiv dastehen lassen. Die originale Zuweisung wurde nat\u00fcrlich geheim gehalten. Ein Mehrheitsvotum der f\u00fcnf unterschiedlichen Ratings wurde dann als Goldstandard genutzt. Mithilfe dieser Daten wurde ein Regard Classifier trainiert. Hierzu habe ich mit unterschiedlichen Embeddings (FastText und SentenceBERT) und Classifier-Ans\u00e4tzen (Gradient Boosted Trees, Gated Recurrent Units und Transformer) experimentiert.<\/p>\n

    Das beste und finale Modell basiert auf einer multilingualen Version von SentenceBERT. Das ist ein Transformer-basierter Sprach-Enkodierer, der sich besonders f\u00fcr die Repr\u00e4sentation von S\u00e4tzen eignet. BERT-basierte vortrainierte Sprachmodelle bringen sehr viel kontextuelles Vorwissen mit, sodass Begriffe wie z. B. \u201eMenschenrechte\u201c bereits eine positive Konnotation mit sich bringen. Der Classifier kann den Regard auf den Testdaten mit einer Wahrscheinlichkeit von 78 % vorhersagen, was vergleichbar mit dem englischen Original ist.<\/p>\n

    Messung von Regard<\/h3>\n

    Der Regard Classifier wurde eingesetzt, um gro\u00dfe Mengen generierter Beschreibungen \u00fcber z. B. M\u00e4nner und Frauen zu klassifizieren. Der Vergleich der Proportionen von positiven, neutralen und negativen Beschreibungen pro Geschlecht ist schlie\u00dflich ein direkter Indikator daf\u00fcr, ob das generierende Sprachmodell einen Bias hat. Werden zum Beispiel mehr positive Beschreibungen \u00fcber M\u00e4nner verfasst als \u00fcber Frauen, k\u00f6nnen wir folgern, dass das Modell einen Bias zugunsten von M\u00e4nnern reproduziert. In anderen Worten ausgedr\u00fcckt, hie\u00dfe es, dass das Modell im Anwendungskontext m\u00e4nnliche Subjekte in ein besseres Licht r\u00fcckt.<\/p>\n

    Ich habe mit GerPT-2<\/a> ca. 1.000 und mit GPT-3 ca. 200 S\u00e4tze pro Geschlecht generiert (denn die Nutzung von GPT-3 ist kostenpflichtig), um deren Regard zu klassifizieren. F\u00fcr die Generierung muss man den Modellen Satzanf\u00e4nge als Eingabe geben \u2013 sogenannte Prompts. Diese bestanden in meiner Arbeit immer aus einer demografischen Nennung (\u201eDie Frau\u201c oder \u201eDer Mann\u201c) sowie einem der Bias-Kontexte aus der folgenden Tabelle. Es gab also zehn unterschiedliche Prompts pro Geschlecht. Auch hier orientierte sich das Vorgehen an Sheng et al. (2019)<\/a>.<\/p>\n

    \"Satzteile
    Bias Contexts angelegt an Sheng et al. (2019) <\/span><\/a>und ins Deutsche \u00fcbersetzt.<\/figcaption><\/figure>\n

    Wie die Ergebnisse hier in den Balkendiagrammen zeigen, hat GerPT-2 mehr positive \u00c4u\u00dferungen \u00fcber Frauen generiert und weniger positive \u00fcber M\u00e4nner. F\u00fcr GPT-3 wurden keine signifikanten Gruppenunterschiede gefunden.<\/p>\n

    \"Drei
    Verteilung der Regard Scores pro Geschlecht f\u00fcr GerPT-2. (F = \u201cDie Frau\u201c, M = \u201cDer Mann\u201c)<\/figcaption><\/figure>\n

    Negativer versus positiver Sexismus<\/h3>\n

    Um ein besseres Bild von den generierten Texten und assoziierten Labels zu bekommen, habe ich die Daten zus\u00e4tzlich qualitativ analysiert. Ich habe drei Facetten von Gender Bias identifiziert:<\/p>\n