Bias im Machine Learning

Stellen Sie sich vor, Sie bewerben sich auf eine Stelle, und Ihr Lebenslauf wird abgelehnt. Ein Algorithmus hat ihn herausgefiltert, bevor überhaupt ein Mensch die Chance hatte, ihn anzuschauen – aufgrund Ihres Geschlechts, Alters oder Ihrer Postleitzahl. Ist die künstliche Intelligenz daran schuld? Oder die Personalabteilung, die Machine Learning (ML) im Bewerbungsprozess einsetzt? Oder liegt es an den Datenwissenschaftler:innen, die das System programmiert haben? Unserer MT Engineer Andrada Pumnea ist es wichtig, Daten für gute Zwecke einzusetzen. Sie erklärt, wie Bias im Machine-Learning-Prozess entsteht und was Entwicklerteams dagegen tun können.  

Was ist Bias im Machine Learning und warum ist er problematisch?

Ganz einfach gesagt, geht es um Computer, die Vorurteile und Stereotypen erlernen. Sie übernehmen den Bias aus den Daten, mit denen Menschen sie füttern, und reproduzieren sie dann. Der diskriminierende Output verstärkt also Vorurteile und Stereotypen und trägt zur allgemeinen Unterdrückung und sozialen Ungleichheit bei. Dieser Effekt tritt ein, wenn Menschen Machine-Learning-Modelle entwickeln und trainieren. Dabei ist dann unbewusster kognitiver Bias im Spiel oder manifestierte Vorurteile. ML-Modelle können nicht unterscheiden, ob die Informationen, die sie erhalten, in der realen Welt Schaden anrichten könnten oder nicht. So grenzen sie sowieso schon ausgegrenzte Gruppen weiter aus.

Wie sieht eine mit Bias behaftete KI-Ausgabe aus?

Ein klassisches Beispiel ist Amazon. Das Unternehmen wollte seinen Bewerbungsprozess automatisieren und trainierte die Modelle auf Basis von Lebensläufen, die in der Vergangenheit zu erfolgreichen Einstellungen geführt haben. Die Trainingsdaten tendierten jedoch dazu, Männer zu bevorzugen. Deshalb lehnte die daraus hervorgegangene automatisierte Anwendung Lebensläufe von Frauen einfach ab, oder sogar Lebensläufe, die bloß das Wort „Frauen“ enthielten, wie in „Frauenorganisation“. Ein aktuelleres Beispiel kommt aus dem Jahr 2019, als Facebook Anzeigen so optimiert hat, dass sie den Nutzer:innen auf Basis von ethnischer Herkunft, Geschlecht und Religion empfohlen wurden. Das hat dazu geführt, dass Stellenanzeigen für Sekretariatsjobs und Krankenpflege hauptsächlich Frauen angezeigt wurden, während Taxifahrer- und Hausmeisterjobs vermehrt männlichen Usern aus Minderheitengruppen präsentiert wurden.

Kann es beim Training von Sprachmodellen für die neuronale maschinelle Übersetzung bei Lengoo zu Verzerrungen durch Bias kommen?

Die von uns angefertigten Übersetzungen sind meistens sehr technisch. Bedienungsanleitungen für Maschinen oder Produktbeschreibungen lassen nicht viel Raum für schädigende Verzerrungen durch Bias. Das Wichtigste ist jedoch, dass unsere Übersetzer:innen die maschinell erstellten Übersetzungen überprüfen und überarbeiten. Wenn also doch mal etwas durchs Netz gehen sollte, wäre jemand da, der das abfängt.

Wie entsteht Bias?

Das Ziel eines ML-Modells ist es, Muster in den von uns bereitgestellten Daten zu erkennen. Das heißt, das Modell verallgemeinert und versucht, „universelle“ Regeln zu finden. Wenn es auf dieser Datengrundlage dann Vorhersagen trifft, werden sie verzerrt. ML-Modelle lernen quasi von der Vergangenheit, weil sie mit historischen Daten gefüttert werden. Ein Modell, das zum Beispiel auf Basis eines großen Textkorpus aus dem Internet trainiert wurde, kann im Lernprozess von „Assoziations-Bias“ betroffen sein. Das Phänomen tritt auf, wenn zwei Wörter zusammen im gleichen Kontext auftauchen, wie „Frau-Küche“ oder „Mann-Büro“. Das Modell erkennt, dass Frauen als Hausfrauen und Männer als Arbeiter gesehen werden, weil die Wörter in den Trainingsdaten in der Vergangenheit häufig im gleichen Kontext auftraten. Je nachdem, wie ein solches Modell in der heutigen realen Welt verwendet wird, kann das Folgen haben, die unerwünschte Stereotypen befeuern.

Die Ursache für alle Probleme liegt also in den Daten. Wie genau wird ein ML-Modell "biased"?

Bias kann sich in jeder Prozessphase einschleichen – während der Erfassung und Auswahl der Daten sowie beim Labeling und in der Verarbeitung. Das alles wirkt sich auf das Endergebnis aus. Das Sammeln von Daten führt beispielsweise zu Bias, weil die beteiligten Personen möglicherweise nicht erkennen, dass es sich nicht um eine repräsentative Stichprobe handelt. Ein:e Wissenschaftler:in, die ein Modell für die Personalabteilung entwickelt, wird wahrscheinlich nicht den gleichen Kenntnisstand auf dem Gebiet haben wie ein:e Personalexpert:in. Andererseits kann es passieren, dass Ingenieur:innen bei der Datenverarbeitung wichtige Informationen weglassen und sie als „Ausreißer“ behandeln, um die Genauigkeit des Modells zu erhöhen. Weil aber diese Informationen Zusammenhänge aus dem realen Leben widerspiegeln können, ist es wichtig, die Konsequenzen einzukalkulieren, bevor man etwas entfernt.

Dir ist es sehr wichtig, Daten für gute Zwecke einzusetzen. Welche Erfahrungen hast du mit Bias beim Datenlabeling gemacht?

Ich war an einem Open-Source-Projekt beteiligt, das ein Modell zur Erkennung von Hassrede in Facebook-Kommentaren entwickelt hat. Das war eine wirklich wertvolle Erfahrung, die mir persönlich gezeigt hat, dass Bias schon bei der Entscheidung über die Qualität von Daten beginnt. Ich habe meine eigenen Daten gelabelt und dafür meinen eigenen Goldstandard entwickelt. Das allein war schon ein Bias, weil ich allein gearbeitet habe. Idealerweise verlässt man sich nicht nur auf eine einzige Quelle der Wahrheit (Anm.d.Red.: Single Source of Truth). Im besten Fall hat man ein diverses Team mit mindestens drei bis fünf Personen, das die Daten labelt. Dann würde man Entscheidungen mehrheitlich abstimmen und eine Gruppe von Fachleuten die Daten und Label überprüfen lassen. Bei dem Projekt musste ich berücksichtigen, wie verschiedene Forschungsteams Hassrede definieren und labeln. Zudem brauchte es Richtlinien für ein konsistentes Datenlabeling, immer mit der Frage im Hinterkopf, wie sich das Modell auf Menschen in einer realen Situation auswirken könnte. Ich habe viel über die Herausforderungen und Fallstricke von Bias beim Einsatz von ML im sozialen Bereich gelernt.

Lässt sich das Problem des Bias beim Machine Learning lösen?

Die eine, ultimative Lösung gibt es nicht. Einzelpersonen und ganz besonders Unternehmen sollten aber für die Art und Weise, wie sie Daten sammeln, verarbeiten und nutzen, zur Verantwortung gezogen werden. Das stellt sicher, dass sie ethisch handeln. Wir müssen uns ständig weiterbilden und unsere Annahmen hinterfragen. Wer ist von dieser Technologie betroffen? Wie definieren wir den Goldstandard? Was gilt als „normal“? Es gibt Verfahren, mit denen sich Bias in allen Prozessschritten im Machine Learning abmildern lassen. Wenn ein Modell erstellt wird, sollten jedoch Achtsamkeit und bewusst getroffene Entscheidungen ganz vorne stehen.

Wie können Unternehmen ihre ML-Modelle "fairer" machen?

Sie sollten vielfältige Teams mit einer gesunden Mischung aus Fachexpert:innen, Machine-Learning-Ingeneur:innen, Benutzerforscher:innen und Designer:innen aufbauen – das sollte Voraussetzung sein, wenn ein ML-basiertes entwickeltwird, das viele Menschen nutzen werden. Es geht darum, so viele Perspektiven wie möglich auf die Daten zu erhalten, um ein Produkt mit echtem Mehrwert zu erschaffen. Je diverser das Team, desto größer ist die Chance, dass schädlicher Output auffällt und entdeckt wird. Das Wichtigste ist, sich über alle potenziellen Anwender:innen zu informieren und zu verstehen, wie sich automatische Vorhersagen auf sie auswirken. Allgemein sollten wir Fairness als Voraussetzung begreifen und weniger als Nebenschauplatz. Menschen brauchen Ethik-Schulungen, wenn sie mit ML arbeiten.

Weshalb ist es so wichtig, ein Bewusstsein für Bias in ML zu schaffen?

Technologie berührt das Leben vieler Menschen. Der Effekt hat sich in den vergangenen zwei Jahren sogar noch verstärkt, als sich so ziemlich alles ins Internet verlagert hat. Wenn ML-Modelle mit Bias behaftet sind und immer wieder Stereotypen abbilden, sind die Auswirkungen dementsprechend weitreichend. Wir müssen im ML achtsame Entscheidungen treffen. Wir müssen User:innen und das System verstehen. Und wie das Ganze eventuell nach hinten losgehen könnte. Menschen in automatisierte Prozesse so wie bei Lengoo miteinzubeziehen, ist auch eine gute Idee, vor allem, wenn man es mit sensiblen Informationen wie dem Lebenslauf oder der finanziellen Vergangenheit einer Person zu tun hat. Eine ML-gestützte Prognose kann das Leben eines Menschen verändern. Wenn wir vermeiden möchten, dass ML-Anwendungen ungleiche und unfaire Behandlung reproduzieren, dann müssen wir extrem vorsichtig sein. Bestimmte Prozesse, die lebensverändernde Entscheidungen nach sich ziehen, sollten wir deshalb vielleicht nicht voll automatisieren. Wie immer, wenn es um KI geht, sollten wir uns die Frage stellen: Wir sind zwar in der Lage, etwas zu entwickeln – aber ist es wirklich sinnvoll, das zu tun?

‍