te.ma ist seit dem 01. August 2024 bis auf Weiteres inaktiv und befindet sich im Archiv-Modus. Alle Publikationen sind weiter zugänglich. Der Kommentarbereich ist jedoch abgeschaltet. Bestehende Nutzerkonten bleiben bis 31. Juli 2025 weiter zugänglich, neue Nutzerkonten können nicht mehr angelegt werden. Unser Newsletter wird nicht mehr weiter bespielt.

Sind Algorithmen sexistischer als wir?

Re-Web

Sind Algorithmen sexistischer als wir?

»Zu sexy: Wie KI-Algorithmen Frauen benachteiligen können«

Inhalte

Intro

Geschrieben von Solveig Klepper

Bei te.ma veröffentlicht 03.05.2023

Geschrieben von Solveig Klepper
Bei te.ma veröffentlicht 03.05.2023

Menschen haben Vorurteile – KI-Modelle auch. Oft sollen diese Modelle lernen, menschliches Verhalten zu reproduzieren. Das kann dazu führen, dass Stereotype automatisiert und Gesellschaftsgruppen diskriminiert werden. Katharina Brunner, Elisa Harlan und Shannon Reitmeir untersuchen vier Dienste zur Erkennung anzüglicher Inhalte auf Bildern. Alle vier scheinen Frauen zu diskriminieren.

Jedes maschinelle Lernmodell braucht Daten zum Trainieren. Soll es lernen, auf Bildern anzügliche Inhalte zu erkennen, brauchen wir zunächst eine Menge von sowohl anzüglichen als auch nicht-anzüglichen Bildern.

Damit das Modell lernen kann, wo der Unterschied liegt, muss diese Information zunächst in Form von Trainingsdaten verpackt werden. Oft bestehen diese Trainingsdaten aus einer Eingabe, zum Beispiel einem Bild, und einem Label, zum Beispiel „anzüglich“ oder „nicht-anzüglich“. Um diese Labels zu bekommen, muss also jemand für jedes Bild in den Trainingsdaten entscheiden, ob es anzüglich ist oder nicht. Wir sprechen hierbei von „supervised learning“, also überwachtem Lernen, da dem Modell durch das Label gesagt wird, was die richtige Antwort ist.

Ist der Datensatz erstellt, kann das Modell auf Grundlage dieser Trainingsdaten eine Entscheidungsregel lernen und diese auf neue Bilder anwenden, die es zuvor noch nicht gesehen hat. Das heißt aber gleichzeitig: Was auch immer der Mensch in die Daten packt, das Modell wird vermutlich lernen, es zu reproduzieren. Im Prinzip ist das ja genau das Ziel. Aber man „kann davon ausgehen, dass gesellschaftliche Stereotype in den Trainingsdaten landen“, betont Carsten Schwemmer, Professor für Soziologie und computergestützte Sozialwissenschaften an der LMU München. In diesem Fall sprechen wir von einem Data Bias, und der ist kritisch.

Ein Data Bias ist eine Art von Voreingenommenheit, die in den Trainingsdaten repräsentiert ist. Beispielsweise werden Frauen eher sexualisiert und anzüglicher wahrgenommen als Männer. Dieses Stereotyp wandert dann durch die Trainingsdaten in die Entscheidungsregeln des Modells. Wird so ein Modell nun auf eine große Datenmenge angewandt, dann kann schon ein anfangs kleines Ungleichgewicht in den Trainingsdaten zu Diskriminierung im großen Stil führen. Hieran trägt das Lernmodell keine „Schuld“. Es ist dennoch ein gewaltiges Problem, denn bestehende gesellschaftliche Stereotype oder Vorurteile werden so verstärkt.

Brunner, Harlan und Reitmeir stellen bei allen vier Diensten zur Erkennung von anzüglichen Bildern, darunter auch in Systemen namhafter Softwareentwickler wie Google, Microsoft und Amazon, ein Data Bias bezüglich des Geschlechts fest: Bilder weiblich erscheinender Personen werden öfter als anzüglich eingestuft als bei männlichem Erscheinungsbild. Im Beitrag werden mehr und weniger offensichtliche Beispiele gezeigt. Bedeutsam ist hier die starke Varianz in den Einstufungen der Anbieter; selbst bei vermeintlich unumstrittenen Fällen schert mindestens einer der Anbieter stark aus. Als Leser kann man hier selbst eine Einschätzung abgeben, bevor man die Ausgaben der Modelle sieht. Die Anbieter geben die Verantwortung an den Nutzer weiter. Kein Filter sei zu 100% genau. Außerdem gäben die Dienste lediglich Wahrscheinlichkeiten dafür an, ob ein Bild anzüglich ist oder nicht. Die Kunden müssen dann eigenverantwortlich entscheiden, wie sie mit der Information und den Bildern umgehen.

Sexistisch, rassistisch oder anders diskriminierend: Die Algorithmen lernen zu reproduzieren und spiegeln so unsere gesellschaftlichen Vorurteile wider. „Im schlimmsten Fall – und das ist der Fall, wenn die Modelle nicht sorgfältig erstellt werden – endet man damit, dass man Stereotype automatisiert und Modelle erstellt, die weit von der Realität entfernt und damit letztendlich schädlich sind, sagt die Kognitionswissenschaftlerin Abeba Birhane1

Letzten Endes müssen wir als Gesellschaft entscheiden, wie und wo KI angewandt werden soll, an welchen Stellen mehr Regulierung notwendig ist oder KI-Algorithmen überhaupt nicht verwendet werden sollten. Wie auch immer wir das realisieren, um in Zukunft stark skalierende Diskriminierung zu verhindern, muss uns zunächst bewusst werden, welche Stereotype wir alle unbewusst in uns tragen.

Fußnoten
1

Abeba Birhane ist Kognitionswissenschaftlerin; ihr Forschungsfokus liegt unter anderem in verantwortungsvoller und ethischer KI. In ihrer Doktorarbeit untersuchte sie die Herausforderungen und Gefahren, die durch das Automatisieren menschlicher Entscheidungen entstehen können. (https://abebabirhane.com/)

Re-Web
Offener Zugang
Offener Zugang bedeutet, dass das Material öffentlich zugänglich ist.
Verwandte Artikel

Ein statistisches Modell, das auf Trainingsdaten beruht. Aus diesen Daten lernt das Modell Entscheidungsregeln abzuleiten, indem es die Daten als Eingabe (input) erhält, diese verarbeitet (processing) und schließlich eine Ausgabe (output) produziert. Während des Trainings wird die Modellausgabe mit dem gewünschten Ergebnis verglichen. Bei Abweichung erfolgt eine Aktualisierung des Modells, sodass es beim nächsten Mal eher die richtige Antwort produziert. Sobald ein Modell trainiert wurde, kann es auf neue Daten angewandt werden, indem es diese als Eingabe erhält und idealerweise korrekte Vorhersagen als Ausgabe generiert.

Im maschinellen Lernen wird ein Bias als Vorannahme verstanden, unter welcher eine Aufgabe betrachtet wird. Derartige Vorannahmen sind notwendig, um Algorithmen zu entwickeln, die ein spezifisches Problem lösen sollen. Falsche Vorannahmen hingegen können die Lösung eines Problems unmöglich machen.

Als plakatives Beispiel: Ein Algorithmus soll Gesichter auf beliebigen Bildern detektieren und wird unter der (falschen) Annahme trainiert, dass Gesichter auf Bildern immer biometrisch abgebildet sind. Der Algorithmus bekommt also ausschließlich Bilder gezeigt, auf denen die Gesichter zentriert und nach einer Norm ausgerichtet sind. Schlussendlich hat dieser Algorithmus keine Möglichkeit, Gesichter robust auf nicht-biometrischen Bildern zu erkennen, da sie nicht in das Muster biometrischer Bilder passen, mit denen er trainiert wurde.

Diskussionen
6 Kommentare
Es gibt neue Kommentare!
Te.ma befindet sich im Archiv-Modus und daher ist die Kommentarfunktion deaktiviert.
Total 3

Ich glaube hierbei kommt es drauf an, wie man mit einer KI im Laufe der Zeit umgeht. Es ist besonders wichtig, dass eine KI regelmäßig mit präsenten Inhalten “gefüttert” wird und sich den aktuellen “gesellschaftlichen Normen” anpasst.

Total 4

Schön, wie der Artikel auch die Wechselbeziehung zwischen den Stereotypen der Menschen und den Klassifizierungen der KI-Algorithmen zeigt. Nicht nur die von Menschen eingespeisten Vorurteile beeinflussen die Ausgabe der Algorithmen, auch ihre Ausgaben können die Stereotype der Menschen beeinflussen — besonders wenn in Zukunft immer mehr Menschen immer häufiger mit KI-Algorithmen und deren Klassifizierungen in Berührung kommen.
Wie löst man diesen Kreis aus (gespiegelten) Vorurteilen auf?
Dem Appell zu folgen und zuerst die eigenen Stereotype zu hinterfragen, klingt nach einem sinnvollen Ansatz.

Total 3

Spannendes Thema, Bias und Fairness in der KI sind ja gerade wirklich hochrelevant. Der Artikel verdeutlicht die Notwendigkeit, Fairness in maschinellen Lernmodellen zu gewährleisten.

Im ersten Schritt müssen Daten und Trainingsdaten bestenfalls sorgfältig ausgewählt und überprüft werden, um sicherzustellen, dass keine Voreingenommenheit oder Diskriminierung entsteht. Darüber hinaus gibt es verschiedene Fairnessmethoden, sogenannte Fairness-Constraints, welche die Datenauswertung an eine zuvor festgestellte Benachteiligung von einer oder mehreren bestimmten Gruppen anpasst. Diese kann man also einsetzen, um zusätzlich sicherzustellen, dass das Modell keine unerwünschten Vorurteile reproduziert.

 

Am wichtigsten ist meiner Meinung nach also, dass wir uns bewusst machen, welche Stereotypen und Vorurteile in den Daten und Modellen stecken - nur so können wir versuchen diesen entgegen zu wirken.

Total 2

Die Frage, ob etwas anzüglich ist oder nicht, scheint mir schwer zu beantworten zu sein. Ich würde sagen, dass das von Mensch zu Mensch unterschiedlich ist. Wie findet man in diesem Fall eine passende Definition, was diskriminierend und was fair ist?

Total 2

Ein weiterer Aspekt, den man berücksichtigen kann, und der möglicherweise ein Teil des Problems ist, ist, dass der Großteil der Menschen, die für die Entwicklung der aktuellen maschinellen Lernmodelle verantwortlich sind, weiße Männer sind, die ihre eigene Vorstellung vom “normalen” Menschen haben und so zu Diskriminierung beitragen können. Zu diesem Thema gibt es viele Artikel, aber ob es tatsächlich ein Problem ist kann ich nicht beurteilen.

Total 0

Ein weiteres Problem besteht meiner Meinung nach darin, dass Definitionen von Anzüglichkeit in verschiedenen kulturellen Kontexten stark variieren können. Die Daten, die zum Trainieren von KI-Modellen verwendet werden, stammen in der Regel aus dem globalen Norden und spiegeln die dort vorherrschenden Normen wider. Diese Daten werden jedoch in einigen Fällen von Menschen aus dem globalen Süden ausgewertet. Wenn diese Bewertungen dann auf der eigenen Vorstellung von Anzüglichkeit basieren, kann es dazu führen, dass Bilder, die in einer deutschen Gesellschaft beispielsweise nicht als anzüglich angesehen werden, von KI-Modellen in Zukunft als anzüglich eingestuft werden.

te.ma sammelt keine Cookies. Um mit der Allgemeinen Datenschutzgrundverordnung (DSGVO) übereinzustimmen, müssen wir dich aber informieren, dass von uns eingebundene externe Medien (z.B. von YouTube) möglicherweise Cookies sammeln. Mehr dazu in unserer Datenschutzerklärung.