te.ma ist seit dem 01. August 2024 bis auf Weiteres inaktiv und befindet sich im Archiv-Modus. Alle Publikationen sind weiter zugänglich. Der Kommentarbereich ist jedoch abgeschaltet. Bestehende Nutzerkonten bleiben bis 31. Juli 2025 weiter zugänglich, neue Nutzerkonten können nicht mehr angelegt werden. Unser Newsletter wird nicht mehr weiter bespielt.

Die dunklen Seiten von KI: Rassismus, Überwachung, Manipulation

Re-Web
Shalini Kantayya2020
Re-Web

Die dunklen Seiten von KI: Rassismus, Überwachung, Manipulation

»Coded Bias«

Inhalte

Intro

Geschrieben von Matthias Karlbauer

Bei te.ma veröffentlicht 07.07.2023

Geschrieben von Matthias Karlbauer
Bei te.ma veröffentlicht 07.07.2023

Müssten nicht gerade Algorithmen objektive und gerechte Entscheidungen treffen? Kommt ganz darauf an, wer sie programmiert, wer sie nutzt und mit welchen Daten sie arbeiten. Der Dokumentarfilm Coded Bias von Shalini Kantayya führt durch zweifelhafte Anwendungen von Gesichtserkennungssoftware und stellt die manipulative Kraft von personalisierter Werbung dar.

Bei dem Versuch, ihr Gesicht im Kamerabild eines Computers mithilfe einer Gesichtserkennungssoftware zu erfassen, sieht sich die MIT-Informatikstudentin Joy Buolamwini mit Rassismus konfrontiert. Als sie in die Kamera blickt, wird ihr Gesicht nämlich nicht erkannt (Abbildung, links). Sobald Joy Buolamwini jedoch eine weiße Maske vor ihr Gesicht hält, detektiert der Algorithmus die Position und Ausrichtung von Augen, Mund und Nase anstandslos1 (Abbildung, rechts). Joy Buolamwini untersucht die Gesichtserkennungssoftware weiterer Konzerne und stellt fest: Die rassistische Tendenz des Algorithmus ist kein Einzelfall. Dienste von Google, Microsoft und IBM machen bei schwarzen Menschen deutlich mehr Fehler als bei weißen Menschen2.

Die Computerwissenschaftlerin Joy Buolamwini entdeckte das rassistische Verhalten zahlreicher Gesichtserkennungsprogramme. Die Algorithmen erkannten ihr Gesicht nur dann, wenn sie sich eine weiße Maske aufzog. Quelle: Netflix

Auf der Suche nach einer Ursache für derartige Fehler identifiziert Joy Buolamwini Verzerrungen durch Voreingenommenheit, sogenannte Biases in den Daten. Gewisse Biases sind für das Training maschineller Lernverfahren unerlässlich, da derartige Algorithmen nur unter sinnvollen Vorannahmen zu guten Ergebnissen kommen können. Die Daten-Biases, um die es in Shalini Kantayyas Dokumentarfilm Coded Bias geht, sind jedoch unerwünscht. Denn in den Datensätzen sind Bilder mit schwarzen Gesichtern verglichen mit Bildern weißer Gesichter unterrepräsentiert. Dieses Ungleichgewicht lässt sich darin begründen, dass im Internet möglicherweise mehr Bilder von weißen als von schwarzen Menschen kursieren. Als Konsequenz werden die Algorithmen auf wesentlich mehr Bildern weißer Menschen trainiert und können diese folglich auch besser erkennen.

Die Ursache liegt also in den Daten, mit denen die Gesichtserkennungssysteme trainiert werden, und nicht in den Algorithmen selbst. Denn Letztere reproduzieren lediglich Muster aus den Trainingsdaten. Sobald die Daten eine (ungerechte) Tendenz enthalten, werden auch die Algorithmen diese Tendenz im Verlauf des Trainings mit großer Sicherheit ausbilden. Das kann dazu führen, dass schwarze Gesichter schlechter erkannt werden. Konkret problematisch wird das spätestens dann, wenn Haustürschlüssel oder Entsperrungscodes von Smartphones durch Gesichtserkennung ersetzt werden.

Als besonders bizarr schildert der Film eine Serie von Vorfällen, in denen schwarze Menschen in Videos mit Gorillas und Primaten gleichgesetzt wurden3. Den EntwicklerInnen solcher Klassifizierungsalgorithmen kann keine Absicht unterstellt werden. Doch müssen die Systeme vor deren Anwendung ausführlicher getestet werden. Derartige Fehleinschätzungen können schließlich tiefgreifend verletzend sein, aber auch Rassismus und Sexismus befeuern. Eklatante Beispiele aus dem Film untermauern indes die Notwendigkeit, die Lernverfahren und Anwendungen von Algorithmen zu regulieren, und zwar im gesellschaftlichen Interesse. So entwickelte Microsoft’s Twitter Bot Tay etwa verstörend rassistische, sexistische und gewaltverherrlichende Ausprägungen – nach nur wenigen Stunden interaktiven Lernens mit Menschen in Internetchats4. Ein Paradebeispiel für einen fehlgeschlagenen Trainingsprozess mit potenziell verheerenden Folgen.

Der Trailer zum Dokumentarfilm „Coded Bias“. Quelle: https://www.codedbias.com/about

Eine andere Szene in Coded Bias zeigt London: Polizeiliche Überwachung von Menschen auf öffentlichen Plätzen mittels Gesichtserkennungssoftware. Wer sein Gesicht verbirgt, muss eine Strafe zahlen, und unschuldige Passanten werden aufgrund von Fehlzuordnungen der Software in Polizeikontrollen verwickelt und augenscheinlich verunsichert. Dagegen inszeniert sich die NGO Big Brother Watch: Sie veranstaltet Kampagnen gegen die Einschränkung von Privatsphäre durch polizeiliche Videoüberwachung. 

Der Film zeigt, dass in China öffentliche Überwachung und die Einführung eines individuellen sozialen Punktesystems zur Bewertung aller Einwohner längst zur Tagesordnung gehören. Die Studentin Wei Su begrüßt die Maßnahmen, zumal ihr der Social Score eines anderen Menschen unmittelbar vielfältige Informationen bereitstelle: Ist die Person vertrauenswürdig, ist sie zuverlässig und kommt vielleicht sogar als potentieller Partner in Frage? Über all dies müsse sie sich nun keine Gedanken mehr machen.

Die Überwachungsproblematik kommentiert Amy Webb, Professorin für Strategische Zukunftsplanung an der New York University, indem sie vor einer leichtfertigen Verurteilung Chinas als Überwachungsstaat warnt. Der Westen unterscheide sich diesbezüglich nicht wesentlich von China, da durch Privatunternehmen ebenfalls individuelle Profile erstellt und personalisierte Werbung geschaltet würden. Der entscheidende Unterschied zwischen den Vereinigten Staaten und China sei jedoch, so Amy Webb, dass China das Profiling und die Datenaufzeichnung transparent gestalte.

Mit individualisierten Profilen in sozialen Medien – erstellt aus dem Such-, Surf- und Kaufverhalten sämtlicher NutzerInnen – lässt sich offenkundig einiges bewerkstelligen: Ein prominentes Beispiel dafür ist personalisierte Werbung, welche erst durch die massive Datenverarbeitungskapazität maschineller Lernverfahren möglich wird. Das mag auf den ersten Blick nicht tragisch klingen. Profitieren die NutzerInnen von gezielten Werbeschaltungen nicht etwa, indem ihnen die zu ihrem Kaufverhalten passenden Produkte angeboten werden? Was aber, wenn NutzerInnen maßgeschneiderte Werbung angezeigt wird, die gezielt deren Schwächen ausnutzt und somit zu unkontrolliertem Kaufverhalten führt? Tatsächlich werden dabei dieselben psychologischen Mechanismen bedient, die sich auch im Glücksspiel als besonders erfolgreich erwiesen haben, um SpielerInnen möglichst lange zu binden. 

Sogar Wahlen wurden durch gezielte und niederschwellige Hinweise auf Facebook systematisch beeinflusst, was der Film anhand des Falls um Cambridge Analytica demonstriert. Cambridge Analytica betrieb damit Microtargeting, was übrigens auch ein Jahr nach der Filmpremiere von Coded Bias im Bundestagswahlkampf 2021 Anwendung fand: Alle im Bundestag vertretenen Parteien ließen einzelnen WählerInnen gezielte Informationen zukommen, teilweise sogar mit widersprüchlichen Aussagen5.

Der Film Coded Bias veranschaulicht ein fundamentales Problem maschineller Lernverfahren in Form der verfügbaren Daten. Darüber hinaus wird der Missbrauch derartiger Algorithmen für gesellschaftsschädigende Zwecke problematisiert. Solange die Trainingsdaten nur einen Bruchteil der Weltbevölkerung repräsentieren, werden Algorithmen weiterhin verzerrte Ergebnisse liefern. Das Riskante daran ist, dass sich selbst EntwicklerInnen dieser Systeme häufig vorab keine Vorstellungen über die möglichen Biases machen können und dass maschinelle Lernverfahren im großen Stil genutzt werden können, um Individuen in ihren Entscheidungen zu beeinflussen.

Fußnoten
5

Die Gegenkontrolle mit einer schwarzen Maske fehlt hier allerdings und auch die Lichtverhältnisse, unter denen Joy Buolamwinis Gesicht nicht erkannt wird, sind zugegebenermaßen bescheiden. Die Schwierigkeit, schwarze Gesichter zu erkennen, kann unter suboptimalen Lichtverhältnissen aufgrund geringerer Kontraste auch rein technisch größer sein. Das ließe sich mit ausreichend Trainingsdaten jedoch lösen.

Ein ähnliches Problem wurde jüngst in der Klassifizierung anzüglicher Inhalte auf Bildern beschrieben. Dabei wurden Bilder, auf denen Frauen abgebildet waren, unverhältnismäßig häufiger als anzüglich klassifiziert als Bilder, auf denen Männer abgebildet waren.

Facebook-Nutzer, die sich ein Video ansahen, das schwarze Männer zeigte, wurden anschließend von einer KI-basierten Empfehlungssoftware gefragt, ob sie „weitere Videos über Primaten“ sehen wollen. 

Amy Tennery, Gina Cherelus: Microsoft’s AI Twitter bot goes dark after racist, sexist tweets. In. Reuters. 24. März 2016, abgerufen am 06. Juli 2023.   

Re-Web

Eingeschränkter Zugang
Eingeschränkter Zugang bedeutet, dass das Material nicht ohne weiteres öffentlich zugänglich ist.
Verwandte Artikel

Das Massachusetts Institute of Technology (MIT) ist eine private Technische Hochschule in Cambridge im US-Bundesstaat Massachusetts. Sie wurde 1861 gegründet und gilt als eine der besten Hochschulen der Vereinigen Staaten.

Ein statistisches Modell, das auf Trainingsdaten beruht. Aus diesen Daten lernt das Modell Entscheidungsregeln abzuleiten, indem es die Daten als Eingabe (input) erhält, diese verarbeitet (processing) und schließlich eine Ausgabe (output) produziert. Während des Trainings wird die Modellausgabe mit dem gewünschten Ergebnis verglichen. Bei Abweichung erfolgt eine Aktualisierung des Modells, sodass es beim nächsten Mal eher die richtige Antwort produziert. Sobald ein Modell trainiert wurde, kann es auf neue Daten angewandt werden, indem es diese als Eingabe erhält und idealerweise korrekte Vorhersagen als Ausgabe generiert.

Im maschinellen Lernen wird ein Bias als Vorannahme verstanden, unter welcher eine Aufgabe betrachtet wird. Derartige Vorannahmen sind notwendig, um Algorithmen zu entwickeln, die ein spezifisches Problem lösen sollen. Falsche Vorannahmen hingegen können die Lösung eines Problems unmöglich machen.

Als plakatives Beispiel: Ein Algorithmus soll Gesichter auf beliebigen Bildern detektieren und wird unter der (falschen) Annahme trainiert, dass Gesichter auf Bildern immer biometrisch abgebildet sind. Der Algorithmus bekommt also ausschließlich Bilder gezeigt, auf denen die Gesichter zentriert und nach einer Norm ausgerichtet sind. Schlussendlich hat dieser Algorithmus keine Möglichkeit, Gesichter robust auf nicht-biometrischen Bildern zu erkennen, da sie nicht in das Muster biometrischer Bilder passen, mit denen er trainiert wurde.

Tay („thinking about you“, deutsch „über Dich denkend“) war ein Chatbot von Microsoft, der eine 19-jährige Amerikanerin darstellen und sich im Dialog mit Nutzern auf Twitter ständig weiterentwickeln sollte. Nachdem Tay im März 2016 online ging, stellte Microsoft den Dienst nach lediglich 16 Stunden wieder ein, da Tay fragwürdige Tendenzen und Charakteristika entwickelt hatte. Microsoft begründete dies mit einem vermeintlichen Angriff auf den Chatbot, bei dem Tay mit großen Mengen rassistischer, sexistischer und gewaltverherrlichender Inhalte gefüttert worden sein soll.

Das Datenanalyse-Unternehmen Cambridge Analytica wurde 2014 gegründet. Es meldete vier Jahre später Insolvenz an, nachdem dessen Einflussnahme auf Wahlkämpfe in den Vereinigten Staaten und Großbritannien aufgedeckt wurde. Das Unternehmen spezialisierte sich auf die Sammlung und Auswertung von Daten potentieller Wähler, um maßgeschneiderte Werbung auszuspielen.

Microtargeting bezeichnet eine Marketingstrategie, bei der durch Analyse großer Datenmengen versucht wird, die genaue Zielgruppe anzusprechen und deren Einstellung und Verhalten zu beeinflussen.

Diskussionen
0 Kommentare
Es gibt neue Kommentare!
Te.ma befindet sich im Archiv-Modus und daher ist die Kommentarfunktion deaktiviert.

Noch keine Kommentare

te.ma sammelt keine Cookies. Um mit der Allgemeinen Datenschutzgrundverordnung (DSGVO) übereinzustimmen, müssen wir dich aber informieren, dass von uns eingebundene externe Medien (z.B. von YouTube) möglicherweise Cookies sammeln. Mehr dazu in unserer Datenschutzerklärung.