Bei dem Versuch, ihr Gesicht im Kamerabild eines Computers mithilfe einer Gesichtserkennungssoftware zu erfassen, sieht sich die MIT-Informatikstudentin Joy Buolamwini mit Rassismus konfrontiert. Als sie in die Kamera blickt, wird ihr Gesicht nämlich nicht erkannt (Abbildung, links). Sobald Joy Buolamwini jedoch eine weiße Maske vor ihr Gesicht hält, detektiert der Algorithmus die Position und Ausrichtung von Augen, Mund und Nase anstandslos1 (Abbildung, rechts). Joy Buolamwini untersucht die Gesichtserkennungssoftware weiterer Konzerne und stellt fest: Die rassistische Tendenz des Algorithmus ist kein Einzelfall. Dienste von Google, Microsoft und IBM machen bei schwarzen Menschen deutlich mehr Fehler als bei weißen Menschen2.

Auf der Suche nach einer Ursache für derartige Fehler identifiziert Joy Buolamwini Verzerrungen durch Voreingenommenheit, sogenannte Biases in den Daten. Gewisse Biases sind für das Training maschineller Lernverfahren unerlässlich, da derartige Algorithmen nur unter sinnvollen Vorannahmen zu guten Ergebnissen kommen können. Die Daten-Biases, um die es in Shalini Kantayyas Dokumentarfilm Coded Bias geht, sind jedoch unerwünscht. Denn in den Datensätzen sind Bilder mit schwarzen Gesichtern verglichen mit Bildern weißer Gesichter unterrepräsentiert. Dieses Ungleichgewicht lässt sich darin begründen, dass im Internet möglicherweise mehr Bilder von weißen als von schwarzen Menschen kursieren. Als Konsequenz werden die Algorithmen auf wesentlich mehr Bildern weißer Menschen trainiert und können diese folglich auch besser erkennen.

Die Ursache liegt also in den Daten, mit denen die Gesichtserkennungssysteme trainiert werden, und nicht in den Algorithmen selbst. Denn Letztere reproduzieren lediglich Muster aus den Trainingsdaten. Sobald die Daten eine (ungerechte) Tendenz enthalten, werden auch die Algorithmen diese Tendenz im Verlauf des Trainings mit großer Sicherheit ausbilden. Das kann dazu führen, dass schwarze Gesichter schlechter erkannt werden. Konkret problematisch wird das spätestens dann, wenn Haustürschlüssel oder Entsperrungscodes von Smartphones durch Gesichtserkennung ersetzt werden.

Als besonders bizarr schildert der Film eine Serie von Vorfällen, in denen schwarze Menschen in Videos mit Gorillas und Primaten gleichgesetzt wurden3. Den EntwicklerInnen solcher Klassifizierungsalgorithmen kann keine Absicht unterstellt werden. Doch müssen die Systeme vor deren Anwendung ausführlicher getestet werden. Derartige Fehleinschätzungen können schließlich tiefgreifend verletzend sein, aber auch Rassismus und Sexismus befeuern. Eklatante Beispiele aus dem Film untermauern indes die Notwendigkeit, die Lernverfahren und Anwendungen von Algorithmen zu regulieren, und zwar im gesellschaftlichen Interesse. So entwickelte Microsoft’s Twitter Bot Tay etwa verstörend rassistische, sexistische und gewaltverherrlichende Ausprägungen – nach nur wenigen Stunden interaktiven Lernens mit Menschen in Internetchats4. Ein Paradebeispiel für einen fehlgeschlagenen Trainingsprozess mit potenziell verheerenden Folgen.

Eine andere Szene in Coded Bias zeigt London: Polizeiliche Überwachung von Menschen auf öffentlichen Plätzen mittels Gesichtserkennungssoftware. Wer sein Gesicht verbirgt, muss eine Strafe zahlen, und unschuldige Passanten werden aufgrund von Fehlzuordnungen der Software in Polizeikontrollen verwickelt und augenscheinlich verunsichert. Dagegen inszeniert sich die NGO Big Brother Watch: Sie veranstaltet Kampagnen gegen die Einschränkung von Privatsphäre durch polizeiliche Videoüberwachung. 

Der Film zeigt, dass in China öffentliche Überwachung und die Einführung eines individuellen sozialen Punktesystems zur Bewertung aller Einwohner längst zur Tagesordnung gehören. Die Studentin Wei Su begrüßt die Maßnahmen, zumal ihr der Social Score eines anderen Menschen unmittelbar vielfältige Informationen bereitstelle: Ist die Person vertrauenswürdig, ist sie zuverlässig und kommt vielleicht sogar als potentieller Partner in Frage? Über all dies müsse sie sich nun keine Gedanken mehr machen.

Die Überwachungsproblematik kommentiert Amy Webb, Professorin für Strategische Zukunftsplanung an der New York University, indem sie vor einer leichtfertigen Verurteilung Chinas als Überwachungsstaat warnt. Der Westen unterscheide sich diesbezüglich nicht wesentlich von China, da durch Privatunternehmen ebenfalls individuelle Profile erstellt und personalisierte Werbung geschaltet würden. Der entscheidende Unterschied zwischen den Vereinigten Staaten und China sei jedoch, so Amy Webb, dass China das Profiling und die Datenaufzeichnung transparent gestalte.

Mit individualisierten Profilen in sozialen Medien – erstellt aus dem Such-, Surf- und Kaufverhalten sämtlicher NutzerInnen – lässt sich offenkundig einiges bewerkstelligen: Ein prominentes Beispiel dafür ist personalisierte Werbung, welche erst durch die massive Datenverarbeitungskapazität maschineller Lernverfahren möglich wird. Das mag auf den ersten Blick nicht tragisch klingen. Profitieren die NutzerInnen von gezielten Werbeschaltungen nicht etwa, indem ihnen die zu ihrem Kaufverhalten passenden Produkte angeboten werden? Was aber, wenn NutzerInnen maßgeschneiderte Werbung angezeigt wird, die gezielt deren Schwächen ausnutzt und somit zu unkontrolliertem Kaufverhalten führt? Tatsächlich werden dabei dieselben psychologischen Mechanismen bedient, die sich auch im Glücksspiel als besonders erfolgreich erwiesen haben, um SpielerInnen möglichst lange zu binden. 

Sogar Wahlen wurden durch gezielte und niederschwellige Hinweise auf Facebook systematisch beeinflusst, was der Film anhand des Falls um Cambridge Analytica demonstriert. Cambridge Analytica betrieb damit Microtargeting, was übrigens auch ein Jahr nach der Filmpremiere von Coded Bias im Bundestagswahlkampf 2021 Anwendung fand: Alle im Bundestag vertretenen Parteien ließen einzelnen WählerInnen gezielte Informationen zukommen, teilweise sogar mit widersprüchlichen Aussagen5.

Der Film Coded Bias veranschaulicht ein fundamentales Problem maschineller Lernverfahren in Form der verfügbaren Daten. Darüber hinaus wird der Missbrauch derartiger Algorithmen für gesellschaftsschädigende Zwecke problematisiert. Solange die Trainingsdaten nur einen Bruchteil der Weltbevölkerung repräsentieren, werden Algorithmen weiterhin verzerrte Ergebnisse liefern. Das Riskante daran ist, dass sich selbst EntwicklerInnen dieser Systeme häufig vorab keine Vorstellungen über die möglichen Biases machen können und dass maschinelle Lernverfahren im großen Stil genutzt werden können, um Individuen in ihren Entscheidungen zu beeinflussen.