Ist das die Technik, die wir wollen? Ist das die Gesellschaft, die wir wollen?

Wenn Entwickler*innen in der Trainingsphase eines KI-Modells mit einer Datengrundlage arbeiten, die Verzerrungen enthält, kommt es auch im Ergebnis zu Verzerrungen. Das kann folgenreich sein. „Bias in, bias out“ bringt diesen Umstand als häufig genannte Erklärformel für KI-vermittelte Diskriminierungen auf den Punkt.1 Sie nennt damit nur eine von vielen Möglichkeiten, wie sich Diskriminierungen in KI-Modellen und -Anwendungen niederschlagen können. Weitere Ursachen liegen etwa in den zugrundeliegenden Annahmen, ungenauen oder problematischen Zielvorgaben, mehrdeutigen Daten und unzureichenden Vorgaben hierzu oder auch in einer Fehlinterpretation der Ergebnisse.2

Verkürzte Erklärformeln wie „bias in, bias out“ reduzieren Komplexität und verweisen zugleich auf sie: Wir leben in Gesellschaften, die von diskriminierenden Stereotypen und Strukturen geprägt sind. Sie zeigen sich in allen Bereichen unseres Lebens und Wirkens – auch in KI-Modellen und -Anwendungen. Diese Erkenntnis ist wichtig, da sie uns vor Augen führt, dass wir es mit übergeordneten Problemen und Missständen zu tun haben. Diese können wir nicht alleine dadurch auflösen, dass wir an den technischen Komponenten von KI-Verfahren schrauben. Das zeigt sich beispielsweise am Ansatz von Fairness-Metriken, die vielfach als eine Möglichkeit gelten, um gerechtere KI-Modelle und -Anwendungen zu entwickeln.

Grenzen der Messbarkeit

Fairness-Metriken folgen dem Konzept, Fairness in Form konkreter Ausprägungen quantitativ zu erfassen und messbar zu machen. Die Idee dahinter besteht im Kern daraus, dass bestimmte Datenpunkte gleichbehandelt werden. Hinter diesen Datenpunkten stehen dann – so die Annahme – Menschen, die ebenfalls gleichbehandelt werden sollen. Die genaue Definition von Fairness und die Frage, auf welche Datenpunkte sie sich bezieht, richtet sich unter anderem nach der jeweiligen Aufgabe, die ein KI-System erfüllen soll. Außerdem entsteht sie in Verbindung mit der Datengrundlage, die für das Lösen der Aufgabe genutzt werden soll. Bei einer KI-Software, die Bewerbungen nach Eignung filtert, könnte das Anliegen zum Beispiel sein, dass Bewerbungen von Menschen mit gleichen oder gleichwertigen Qualifikationen zum gleichen Ergebnis führen – beispielsweise zu der Empfehlung, diese Personen zum Bewerbungsgespräch einzuladen. Hier liegt das Ziel zugrunde, die individuelle Fairness zu stärken. Das mit einer Fairness-Metrik verbundene Anliegen kann aber auch sein, eine Form von Gruppenfairness zu stärken, also beispielsweise gleich viele weibliche und männliche Bewerber*innen in den Empfehlungen zu erzielen. In der Regel ist es nicht möglich, verschiedene Fairness-Konzepte in einer Metrik sinnvoll miteinander zu verbinden.3

In diesen Beschreibungen zeigen sich gleichermaßen erste Möglichkeiten wie auch einige Grenzen, die mit solchen Metriken verbunden sind. Dazu zählt, dass die zugrunde liegenden Definitionen von Fairness sehr lückenhaft sind und lediglich Ausprägungen von Daten betreffen. Die damit einhergehenden Annahmen bleiben dabei unreflektiert wie etwa die eines binären Geschlechtssystems, das nur Frauen und Männer kennt und keine Wechsel zwischen den Geschlechtsidentitäten zulässt, oder auch Annahmen darüber, welche Qualifikationen als gleichwertig gelten. Fairness-Metriken können auch die Tatsache nicht auflösen, dass sich bestimmte Ausprägungen wie Hautfarbe und Geschlecht nicht nur aus Datenpunkten ablesen lassen, die diese explizit darstellen, sondern auch aus Daten, die damit in Verbindung stehen können. 

Solche Herausforderungen steigen tendenziell mit der Komplexität der Systeme und weisen einen Zusammenhang mit ihrer Funktionsweise auf. Generative Basismodelle, die etwa Teil von Anwendungen wie ChatGPT sind, arbeiten beispielsweise mit ungelabelten Daten. Aussagekräftige Informationen zur Datengrundlage und den darin enthaltenen Informationen sind damit nicht vorhanden.4 Rückschlüsse über folgenreiche Verzerrungen in den Datengrundlagen und Ansatzpunkte, um die Gleichbehandlung von Datenpunkten festzustellen, sind daher kaum möglich. Es findet sich hier also kein sinnvoller Anknüpfungspunkt für reduzierte Prüfverfahren wie gängige Fairness-Metriken. Für solche Modelle sind neue Ansätze nötig.5

Auch bei weniger komplexen KI-Modellen können Fairness-Metriken nur einen Ansatz von mehreren darstellen, um zu faireren KI-Systemen zu gelangen. Das äußern Forscher*innen, die an Fairness-Metriken arbeiten, wie Carla Pizzi, ehemals Mitarbeiterin am Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC. Sie empfiehlt, darüber hinaus auch an der Sensibilisierung der Entwickler*innen zu arbeiten, den interdisziplinären Austausch zu stärken und Limitationen von Systemen nachvollziehbar zu machen.6 Denn kein Modell und keine Anwendung ist repräsentativ für alle Menschen oder Einsatzkontexte.

Grenzen der Regulierbarkeit

Umfassende Maßnahmen sind auch deshalb notwendig, weil bestehende Gesetze wie das Allgemeine Gleichbehandlungsgesetz (AGG) bei KI-vermittelten Diskriminierungen an ihre Grenzen kommen. Es basiert auf Nachweispflichten, die im Zusammenhang mit KI-Systemen schwer zu erbringen sind. Denn Transparenz fehlt in Bezug auf die Datengrundlage, die Funktionsweise und den Einsatz von KI-Verfahren: Häufig wissen wir nicht, ob und wie es zu KI-vermittelten Diskriminierungen kommt. Das liegt einerseits daran, dass die genauen Vorgehensweisen von KI-Modellen an sich nicht überprüfbar sind, und andererseits daran, dass grundsätzlich bestehende Informationen – etwa zur Datengrundlage oder dem Trainingsprozess – für Nutzer*innen und Betroffene meist nicht zugänglich sind. Hinzu kommt, dass einzelne Personen KI-vermittelte Diskriminierungen über das Ergebnis meist nicht erkennen können. Diskriminierungen werden häufig erst beim Vergleich vieler Ergebnisse, die in Verbindung mit den Eingabedaten gesetzt werden, erkennbar. Deshalb ist es wichtig, dass sich etwas daran ändert, wie Diskriminierungen, die in Verbindung mit dem KI-Einsatz stehen, nachzuweisen sind, um rechtlich gegen sie vorgehen zu können. Genauso spielen Transparenzmaßnahmen eine Rolle. Hier werden unter anderem Dokumentationspflichten und Methoden der erklärbaren KI diskutiert, die dabei helfen sollen, dass wir die Funktionsweise eines KI-Systems besser nachvollziehen können.7

An die Seite bestehender Gesetze treten voraussichtlich neue Regulierungen wie die KI-Verordnung, die derzeit im Trilog zwischen Europäischem Parlament, dem Rat der Europäischen Union und der Europäischen Kommission verhandelt wird. Im Haupttext des Verordnungsentwurfs der Europäischen Kommission lässt sich nicht erkennen, wie Diskriminierungen genau vermieden werden können. Etwas mehr steht in den sogenannten Erwägungsgründen. Sie sind der Verordnung beigefügt, haben jedoch keine bindende Kraft. Sie können aber dabei helfen, einzelne Auflagen zu beurteilen. Insgesamt sind vor allem drei Hebel zu nennen, die dabei unterstützen können, faireren KI-Systemen etwas näherzukommen. Dazu zählen Maßnahmen zur Sicherung der Datenqualität, zur Förderung von Transparenz und zur menschlichen Aufsicht. Sie gelten für Hochrisiko-Systeme, worunter beispielsweise KI-Systeme zur biometrischen Echtzeitüberwachung fallen. Um die Datenqualität zu sichern, formuliert der Entwurf die Anforderung, dass Daten fehlerfrei und vollständig sein sollen, wobei das in Abhängigkeit zur Zweckbestimmung der jeweiligen Systeme steht. Die Einsatzzwecke müssten demnach feststehen und bekannt sein. Die Daten sollen laut Entwurf zudem repräsentativ sein. Um mehr Transparenz herzustellen, sollen in einer Art digitaler Gebrauchsanweisung „präzise, vollständige, korrekte und eindeutige Informationen“8 zur Verfügung gestellt werden. Was damit gemeint ist, ist nicht genauer ausgeführt. Diese Informationen sollen die Voraussetzungen schaffen, um menschliche Aufsicht durch dafür geschultes Personal zu gewährleisten. Damit ist das Ziel verbunden, unter anderem Grundrechtsverletzungen besser erkennen zu können. Die zuständigen Personen sollen hierfür die Funktionsweise und Grenzen der Systeme verstehen. Die Maßnahmen greifen nicht bei Systemen, die fernab des definierten Hochrisikobereichs liegen. Ob sie tatsächlich dazu beitragen können, Diskriminierungen im Zusammenhang mit KI-Verfahren zu begegnen, hängt unter anderem davon ab, wie die letztliche Verordnung nach den Trilogverhandlungen tatsächlich aussieht, wie die damit verbundenen Pflichten formuliert und in Dokumentationsprozesse, Standards und Prüfungen übersetzt werden.9

Wenig berücksichtigte Ansätze

Zu einem umfassenden Verständnis von KI-vermittelten Diskriminierungen und Wegen zu mehr Fairness gehört, dass wir solche Diskriminierungen besser verstehen und systematischer erfassen. Dafür müssen wir denen zuhören, die Diskriminierungen erfahren. Ihre Perspektiven finden meist zu wenig Gehör. Vielfach wird versucht, Lösungsstrategien aus dem Blickwinkel der Dominanzgesellschaft heraus abzuleiten. Doch es gibt Möglichkeiten, vielfältigere Perspektiven beim Entwickeln und Einsetzen von KI-Systemen zu berücksichtigen. Das zeigen Beispiele, die bei der Zusammenstellung und Prüfung von Daten ansetzen und bis zu Praxistests einer bestehenden Anwendung reichen. Sie sollen offenlegen, ob beispielsweise eine Bilderkennungssoftware tatsächlich die Bilder unterschiedlicher Menschen mit einer ähnlich geringen Fehlerquote erkennt oder ob bestimmte Ausprägungen eines Merkmals, wie etwa Alter oder Hautfarbe, die Fehlerquote signifikant verändert. Auch Ansätze wie Beschwerdestellen können helfen. Betroffene bringen ihre Erfahrungen ein und machen sie dadurch sichtbar.

Partizipative Designansätze wie die Organisation Masakhane berücksichtigen das. Ihr Ziel ist es, die Forschung zu Sprachverarbeitung für afrikanische Sprachen zu stärken. Sie hat hierfür gemeinsam mit ihren Mitgliedern in einem Teilhabeprozess neue Datensätze für mehr als 30 afrikanische Sprachen generiert.10 Die Teilnehmer*innen legten als Sprachangehörige selbst fest, wann eine Übersetzung zutreffend war und wann nicht. Der Forschungsprozess und das Vorgehen an sich wurden ebenfalls gemeinschaftlich bestimmt. Auf diese Weise entstand neben den neuen Datensätzen auch die Möglichkeit, neue KI-Modelle oder -Anwendungen aufzubauen, die für diese Sprachgemeinschaften funktionieren.11

Auch das Prüfen von KI-Systemen auf folgenreiche Verzerrungen und Diskriminierungen kann teilhabebasiert erfolgen. Darin liegt die Chance, Benachteiligungen und Ungerechtigkeiten aus der Perspektive vieler zu beurteilen. Ein Team um die Forscher*innen Joy Buolamwini, Camille François und Sasha Constanza-Shock erprobte das beispielsweise im Projekt Community Reporting of Algorithmic System Harms (CRASH)12. Sie untersuchten, ob Meldeverfahren aus dem Bereich der Sicherheitsprüfungen sich sinnvoll auf folgenreiche Verzerrungen und daraus resultierende Schäden übertragen lassen. 

Bug-Bounty-Programme kommen ursprünglich zum Einsatz, um Sicherheitslücken in Software durch eine Community aufzudecken, die diese meldet und beispielsweise eine Prämie dafür erhält. Es bestehen Möglichkeiten, solche Vorgehensweisen auch auf folgenreiche Verzerrungen und Diskriminierungen zu übertragen. Die Forscher*innen dokumentieren, dass Meldeverfahren für KI-vermittelte Diskriminierungen am hilfreichsten sind, wenn sie neben technischen auch mit der Technik zusammenhängende soziale  Faktoren erfassen, die in Bezug auf die jeweilige Anwendung eine Rolle spielen. Zudem ist es bedeutsam, dass der gesamte Lebenszyklus einer KI-Anwendung berücksichtigt wird. Die Forscher*innen fordern, dass Untersuchungen zu teilhabebasierten Ansätzen gefördert und die daraus abgeleiteten Ergebnisse veröffentlicht werden.13

Auf dem Weg zu fairerer KI?

Wer sich mit algorithmen- und KI-vermittelten Diskriminierungen auseinandersetzt, stellt schnell fest, dass wir in Bezug auf umfassende Lösungsansätze und -strategien noch nicht allzu weit vorangekommen sind. Das hat unterschiedliche Gründe. Einer liegt darin, dass wir KI-Modelle und -Anwendungen als Lösungen für sehr umfassende und komplexe Aufgaben sehen – manchmal gar für gesellschaftliche Probleme, wie sich das in manchen Auseinandersetzungen mit Green Tech ablesen lässt. Dabei schenken wir häufig weder ihren Limitationen den notwendigen Raum noch ihren Funktionsweisen. Ein weiterer Grund liegt darin, dass wir unterkomplexe Lösungen für komplexe Probleme wie KI-vermittelte Diskriminierungen suchen und sie teilweise als umfassende Lösungen behandeln. Darüber hinaus sind Diskriminierungen und dafür notwendige Strukturen ein so fester Bestandteil unserer Gesellschaften, dass wir sie nicht mehr wahrnehmen und deshalb häufig der Schlussfolgerung obliegen – geprägt von den vorherrschenden Perspektiven privilegierter Menschen als Norm –, sie mithilfe von ein paar Stellschrauben beseitigen zu können. Nicht zuletzt lösen wir dabei fortlaufend Technik und damit auch KI-Modelle von uns Menschen und unseren gesellschaftlichen Strukturen ab.

Ansätze, die Diskriminierungen beim Entwickeln und Einsetzen von KI-Modellen und -Anwendungen umfassend begegnen sollen, müssen mit einer Vielzahl verschiedener Maßnahmen arbeiten. Diese setzen auch an den strukturellen Problemen in unseren Gesellschaften an, die unter anderem auf Machtgefällen und globalen Ausbeutungsstrukturen basieren. Auf dieser Basis lassen sich dann Ansätze ergänzen, die sich auf die Besonderheiten von KI-Systemen im Allgemeinen beziehen sowie ihre Funktionsweisen und die jeweiligen Anwendungskontexte im Speziellen berücksichtigen. Eine pauschale Lösung gibt es nicht.

Jaana Müller-Brehm ist Autorin des Magazins „Missing Link“ des Zentrums für vertrauenswürdige Künstliche Intelligenz (ZVKI). Es liefert einen Überblick zu Perspektiven aus Wissenschaft, Politik, Zivilgesellschaft und Wirtschaft auf Kriterien vertrauenswürdiger KI. Wissen und verschiedene Perspektiven rund um das Thema KI sollen darin miteinander verbunden werden, um neue Erkenntnisse zu gewinnen. „Missing Link“ erscheint zweimal jährlich und befasst sich in jeder Ausgabe mit einer zentralen Fragestellung, die im Zusammenhang mit vertrauenswürdiger KI steht.

Die dritte Ausgabe widmet sich KI- und algorithmenvermittelten Diskriminierungen. Das Magazin als PDF und alle weiteren Ausgaben findet ihr unter https://www.zvki.de/zvki-exklusiv/fachinformationen. In der nächsten Ausgabe, die im Herbst 2023 erscheint, blicken Jaana Müller-Brehm und ihre Kolleginnen und Kollegen durch die Brille der Nachhaltigkeit auf komplexe KI-Modelle, sogenannte „foundation models“ und generative KI.