In vielen Bereichen werden zunehmend KI-basierte Syteme für Risikovorhersagen genutzt, die großen Einfluss auf Betroffene haben können.1 So wird in Österreich seit Jahren ein Algorithmus zur Einschätzung von Arbeitsmarktchancen kontrovers diskutiert. Dieser Algorithmus kann auch über den Zugang zu Schulungen entscheiden – und steht in der Kritik, Frauen zu benachteiligen.2 Das eingangs erwähnte US-System COMPAS soll das Rückfallrisiko von Straftätern vorhersagen und kann unter anderem die Härte von Strafmaßen beeinflussen. 

Solche Systeme für Risikovorhersagen teilen Personen auf Basis bestimmter Attribute in Risikokategorien (von niedrig bis hoch) ein, welchen wiederum Wahrscheinlichkeiten zugeordnet werden. Welche Attribute dabei genutzt werden, hängt insbesondere von der Verfügbarkeit von Daten sowie von gesetzlichen Rahmenbedingungen ab. COMPAS beispielsweise nutzt 137 Attribute, die unter anderem Informationen zu Vorstrafen und Wohnverhältnissen beinhalten. 

Um Risikovorhersagen statistisch auszuwerten, wie von ProPublica getan, wird ein „historischer“ Datensatz über tatsächliche Personen benötigt. Dieser muss für jede Person neben den Attributen auch die Information enthalten, ob das vorherzusagende Ereignis eingetreten ist – im Fall von COMPAS, ob die Person innerhalb von zwei Jahren eine weitere Straftat begangen hat. ProPublicas Analyse auf einem historischen Datensatz ergab: Unter den nicht rückfälligen Straftätern wurde Schwarzen durchschnittlich ein höheres Risiko zugeschrieben als Weißen – das erscheint unfair.

Das hier betrachtete Fairness-Kriterium (für Schwarze/Weiße) vergleicht zwei Personengruppen innerhalb eines historischen Datensatzes.3 Der Datensatz kann zusätzlich in eine positive und eine negative Klasse unterteilt werden: Die negative Klasse beinhaltet die Personen, bei denen das vorhergesagte Ereignis nicht eingetreten ist, die also nicht rückfällig geworden sind. Die positive Klasse wiederum umfasst die Personen, bei denen das vorhergesagte Ereignis eingetreten ist, die also rückfällig geworden sind. Das von ProPublica untersuchte Fairness-Kriterium wird dann im Artikel von Kleinberg und Kollegen als Balance der negativen Klasse bezeichnet: Die durchschnittliche Risikovorhersage für nicht rückfällig werdende Straftäter soll innerhalb der beiden Gruppen gleich hoch sein. Analog fordert das Kriterium Balance der positiven Klasse, dass die durchschnittliche Risikovorhersage von rückfälligen Straftätern beider Gruppen gleich hoch sein soll. Nach Kleinberg und Kollegen fassen diese beiden Kriterien die folgende Prämisse: Personen, die das gleiche Verhalten zeigen (rückfällig werden oder nicht), sollten auch gleich behandelt werden, unabhängig von ihrer jeweiligen Gruppenzugehörigkeit. 

Northpointe, die Firma hinter dem COMPAS-System, hob dagegen ein drittes Fairness-Kriterium hervor: Ihre Risikovorhersagen sind auf beiden Gruppen kalibriert. Das bedeutet beispielsweise, dass von den Weißen und Schwarzen, denen ein 60-prozentiges Rückfallrisiko vorausgesagt wird, tatsächlich jeweils 60 Prozent rückfällig werden – dass also von 100 Personen 60 tatsächlich rückfällig werden. Allgemein sind Risikovorhersagen kalibriert, wenn jeder Risikokategorie die korrekte Wahrscheinlichkeit zugeordnet wird. „Korrekt“ bedeutet hier, dass die vorhergesagte Wahrscheinlichkeit dem Anteil der positiven Fälle im betrachteten Datensatz entspricht. Dies entspricht unserem intuitiven Verständnis einer guten Risikovorhersage und stellt laut Kleinberg und Kollegen sicher, dass Vorhersagen für beide Gruppen dasselbe bedeuten. 

Northpointe argumentierte nach dem ProPublica-Report, dass es erfahrungsgemäß kaum möglich sei, die drei Kriterien (Balance der positiven und negativen Klasse sowie Kalibration auf beiden Gruppen) gleichzeitig zu erfüllen. Dass dies nicht nur eine Ausflucht war, wird aus dem Unmöglichkeitssatz von Kleinberg und Kollegen ersichtlich. Tatsächlich können sie nämlich nur unter einer von zwei Extrembedingungen gleichzeitig erfüllt werden, welche jedoch beide sehr unrealistisch sind: Eine Extrembedingung wäre, dass im Datensatz der Anteil der positiven Fälle (also der rückfälligen Straftäter) in beiden Gruppen genau gleich ist, also dass beispielsweise 30 Prozent der Schwarzen und 30 Prozent der Weißen rückfällig werden. Eine solche Übereinstimmung ist aber gerade in Fällen systematischer Benachteiligung von Bevölkerungsgruppen äußerst selten. Die andere Extrembedingung wäre, dass für jede einzelne Person richtig vorhergesagt wird, ob sie rückfällig wird oder nicht, was utopisch ist.4 Während solche Unmöglichkeitssätze meist von beschränkter direkter Relevanz für die Praxis sind, helfen sie, Probleme besser zu verstehen. Im Artikel wird zudem noch eine allgemeinere Version des Satzes gezeigt: Um die drei Kriterien auch nur annähernd zu erfüllen, muss eine der beiden Extrembedingungen ungefähr erfüllt sein.

Wie Kleinberg und Kollegen anmerken, gilt der Unmöglichkeitssatz auch für menschliche Vorhersagen. Algorithmen sind also nicht an sich unfairer als Menschen. Die große Reichweite von Algorithmen macht ihre genaue Prüfung jedoch besonders wichtig5 – auch wenn man nicht fair bezüglich aller wünschenswerten Kriterien sein kann. Welche Fairness-Kriterien sind uns also wichtig? Welche Verfahren sollen überhaupt automatisiert und welche Daten dürfen dafür genutzt werden? Diese und weitere Fragen müssen nicht nur akademisch, sondern insbesondere auch gesellschaftlich diskutiert werden. Auch hierzulande sind diese Debatten aktuell wie nie, beispielsweise in Bezug auf den AI Act der EU6 oder Urteile des deutschen Verfassungsgerichts zu Polizeibefugnissen.7 

Wie ging es nach dem ProPublica-Bericht mit COMPAS weiter? In Wisconsin beispielsweise bestätigte der Supreme Court die Nutzung als rechtmäßig – unter der Bedingung, dabei unter anderem die geäußerten Fairness-Bedenken zu erwähnen.8 Dass auch KI-basierte Algorithmen fehlbar sind und diskriminieren können, sollte bei aller Hoffnung auf objektivere oder genauere Vorhersagen nicht unter den Tisch fallen.