Als Timnit Gebru, Margaret Mitchell und vier weitere Kolleg*innen aus Googles KI-Ethikabteilung 2020 mit der Arbeit an diesem Paper begannen, mischten gerade die Vorläufer von ChatGPT das Feld der Computerlinguistik gründlich auf: Sogenannte Transformer-KIs wie GPT und BERT lösten viele linguistische Aufgaben mit Bravour und produzierten Texte, die auf den ersten Blick fehlerfrei und vertrauenswürdig wirkten. Gleichzeitig gab es zu dieser Zeit nur wenig und weit verstreute Forschung zu den Risiken dieser großen Sprach-KIs. 

Um diesen blinden Fleck zu beheben, taten sich die Google-KI-Ethiker*innen mit der Computerlinguistin Emily Bender von der Universität Washington zusammen. Gemeinsam schrieben sie die vorliegende Überblicksarbeit, die aus gut 120 Quellen Berichte über Unzulänglichkeiten großer Sprach-KIs zusammenträgt und dabei nicht an Kritik und Mahnungen zur Vorsicht spart. Am Ende fehlte dem Paper nur noch eine Google-interne Freigabe – reine Routine, die die Verbreitung geheimer Forschungsergebnisse verhindern soll und eigentlich kein Problem für eine reine Literaturarbeit wie diese sein dürfte.

Doch es kam anders: Google verweigerte die Freigabe und behauptete, dass gerade solche Forschung in der Arbeit nicht zu Wort komme, die weniger kritisch auf Sprach-KIs blicke. Daher forderte der Tech-Konzern von Gebru und den anderen Google-Ethiker*innen, ihre Namen von der Veröffentlichung zurückzuziehen. Vier von ihnen folgten der Anweisung und strichen ihre Namen1, doch Gebru und Mitchell weigerten sich und reichten das Paper wie geplant zur Veröffentlichung ein.2 

Über die Details dessen, was dann geschah, gibt es unterschiedliche Darstellungen von Gebru und Google. Fakt ist: Gebru und Mitchell verloren ihre Jobs bei Google. Anwälte wurden eingeschaltet, auf Twitter zog ein Shitstorm auf3 und internationale Medienhäuser berichteten über den Fall.4 Schließlich unterschrieben mehr als 2.500 Google-Mitarbeiter*innen einen offenen Brief, der von „Forschungszensur“ spricht.5 Doch welche Kritikpunkte aus der kontroversen Arbeit führten zu diesem öffentlichkeitswirksamen Zerwürfnis zwischen Google und dem hausinternen Ethik-Team?

Gebru, Bender und Co. bauen ihre Kritik rund um die Feststellung auf, dass moderne Sprach-KIs letztlich nur „stochastische Papageien“ seien: Im übertragenen Sinne plappern sie wie Papageien nur das nach, was sie einmal gelernt haben – ohne tatsächliches Verständnis. Diese Modelle bekommen einen unvollständigen Text und ergänzen ihn um eine plausible Fortsetzung. Das kann ein halbfertiger Satz sein, aber auch eine Anfrage wie „Erkläre mir, wie Quantenphysik funktioniert!“. Ähnlich wie eine Auto-Vervollständigung an der Handytastatur wählt die KI dann das wahrscheinlichste nächste Wort aus und formuliert so Stück für Stück eine Antwort auf unsere Frage. 

Damit das funktioniert, muss die KI vorher ein langes Training mit vielen Millionen Übungstexten absolvieren. In der Praxis sind das Lückentexte. Die KI versucht dann aus dem Kontext zu erschließen, welches Wort in die jeweilige Lücke passt – und lernt so Stück für Stück, welche Wörter oft zusammen auftreten: Gibt es in einem Text ein „einerseits“, folgt darauf fast immer ein „andererseits“. Und wird die Adressatin eines Textes als „Professorin“ betitelt, wird sie meist gesiezt und nicht geduzt. Zusammenhänge wie diese muss die KI allerdings auswendig lernen, also metaphorisch gesprochen eine gigantische Wenn-dann-Tabelle anlegen – von explizitem Verständnis keine Spur. Aber mit einer ausreichend großen Tabelle kann die KI sich die Wortzusammenhänge so genau merken, dass sie erstaunlich gut lesbare Texte produziert – vorausgesetzt, das Training war lang genug.

Hier setzen die Autorinnen mit dem ersten Teil ihrer Kritik an: Zunächst stellen sie fest, dass KI-Training sehr energiehungrig ist und dadurch relevante Mengen klimaschädlicher CO2-Emissionen verursacht. Außerdem schauen sie genauer auf die Texte, die als Basis für die Trainingslückentexte dienen. Die werden oft wenig selektiv aus allen Ecken des Internets zusammengesucht, um möglichst viel Übungsmaterial zu haben – denn diese Texte bilden später die Wissens- und Wertebasis der KI. Das Problem daran: Die KI kann dann nur die Perspektiven liefern, die sie schon aus den Übungstexten kennt. Und die sind mitnichten repräsentativ, weil das Internet selbst es nicht ist: Gebru und Co. verweisen darauf, dass beispielsweise die Plattformen Reddit und Wikipedia von männlichen, weißen Autor*innen dominiert würden.6 Außerdem sei das Übungsmaterial zu umfangreich, um händisch problematische Inhalte zu entfernen. So würde die KI auch mit gewaltverherrlichenden Texten und Fake News trainiert7 – und so in die Lage versetzt, sich später selbst diskriminierend zu äußern oder Verschwörungstheorien zu verbreiten.

Beide Probleme – die klimaschädlichen Emissionen und die Verbreitung einer einseitigen Weltsicht, die Minderheiten nicht repräsentiert – treffen laut Gebru und Co. vor allem Menschen im globalen Süden: Dort richte der Klimawandel schon heute größere Schäden an als in Europa und Nordamerika. Außerdem lebten im globalen Süden die Menschen, die tendenziell eher von Sprach-KIs diskriminiert würden. Noch dazu seien sie oft ärmer als Menschen im globalen Norden und profitierten so auch noch weniger vom Boom der Sprach-KIs, weil sie sich weniger teure Hightech-Produkte wie Amazons Sprachassistentin Alexa leisten können. Somit sind laut Gebru und Co. die positiven und negativen Auswirkungen von KI global ungerecht verteilt.

Der zweite Teil des Papers richtet sich auf ein eher philosophisches Problem: nämlich dass Sprach-KIs aus der Sicht der Autorinnen zwar erfolgreich Verständnis vortäuschen können, aber nie wirklich etwas verstehen. Das liege im Kern daran, dass trainierte Sprach-KIs zwar die linguistische Form beherrschen, also Buchstaben, Wörter und Sätze, aber ihnen die Bedeutungsebene, also der Zugang zur physikalischen Welt, völlig fehlt.

Diesen Teil des Papers prägt Ko-Autorin Emily Bender. Sie hat diesen Punkt in einem vorherigen Paper8 bereits mit einem Gedankenexperiment illustriert: Zwei Personen, A und B, befinden sich auf zwei einsamen Inseln und kommunizieren über ein Unterseekabel. Unbemerkt von A und B hört ein hyperintelligenter Oktopus das Kabel ab. Dieser kann durch langes Mithören lernen, was typische Antworten von B auf typische Fragen von A sind. Das entspricht dem Training einer Sprach-KI. Wie die KI kennt der Oktopus weder menschliche Sprachen noch das Leben an Land, kann aber die statistischen Muster der Nachrichten zwischen A und B reproduzieren. Könnte der Oktopus nun Mensch B ersetzen und A so antworten, dass es A nicht auffiele?9 Bender sagt: Einfache Fälle, die schon oft im „Training“ vorkamen (A: „Wie geht es dir?“), könnte der Oktopus sicherlich beantworten („Gut, danke!“). Schwieriger wird es in Situationen (A: „Ich habe eine Schatzkarte gefunden!“). Hier könnte der Oktopus – der weder weiß noch versteht, was eine Schatzkarte ist – eine generische Antwort geben („Oh wow, und nun?“). A würde das laut Bender für eine akzeptable Reaktion halten und dem Oktopus ganz automatisch zuschreiben, dass er die Bedeutung des Wortes „Schatzkarte“ verstanden hat. Der Clou: Dieses „Verstehen“ findet nicht wirklich statt, sondern wird allein von A konstruiert – aber von A selbst als vollwertiges Verständnis empfunden. 

Bender argumentiert, dass solche „sozialen Halluzinationen“10 auch bei Nutzer*innen von Sprach-KIs auftreten: Weil wir so daran gewöhnt sind, Sprecher*innen und Schreiber*innen von natürlicher Sprache Intentionen und Verständnis zuzuschreiben, können wir kaum anders, als das bei Texten eines Chatbots ebenfalls zu tun. Und das, obwohl die aktuellen Sprach-KIs nur „stochastische Papageien“ sind, die aus der theoretischen Sicht Benders kein wirkliches Verständnis für Bedeutungen oder eigene Intentionen entwickeln können. Stattdessen lernen sie nur, beides vorzutäuschen.

Für Gebru, Bender und Co. ergeben sich aus dieser fragwürdigen Zuschreibung von Verständnis und Intentionen zwei weitere große Kritikpunkte. Erstens: Wenn die computerlinguistische Forschung deswegen nun glaube, mit Sprach-KIs wirklich den heiligen Gral des sprechenden Computers gefunden zu haben, würden unvermeidlich viele Ressourcen in die weitere Erforschung dieses Phänomens investiert werden – Ressourcen, die dann fehlen, um andere Ansätze zu verfolgen und gänzlich neue Systeme zu entwickeln, die tatsächliches Verständnis entwickeln könnten.11

Zweitens ergeben sich aber auch ganz praktische Gefahren, wenn „stochastischen Papageien“ tatsächliches Verständnis und Intentionen zugeschrieben werden und viele Menschen solche Sprach-KIs verwenden. Gebru, Bender und Co. meinen, dass Leser*innen eines Textes intuitiv die Vertrauenswürdigkeit des*der Autors*in beurteilten: Menschen gingen dabei oft implizit davon aus, dass Autor*innen für ihre Texte auch Verantwortung übernehmen. Darum rechneten die meisten Leser*innen in einem Text mit vielen wahrheitsgemäßen und unverdächtigen Aussagen nicht damit, dass plötzlich eine glatte Lüge oder ein rassistisches Stereotyp eingestreut wird.

Genau das kann einer Sprach-KI aber passieren. Ihre Texte sind in den Augen von Bender, Gebru und Co. eben nur eine Aneinanderreihung „wahrscheinlichster nächster Wörter“, ohne Bezug zu Wahrheit, Bedeutung oder gar Verantwortung für Falschaussagen. Auch wenn die Texte der KIs wegen der umfangreichen Übungstexte sehr gut formuliert sind und viel Wahres enthalten: Stochastische Papageien sind gelegentlich gewissenlose Lügner, und menschliche Leser*innen sind so gewöhnt an vertrauenswürdige Texte, dass sie die Lügen nicht durchschauen.

Das alles wird zum Problem, wann immer Sprach-KIs eingesetzt werden: KI-Texte können faktische Fehler oder Fake-News-Narrative enthalten und trotzdem glaubwürdig wirken. Gesprächsverläufe mit Chatbots können Rassismus oder Sexismus aus ihren Übungstexten reproduzieren. Das führt zu Diskriminierung, wenn Sprach-KIs bei Entscheidungen über Mietverträge, Kredite oder Versicherungen unterstützen sollen.

Wie kann man dieser Schwierigkeiten Herr werden? Gebru, Bender und Co. verweisen hier auf ein Grundprinzip beim Training von KIs: „Müll rein, Müll raus!“, sprich: Wer eine KI mit Übungstexten füttert, die neben Qualitätstexten auch Fake News, Hasssprache und Vorurteile enthalten, wird am Ende genau diesen „Müll“ auch in den Texten der KI vorfinden. Daher hilft aus Sicht der Autorinnen nur ein völliges Umdenken beim Training von KIs. Sie fordern, dass die verwendeten Übungstexte sorgfältig ausgewählt, dokumentiert und auch veröffentlicht werden – mit dem Ziel, dass nachvollziehbar ist, welche Autor*innen und Standpunkte in das Training einer KI eingeflossen sind und warum. Viel mehr als bisher sollten auch Betroffene von Diskriminierung und Marginalisierung schon beim Design von KI ins Boot geholt werden, um Perspektiven mitzudenken, die große KI-Unternehmen bisher vernachlässigt haben.

Gebru, Bender und Co. haben in ihrer Übersichtsarbeit schon deutlich vor der Veröffentlichung von ChatGPT dargelegt, welche konzeptionellen und praktischen Risiken von großen Sprach-KIs ausgehen und warum sie tatsächlich „too big“ sein können – nämlich dann, wenn man ihre Trainingsdaten nicht mehr überblicken kann. Sie haben außerdem die Debatte um ein wertvolles Bild bereichert: ein eloquent sprechender Computer, hinter dem doch nur ein nachplappernder Papagei sitzt. Die Autorinnen machen deutlich, dass die Verantwortung für das Verhalten dieser Papageien-KIs bei denen liegt, die sie trainieren. Das sind insbesondere große Tech-Firmen wie Google, Meta und OpenAI. Doch anstatt ihrer Verantwortung nachzukommen und für Transparenz zu sorgen, halten sie zurzeit alle Details zur Auswahl der Übungstexte und zum Training und Aufbau der KIs geheim. Es liegt jetzt an Politik und Gesellschaft zu entscheiden, welche Regeln für Systeme wie ChatGPT gelten sollen, um einen sicheren Einsatz von Sprach-KIs für alle Menschen zu garantieren.