te.ma ist seit dem 01. August 2024 bis auf Weiteres inaktiv und befindet sich im Archiv-Modus. Alle Publikationen sind weiter zugänglich. Der Kommentarbereich ist jedoch abgeschaltet. Bestehende Nutzerkonten bleiben bis 31. Juli 2025 weiter zugänglich, neue Nutzerkonten können nicht mehr angelegt werden. Unser Newsletter wird nicht mehr weiter bespielt.

Über den CO2-Fußabdruck von ChatGPT und Co.

Re-Paper

Über den CO2-Fußabdruck von ChatGPT und Co.

»Energy and Policy Considerations for Deep Learning in NLP«

Inhalte

Intro

Geschrieben von Jan Lause

Bei te.ma veröffentlicht 05.06.2023

te.ma DOI https://doi.org/10.57964/6a95-rm79

Geschrieben von Jan Lause
Bei te.ma veröffentlicht 05.06.2023
te.ma DOI https://doi.org/10.57964/6a95-rm79

Wie sieht eigentlich der CO2-Fußabdruck von KIs aus, und wie berechnet man ihn? Emma Strubell war eine der Ersten, die dieser Frage für den Fall großer Sprach-KIs nachging. Sie fand heraus, dass schon allein das Training von ChatGPT und ähnlichen Modellen für den Klimawandel relevante Mengen CO2 freisetzt. Angesichts des Klimawandels ruft Strubell die KI-Forschungsgemeinschaft auf, statt nur an besserer Leistung endlich auch an der Energieeffizienz der KI-Systeme zu arbeiten.

Das Aufkommen großer Sprachmodelle wie dem Transformer legte 2017 – noch weitgehend unbemerkt von der Öffentlichkeit – den Grundstein für den aktuellen Hype um ChatGPT und ähnliche KIs: Diese Systeme haben nach langem Training mit unzähligen Texten gelernt zu schreiben wie Menschen. Außerdem können sie Weltwissen aus den Übungstexten mit bisher ungekannter Präzision wiedergeben. Das Besondere dabei: Je größer die Systeme sind und mit je mehr Texten sie üben, desto besser funktionieren sie. Und das braucht vor allem eins: viel Strom.

Emma Strubell und ihre Ko-Autor*innen betrachteten schon 2019 mit Sorge, wie Sprachmodelle in Tech-Industrie und Forschung immer größer und damit energiehungriger wurden. Ihr Argument ist einfach: Der Klimawandel verlangt von allen Gesellschaftsbereichen, bis spätestens 2050 klimaneutral zu werden. Dafür sollen schon bis 2030 die Emissionen von heute um die Hälfte sinken. Das passt nicht zusammen mit den exponentiell wachsenden Stromverbräuchen durch KI-Rechenzentren. Strubell hält also der eigenen Branche den Spiegel vor: Solange sauberer Strom aus erneuerbaren Energien an vielen Orten der Welt noch knapp sei, müsse sich jede energieintensive Industrie fragen, ob die grüne Energie nicht für etwas anderes dringender gebraucht wird als für das Training des nächsten Silicon-Valley-Chatbots. Für Strubell war es daher Zeit für eine Bestandsaufnahme, wie groß dieses Problem genau ist.

Dazu untersuchte sie zunächst, wie viel Strom die besonders weit verbreiteten Transformer-KIs verbrauchen, wenn man sie für einen Tag auf einem standardisierten Computer trainieren lässt. Auf Basis des US-Strommix1 konnte Strubell dann hochrechnen, wie viel CO2-Emissionen das vollständige Training eines einfachen Transformers erzeugen würde: knapp 12 kg CO2. Das ist für sich genommen nicht viel.2 Allerdings trainieren KI-Entwickler*innen in der Regel dasselbe Modell tausende Male unter leicht veränderten Umständen, um die optimalen Trainingsbedingungen (die sogenannten Hyperparameter) herauszufinden – häufig durch reines Ausprobieren. 

Den Fußabdruck dieser sogenannten Hyperparametersuche abzuschätzen ist nicht leicht, da sie für jedes KI-System und jede Aufgabe anders verlaufen kann und während der Entwicklung einer KI möglicherweise mehrfach durchgeführt werden muss. Die Forschungsgruppe um Strubell nahm daher die eigenen Aufzeichnungen zu einem vergangenen Projekt als Grundlage, um die Emissionen einer beispielhaften Parametersuche zu beziffern. Für die preisgekrönte Sprach-KI LISA, die die Gruppe 2018 entwickelt hatte, hatten Strubell und Co. insgesamt über 100 Parametersuchen durchgeführt und dabei ihr LISA-Modell fast 5.000 Mal von Grund auf neu trainiert.3 Dabei wurden gut 35.000 kg CO2 emittiert – das entspricht den Jahresemissionen von zwei Menschen, die in den USA leben! Mit einem erheblich komplexeren Verfahren zur Parametersuche4 wurden sogar 280.000 kg CO2 frei – das entspricht in etwa den Emissionen eines US-Amerikaners von seiner Geburt bis zu seinem 18. Geburtstag.

Es ist also nicht nur der einzelne Trainingslauf, der die Emissionen hochtreibt, sondern auch der Umstand, dass während der Entwicklung einer KI eben viele solche Durchläufe ausprobiert werden müssen. Außerdem nehmen Größe und Komplexität der Modelle ständig zu und damit auch der Strombedarf und die Emissionen des einzelnen Trainingslaufs. So brachte es einer der ersten Transformer von 2017 wie erwähnt nur auf 12 kg CO2 pro Training – sein Nachfolger BERT kam nur zwei Jahre später schon auf über 600 kg CO2, also das 50-fache5. Und diese Entwicklung ist seitdem unvermindert weitergegangen.

Nur: Lohnen sich die immer größeren KI-Modelle und die umfangreichen Parametersuchen für ihre Entwicklung angesichts dieser Emissionen noch? Oft bringt eine neue Version einer KI nämlich nur kleine Leistungsverbesserungen.6 Strubell fordert daher am Ende des Artikels von KI-Entwickler*innen eine Kosten-Nutzen-Analyse: In Zukunft solle man nicht nur über die Leistungssteigerung der KIs berichten, sondern auch den Preis, den Umwelt und Gesellschaft dafür zahlen. Dafür müsse es unter anderem zum Standard werden, in Veröffentlichungen auch den Energieaufwand für das KI-Training und den Umfang der Parametersuche zu beziffern.7 

Strubell und Kollegen liefern hierzu einen ersten Anstoß, indem sie beispielhaft die Emissionen des Trainings einflussreicher KI-Systeme benennen. Trotzdem bleiben Fragen offen, um den Einfluss des KI-Sektors auf den Klimawandel abzuschätzen. Wie viel Strom verbrauchen KIs, wenn sie fertig trainiert sind und in der Breite eingesetzt werden? Erste Schätzungen lassen vermuten, dass auch hier substantielle Emissionen zu erwarten sind.8 Und: Wie viele KIs werden überhaupt gerade weltweit trainiert und eingesetzt? Erst wenn das bekannt wäre, könnte man die Emissionen des gesamten KI-Sektors berechnen. Und nur so ließe sich beurteilen, in welchem Verhältnis diese Emissionen zu anderen digitalen Diensten wie Youtube, Netflix und Co. stehen.

Insgesamt führt Strubell der KI-Forschung und den großen Tech-Konzernen vor Augen, dass ihre Zukunft von einer knappen Ressource abhängt: sauberer Energie. Solange es diese nicht im Überfluss gibt, müssen wir entscheiden, wie Strom aus erneuerbaren Energien verteilt wird. Was ist wichtiger, eine neue KI zu entwickeln, ein Auto zu produzieren oder für ein Jahr die Wärmepumpe einer Privatwohnung zu betreiben? 

Fußnoten
8

Den US-Strommix wählte Strubell, weil er 2019 mit etwa 60% fossilen Energien relativ repräsentativ für die beliebtesten Cloud-Rechenzentren war, die viele Firmen und Wissenschaftler*innen zum KI-Training verwenden.

12 kg CO2 entsprechen ca. den Emissionen einer 60km Autofahrt mit einem modernen Benziner (berechnet mit https://www.quarks.de/umwelt/klimawandel/co2-rechner-fuer-auto-flugzeug-und-co/).

Hätte man LISA auf einer einzigen GPU trainiert, hätte das gut 27 Jahre gedauert. In der Praxis entspricht das etwa 60 GPUs, die während der etwa sechsmonatigen Entwicklungsphase von LISA parallel hätten laufen müssen – im Dauerbetrieb.

Neural Architecture Search (NAS) – ein Verfahren, bei dem die Parametersuche mit evolutionären Algorithmen automatisiert wird, um noch bessere Ergebnisse zu erhalten.

Das entspricht einer 3.000 km-Autofahrt.

Als So et al. 2019 einen Übersetzungstransformer mit NAS optimierten (siehe vorherige Fußnote), kamen sie beispielsweise nur auf eine Verbesserung von unter einem Prozent in einem standardisierten Übersetzungstest – das scheint unverhältnismäßig wenig gegenüber CO2-Emissionen, die wie oben erwähnt ca. 18 Lebensjahren in den USA entsprechen.

Wichtige KI-Konferenzen wie NeurIPS empfehlen das zwar schon seit einiger Zeit, zwingen die KI-Entwickler*innen aber bisher nicht dazu. 

Beispielsweise wird geschätzt. dass sich der Rechenaufwand für Suchmaschinen verfünffachen könnte, wenn Google und Co. flächendeckend KI einsetzen.

Re-Paper

Offener Zugang
Offener Zugang bedeutet, dass das Material öffentlich zugänglich ist.
Verwandte Artikel

Unter Weltwissen versteht man die Gesamtheit der Kenntnisse und Erfahrungen, die ein Lebewesen durch seine fortlaufende Existenz in Umwelt und Gesellschaft sammelt und die zur Interpretation und zum Überleben in dieser notwendig sind.

Transformer sind die Grundlage vieler großer Sprachmodelle wie ChatGPT und bezeichnen eine bestimmte KI-Architektur, die in der Regel Texte verarbeitet. In der ursprünglichen Fassung waren Transformer Übersetzungsmodelle, die zunächst aus einem Text in der Ausgangssprache die Bedeutung extrahieren. Der so entschlüsselte Inhalt wird dann verwendet, um in der Zielsprache einen Text mit derselben Bedeutung zu generieren.

Im Vergleich zu anderen Modellen zeichnet Transformer ihr „Attention“-Mechanismus aus, mit dem sie einzelne Worte im Text miteinander in Kontext setzen können. Trainiert werden Transformer mit vielen Übungstexten, auf denen letztlich auch ihr scheinbares „Weltwissen“ beruht.

KI-Systeme müssen trainiert werden, um Fähigkeiten zu erlernen. Dieses Training läuft bei den meisten KIs sehr struktuiert ab und basiert auf Beispielen, anhand derer sich die KI das gewünschte Verhalten abschauen kann. Wenn beispielsweise eine KI lernen soll, auf Fotos automatisch Tiere zu erkennen, würde sie mit vielen Beispielbildern verschiedenster Tierarten trainieren. Jedes Beispielbild wäre dann mit den korrekten Tiernamen „beschriftet“. Mithilfe dieser Beschriftungen kann die KI dann feststellen, welche Tiere sie noch falsch erkennt und wie sie besser werden kann. Für dieses Training werden Algorithmen verwendet, die die KI Beispiel für Beispiel optimieren und ihre Fehlerquote senken.

KI-Training ist sehr aufgabenspezifisch: Text-KIs trainieren daher mit völlig anderen Beispielen als Bild-KIs. Außerdem werden KIs durch Details im Trainingsprozess stark beeinflusst. Fehlt zum Beispiel eine Tierart in den Trainingsbeispielen, kann die KI diese später unmöglich erkennen. Oder sind im Training alle Katzen grau, kann es später zu Problemen beim Erkennen anderer Katzen kommen.

Aus dem Strommix eines Landes oder einer Region geht hervor, wie viel des dort erzeugten Stroms aus welcher Quelle stammt. Laut Statistischem Bundesamt stammte der Strom in Deutschland 2022 zu 56% aus fossilen Energieträgern und zu 44% aus erneuerbaren Energien.

Die Hyperparameter einer KI beschreiben die Architektur der jeweiligen KI und die Bedingungen, unter denen sie trainiert wird. Also beispielsweise, wie viele Verbindungen in einem neuronalen Netzwerk bestehen und welche Trainingsmethode verwendet wird. Sie müssen vor Beginn des Trainings festgelegt werden und können dann nicht mehr verändert werden.


Im Gegensatz dazu gibt es in KIs auch „normale“ Parameter, die während des Trainings so verändert werden, dass die KI ihre Aufgabe besser meistert. In einem neuronalen Netzwerk sind die Parameter beispielsweise die Stärke der einzelnen Verbindungen im Netzwerk.

Diskussionen
3 Kommentare
Es gibt neue Kommentare!
Te.ma befindet sich im Archiv-Modus und daher ist die Kommentarfunktion deaktiviert.
Total 1

Strubells Forderung einer Kosten-Nutzen-Analyse ist meiner Meinung nach ein guter erster Schritt in Richtung einer Programmierkultur, die sich ihres Energieverbrauchs bewusst ist.
Ich könnte mir sogar eine weitreichendere Analyse vorstellen, in der die Kosten von KI-Modellen für Umwelt und Gesellschaft nicht nur in den dazugehörigen Papern berichtet werden, sondern auch direkt in ein - am besten einheitliches - Bewertungsschema für KI-Modelle miteinfließen. Dieses Schema könnte Nutzen (Leistung, Genauigkeit) und Kosten (Umwelt, Gesellschaft) gegeneinander aufwiegen. Steht für eine Aufgabe nun mehr als ein Modell zur Auswahl, könnte mit Hilfe des Bewertungsschemas jenes Modell bevorzugt werden, das die bessere Balance zwischen Nutzen und Kosten findet.

Total 1

Ich finde Ihre Idee eines Bewertungsschemas, das die Balance zwischen Nutzen und Kosten berücksichtigt, sehr wichtig und es könnte einen signifikanten und notwendigen Schritt in Richtung einer nachhaltigeren KI-Entwicklung darstellen. Jedoch müssen auch die Herausforderungen bei der Umsetzung eines solchen Schemas berücksichtigen. Insbesondere die Abschätzung des Nutzens eines KI-Modells vor seiner tatsächlichen Anwendung könnte problematisch sein, da viele Vorteile erst im Kontext spezifischer Anwendungen vollständig erkennbar werden. Zudem könnte es Herausforderungen hinsichtlich der standardisierten Bewertung von 'Kosten' geben, im Hinblick auf soziale und ökologische Auswirkungen.

Total 1

Spannend ist hier, dass die Forschenden selbst aufgefordert werden, bei ihren Modelle die Kosten und Nutzen abzuwägen oder auch den CO2-Verbrauch mit den Publikationen zu veröffentlichen - also Nachhaltigkeit mitzudenken. Damit werden die Forschenden selbst sogar aus den eigenen Reihen angesprochen und nicht aus der Verantwortung gelassen. Ich weiß nicht, was das für Auswirkungen haben kann. Aber dadurch kommt eine neue Ebene auf, neben der Verantwortung der Politik (mit dem Gestalten der passenden Regelungen) oder Unternehmen selbst. Zwar wird dadurch auf die Selbstverantwortung der einzelnen Forschungsgruppen vertraut, aber ich finde es einen guten und wichtigen Ansatz.

te.ma sammelt keine Cookies. Um mit der Allgemeinen Datenschutzgrundverordnung (DSGVO) übereinzustimmen, müssen wir dich aber informieren, dass von uns eingebundene externe Medien (z.B. von YouTube) möglicherweise Cookies sammeln. Mehr dazu in unserer Datenschutzerklärung.