Wer an künstlichen neuronalen Netzen forscht, dem steht eine Vielzahl an Design-Entscheidungen zur Auswahl. Meistens wird so gewählt, dass die Modelle möglichst akkurat sind, also möglichst keine Fehler machen. Der Hauptfokus der Forschung liegt also auf der Optimierung der Modellgenauigkeit. Diese Genauigkeit bemisst sich an der Menge richtiger Antworten, die ein Modell auf einem Testdatensatz produziert. 

Dabei basiert der größte Fortschritt, den die Forschung in den letzten Jahren gemacht hat,  auf den stetig wachsenden Modellen. Die durchschnittliche Anzahl an lernbaren Parametern – die Eigenschaften der künstlichen Neuronen – wächst seit der „Deep-Learning-Ära“ exponentiell. Der Trend geht dahin, immer größere, tiefere Netze zu entwickeln, ganz nach dem Motto: Scaling is all it takes – einfach Hochskalieren. Natürlich werden die Modelle damit auch besser. Je mehr Parameter ein Modell hat, desto komplexere Funktionen kann es erlernen. Die aktuell höchste Genauigkeit ist der Maßstab, mit dem auf Konferenzen zum Thema maschinelles Lernen gemessen wird. Und wer das aktuelle „SOTA“ schlägt, also das State-of-the-art-Modell, das aktuell Beste, dem ist eine Publikation auf einer der angesehensten Konferenzen garantiert.

So werden die Modelle immer komplexer und energieaufwändiger, während die Optimierung des Energieverbrauchs oft vernachlässigt wird. Doch mit besseren Modellen wird auch das Potential für substanzielle Verbesserungen immer kleiner und in vielen Bereichen gibt es seit Jahren ein Kopf-an-Kopf-Rennen um das Erreichen der letzten paar Prozent. Da stellt sich die Frage: Wie viel Genauigkeit wird wirklich gebraucht und wie viel Energie sollte dafür investiert werden? Verfolgt die Forschung die richtigen Ziele?

Brownlee und Kollegen untersuchen das Zusammenspiel von Energieaufwand und Modellgenauigkeit systematisch anhand einer festen Architektur, der des Multilayer Perceptrons. Ihre relevanteste Frage lautet: Gibt es einen Zielkonflikt zwischen Energieaufwand und Genauigkeit und wenn ja, welche Faktoren sind dafür ausschlaggebend?

Hierfür testen sie auf unterschiedlich großen Datensätzen unterschiedliche Konfigurationen. Eine Konfiguration besteht dabei aus wählbaren Parametern eines Modells, wie zum Beispiel die Aktivierungsfunktion, die Tiefe des neuronalen Netzes (Anzahl der Schichten), die Lernrate, die Menge an Daten, die dem Modell in einem einzelnen Trainingsschritt zur Verfügung stehen, und vieles mehr. 

Die Ergebnisse überraschen zunächst nicht. Ist das Modell bei einer Konfiguration besonders genau, dann verbraucht es auch mehr Energie. Den Haupteinfluss nehmen hierbei strukturelle Parameter: Über je mehr Schichten ein neuronales Netz verfügt, desto mehr Kapazität hat es, was sich wiederum in der Genauigkeit widerspiegelt. Doch mehr Schichten heißt auch mehr Rechenoperationen und mehr Energieverbrauch.

Überraschender an den Ergebnissen ist, dass auch nicht-strukturelle Parameter wie der Optimierungsalgorithmus, welcher nur während des Trainings aktiv ist, den Energieverbrauch während der Anwendung des Modells beeinflussen kann. So oder so wird deutlich, dass der Mehrverbrauch an Energie in keinem Verhältnis zur Modellgenauigkeit steht und für ein wenig Einbuße in der Genauigkeit enorme Energieanteile gespart werden können. In Experimenten zeigen die Forscher*innen, dass bei der Anwendung eines Modells auf einem der Datensätze 77 Prozent der Energie gespart werden können, wenn man sich mit 93,2 statt 94,3 Prozent Genauigkeit zufrieden gibt. Auch im Training kann zwischen 30-50 Prozent der Energie gespart werden.

Die Studie gibt nur einen kleinen Einblick in den Energieverbrauch von KI-Modellen. Obwohl die meisten Modelle in der Praxis auf einer GPU rechnen, wird hier nur der Energieverbrauch auf einer CPU gemessen. Außerdem ist das Multilayer Perceptron, auf dem hier das Zusammenspiel von Energieaufwand und Modellgenauigkeit untersucht wird, ein relativ simples Modell und wird in der Praxis und auf Bilddaten selten verwendet. Doch die Studie gibt wichtige Denkanstöße, was den Energieverbrauch und die Genauigkeit von KI-Modellen betrifft. 

In den letzten Jahren haben sich einzelne Forschungsgruppen zunehmend mit der gezielten Optimierung des Energieverbrauchs von KI-Modellen auseinandergesetzt. Nicht nur aus ökologischen Gründen, sondern auch im Hinblick auf mobile Anwendungen, für die energieeffiziente KI-Modelle höchst relevant sind. Vor dem Hintergrund der Forschungsergebnisse von Brownlee und Co. erscheint es plausibel, bei der Entwicklung eines Modells immer dessen Energieverbrauch mit im Blick zu haben. Gerade dann, wenn durch verhältnismäßig geringe Einbußen in der Genauigkeit hohe Energieeinsparungen zu erzielen sind. Dafür muss die Forschung weg von der Maxime „nur Genauigkeit zählt“ und hin zu Maßstäben, die mehrere Faktoren berücksichtigen.