„Es muss ein Primat der Demokratie über Technologie und Geschäftsmodell geben.“ Ein Gespräch mit Paul Nemitz

Die Fragen stellte Max von Grafenstein, Professor für „Digitale Selbstbestimmung“ an der Universität der Künste Berlin sowie Ko-Leiter des Forschungsprogramms Governance datengetriebener Innovation am Alexander von Humboldt Institut für Internet und Gesellschaft.

Max von Grafenstein: Sie sind Chefberater der Generaldirektion Justiz und Verbraucher in der Europäischen Kommission.1 Inwiefern haben Sie in dieser Rolle mit der KI-Verordnung zu tun?

Paul Nemitz: Die Generaldirektion Justiz und Verbraucher wird zu den Vorschlägen der Kommission und in den Verhandlungen zwischen EU-Rat und EU-Parlament zu deren Änderungsvorschlägen konsultiert, die sie betreffen. Das sind bei der KI-Verordnung die Grundrechte und der Verbraucherschutz. 

MG: Wo steht der Gesetzgebungsprozess zur KI-Verordnung?  

PN: Im Gesetzgebungsprozess befinden wir uns auf der letzten Stufe: der Verhandlung zwischen Rat und Parlament über den endgültigen Text. In der EU werden alle gesetzlichen Regelungen im Verfahren der Mitentscheidung angenommen. Mitentscheidung heißt, dass eine gesetzliche Regelung sowohl eine Mehrheit im Europäischen Parlament als auch im Ministerrat finden muss. Während das Parlament die Bürger vertritt, von denen es direkt gewählt wurde, kommen im Ministerrat die Regierungen der Mitgliedstaaten zusammen, die durch ihre jeweiligen Fachminister vertreten werden. Diese beiden Gesetzgebungsorgane legen zunächst jeweils einzeln mit Mehrheit fest, wie der Text ausgestaltet sein soll. In der Regel nehmen sie sehr viele Änderungen am Text vor. 

So auch im Fall der KI-Verordnung: Im Europäischen Parlament wurden über 3000 Änderungsanträge gestellt. Nachdem diese abgearbeitet worden waren, legte das Plenum des Parlaments seine Position fest. Aktuell verhandeln die Berichterstatter des Parlaments mit der Präsidentschaft des Rates über den Vorschlag für einen endgültigen Text, der danach im Plenum und im Ministerrat mit Mehrheit angenommen werden muss. Das ist der Moment der endgültigen Mitentscheidung über einen Gesetzesakt, der ihn verbindlich macht. 

MG: Wie lange wird der Gesetzgebungsprozess noch dauern?

PN: In der Regel versuchen die Gesetzgeber, ihre angefangenen Vorhaben im Rahmen einer Legislaturperiode zu beenden.2 Das gelingt zwar nicht immer, aber ich gehe davon aus, dass es bei diesem Vorhaben Erfolg haben wird. Im Herbst 2023 oder Anfang 2024 wird es zu einem endgültigen Text durch Mitentscheidung kommen. 

MG: Der Anhörungsprozess auf europäischer Ebene ist extrem komplex: Es werden viele verschiedene Kreise sehr gründlich angehört. Wie schafft man es, trotz der vielen Stimmen die Gesetze konsistent zu halten? 

PN: In der Europäischen Kommission ist nicht all das Wissen vorhanden, das für den Gesetzgebungsprozess benötigt wird. Aus diesem Grund führt sie eine Anhörung und eine Folgenabschätzung der Gesetzgebungsoptionen durch. Es werden somit zwar sehr viele angehört, aber nur relativ wenige arbeiten an der Ausgestaltung des Textes. Im Parlament sind das in der Regel die Berichterstatter und deren Mitarbeiter, im Rat die Präsidentschaft, die federführend mit dem Generalsekretär arbeitet, und in der Kommission die entsprechenden Beamten und die Kommissarinnen und Kommissare. Kohärenz zu sichern ist eine große Aufgabe im Gesetzgebungsverfahren. 

MG: Welche Rolle spielt die Wissenschaft im Gesetzgebungsprozess? 

PN: Die Wissenschaft spielt eine große Rolle und wird deswegen entsprechend angehört. Die Vorstellung aber, dass die Politik besser ist, wenn sie ausschließlich durch Wissenschaftler bestimmt wird, halte ich für gefährlich. Vor allem die großen US-amerikanischen Konzerne versuchen, die Diskussion über KI der Ethik zu überlassen und dadurch zu entpolitisieren. Die Ansicht, dass sich Ethik wissenschaftlich ermitteln ließe und es zur Regelung von KI nur einen Ausschuss von Ethik-Professoren brauche, ist ein Irrtum. In der KI-Diskussion geht es um eminent politische Fragen, nämlich die Zuordnung von Chancen und Risiken. Die ausführlichen Anhörungen und das Einbinden der Öffentlichkeit in solche Gesetzgebungsprozesse sind sehr wichtig.

MG: Woran liegt es, dass der Gesetzgebungsprozess zur KI-Verordnung so langwierig ist? 

PN: Das hat mehrere Gründe. Seit 20, 30 Jahren herrscht die Ideologie des schlanken Staates. Die vielen Sparrunden im öffentlichen Dienst, in den Ministerien und der Europäischen Kommission haben Auswirkungen auf die Anzahl der Menschen, die sich dort bewerben, und teilweise auch auf die Qualität des Personals. Unser Personal ist zwar immer noch hoch qualifiziert, aber die Welt ist komplexer geworden. Wir sind davon abhängig, dass uns die Wirtschaft, Wissenschaft, Forschung und kritische Öffentlichkeit beim Erarbeiten von Politikoptionen und  Gesetzgebungsvorschlägen unterstützen. Insofern ist es für uns völlig normal geworden, dass wir erst mal ein, zwei Jahre lang eine genaue Problemdefinition vornehmen und überlegen, welche Lösungsoptionen es gibt. 

Wir sind aufgrund der Komplexität der Welt davon abhängig, dass uns die Wirtschaft, Wissenschaft, Forschung und kritische Öffentlichkeit beim Erarbeiten von Politikoptionen und Gesetzgebungsvorschlägen unterstützen.

Gerade bei der KI-Thematik und im Datenschutz sind wir zunehmend von der Wahrheit abhängig, die uns hoffentlich von der Wissenschaft und den Unternehmen präsentiert wird. Wenn uns bei der Rechtsdurchsetzung, zum Beispiel im Wettbewerbsrecht, nicht die Wahrheit erzählt wird, können wir Strafen auferlegen. Facebook etwa hat eine Strafe in Höhe von 120 Millionen Euro auferlegt bekommen, weil uns das Unternehmen nicht erzählt hat, was mit den Daten zwischen WhatsApp und Facebook passiert ist. Solche Strafen gibt es im Gesetzgebungsverfahren nicht, das heißt, es gibt keine sanktionsbewehrte Wahrheitspflicht bei der Vorbereitung von Gesetzgebung. Leider wird uns vieles erzählt, das nur zur Hälfte oder gar nicht stimmt. Allein herauszufinden, wo die Wirtschaft lügt und was tatsächlich der Realität entspricht, ist sehr anstrengend. Häufig müssen wir andere Quellen heranziehen und uns zum Beispiel Profis suchen, die die jeweilige Technologie kennen, aber nicht so groß im Geschäft sind wie die einflussreichen Unternehmen. Sogar Wissenschaftler, die Gelder aus der Wirtschaft erhalten, erzählen uns zum Teil Geschichten, bei denen wir uns hinterher wundern, wie sie darauf kommen.

MG: Glauben Sie, dass manche Unternehmen bei den Anhörungen absichtlich lügen? 

PN: Shoshana Zuboff hat in ihrem Buch Das Zeitalter des Überwachungskapitalismus die Lügenkultur bei Google beschrieben, die es in vielen großen Konzernen und im Silicon Valley gibt.3 Im Kapitalismus geht es um Geld. Und für Geld sind viele Leute bereit, sehr viele Regeln des Anstands und des Rechts zu brechen, insbesondere in der Tech-Branche im Silicon Valley. „Move fast and break things“ ist ein berühmtes Zitat von Mark Zuckerberg und an Business Schools wird disruptive Innovation gelehrt. Damit geht die Ansicht einher, erst einmal zu machen und dafür in Zweifel eine Strafe in Kauf zu nehmen. Es ist erstaunlich, wie häufig schon festgestellt wurde, dass Konzerne wie Google, Amazon, Microsoft, Facebook und Apple das Recht gebrochen haben, ob im Bereich des Wettbewerbsrechts, des Datenschutzrechts oder des Konsumentenschutzes.

Ein weiteres Problem ist, dass die vielen Versprechen der Unternehmen, sich selbst zu regulieren, nicht eingehalten werden. Das ganze Gerede von Selbstregulierung und Ethikkodex dient den Mächtigen nur dazu, frei von Verpflichtungen zu bleiben, die mit harter staatlicher Hand durchgesetzt werden könnten.

Das ganze Gerede von Selbstregulierung und Ethikkodex dient den Mächtigen dazu, frei von Verpflichtungen zu bleiben, die mit harter staatlicher Hand durchgesetzt werden könnten.

Für die Zukunft brauchen wir eine Wahrheitspflicht bei den Anhörungen im Europäischen Parlament, inklusive Sanktionsandrohung. Wir kommen sonst in die schwierige Lage, nicht mehr zu wissen, was stimmt und was nicht, wodurch das Schreiben von Gesetzen in der technisierten Welt zunehmend schwierig wird. 

MG: Im Bereich der Technikregulierung steht der Gesetzgeber vor der Herausforderung, etwas zu regeln, das sich ständig verändert. Wie kann das funktionieren?  

PN: Von der Tech-Szene wird behauptet, die beste Gesetzgebung sei diejenige, die die Prinzipien der Technologie auf Recht und Gesetz und damit auf die Demokratie überträgt. Brad Smith, der Präsident von Microsoft, beschreibt beispielsweise in seinem Buch Tools and Weapons das Prinzip der „minimal viable option“ für Technologieinnovationen:4 Es wird ein Mindestmodell an Software oder Plattformfunktionalitäten entwickelt, mit dem auf den Markt gegangen und das jeden Tag verbessert wird. Seiner Meinung nach sollte dieses Modell auch dasjenige der demokratischen Gesetzgebung sein. In Reaktion darauf, was die Bürger sagen, würde jede Woche nachgebessert und alle vier Wochen gäbe es ein Update. Das ungefähr ist die Vorstellung der Tech-Szene davon, wie Demokratie funktioniert. 

Die Regeln der Technologie-Innovation auf die demokratischen Prozesse der Gesetzgebung zu übertragen, funktioniert aber aus verschiedenen Gründen nicht. Erstens werden Programme für Computer geschrieben, die nicht selbst denken können – im Unterschied zu selbst denkenden Menschen. Zweitens werden Gesetze nicht in einer Programmiersprache geschrieben, sondern in der menschlichen Sprache, die es uns ermöglicht, Formulierungen zu suchen, die zukunftsoffen sind und vor dem Hintergrund neuer Technologien und Geschäftsmodelle neu ausgelegt werden können. Wir brauchen Gesetze, die eben nicht wie ein Code geschrieben sind. Die Gesetzgebung sollte auch in vielen Jahren, wenn sich die Technologie sehr schnell vorwärts entwickelt hat, noch Bedeutung haben. 

Wir müssen Abstand nehmen von dem, was uns das Silicon Valley und andere versuchen einzureden: die Technik-Begriffe zu verwenden, die gerade Mode sind. Sie machen dies nämlich in der Absicht, ihr Geschäftsmodell abzusichern. Die Absicherung von Geschäftsmodellen ist aber nicht die Aufgabe von Gesetzgebung. Stattdessen geht es darum, durch Demokratie das Leben von Mensch und Gesellschaft im Ganzen zu gestalten. 

Die Absicherung von Geschäftsmodellen ist aber nicht die Aufgabe von Gesetzgebung. Stattdessen geht es darum, durch Demokratie das Leben von Mensch und Gesellschaft im Ganzen zu gestalten.

MG: Was konkret regelt die KI-Verordnung? 

PN: Die KI-Verordnung ist ein erster wichtiger Baustein der demokratischen Gesetzgebung im Bereich der künstlichen Intelligenz, in ihrer Ambition aber begrenzt. Sie folgt dem Modell der Technikregulierung, das wir auf europäischer Ebene zum Beispiel für Geräte einsetzen. Damit bezweckt man, dass das Gerät unter technischen Gesichtspunkten sicher ist. Man kriegt keinen Stromschlag, wenn man das Kofferradio oder das Mobiltelefon benutzt. 

Für die KI-Verordnung bedeutet dieser Ansatz, dass es rechtstechnisch nicht in erster Linie um neue materielle Regeln des individuellen Grundrechts- oder Konsumentenschutzes geht. Das sieht man insbesondere daran, dass im Gesetzesentwurf der Kommission zunächst keine Individualrechte für Einzelne vorgesehen waren. Der Einzelne kann nicht vor Gericht ziehen und die Einhaltung dieser Verordnung einklagen. Im Rahmen der Diskussion im Rat und Parlament ist die Frage gestellt worden, ob das für die neuen Herausforderungen der künstlichen Intelligenz reicht. Die Antwort des Parlaments war negativ. Das Parlament hat dann Schutzrechte auch grundrechtlicher und demokratieschützender Art sowie Individualrechte zur Wahrnehmung dieser Rechte eingeführt. 

Letztlich steht in der KI-Verordnung das, was Eugen Kogon in der großen Studie von 1976 Die Stunde der Ingenieure gezeigt hat: Die Ingenieure müssen politische Verantwortung für ihre Technologien übernehmen.5 In der KI-Verordnung wird die moralische Verpflichtung des guten Ingenieurs zu einer allgemeinen Rechtspflicht erhoben. Das bedeutet konkret, dass die Dokumentations- und Informationspflichten der KI-Verordnung dazu dienen, andere gesetzliche Regeln im Bereich des Konsumenten-, Demokratie- und Grundrechtsschutzes besser durchsetzen zu können.

In der KI-Verordnung wird die moralische Verpflichtung des guten Ingenieurs zu einer allgemeinen Rechtspflicht erhoben.

MG: Sie sagen, dass die KI-Verordnung im Entwurf der Europäischen Kommission kaum durch den Einzelnen einklagbare subjektive Rechte enthält. Soll sie dennoch die Grundrechte der Betroffenen vor den Risiken von KI-Systemen schützen? 

PN: Tatsächlich geht es bei der KI-Verordnung um eine schwierige, komplexe Weiterentwicklung der früheren Geräte- und Technologiesicherheitsgesetzgebung zu etwas, das nicht nur Produktsicherheit garantiert, sondern auch gesellschaftliche Verträglichkeit sicherstellt – ohne aber den Bürgern Rechte zu geben. In der Datenschutzgrundverordnung sind diese subjektiven Rechte dagegen mehrfach abgesichert. 

Die Datenschutzgrundverordnung wird durch Datenschutzbehörden durchgesetzt. Sie haben eine Tätigkeitspflicht, das heißt, dass sie durch Bürger verklagt werden können, wenn sie nicht tätig werden. Max Schrems etwa, der mit seiner Nichtregierungsorganisation „None Of Your Business“ strategische Prozesse führt, ist vor Gericht gezogen, um Datenschutz durchzusetzen. In der modernen Welt, in der Technologie Macht bedeutet, brauchen wir diese doppelten Durchsetzungswege: einmal öffentliche Institutionen, die die Pflicht haben, das Gesetz durchzusetzen, und einmal die Gerichte, die die Datenschutzbehörden in die Pflicht nehmen können. Zudem können die Datenschutzbehörden nicht nur aufgrund von Beschwerden, sondern auch ex officio tätig werden, und das müssen sie auch. 

In den USA sehen wir bei jedem Gesetzgebungsvorhaben, in dem es um Pflichten für Unternehmen geht, dass die Lobby umschwenkt, wenn sie die gesetzliche Regelung solcher Pflichten nicht mehr verhindern kann. In solchen Fällen akzeptieren die Unternehmen zwar die Pflicht, nicht aber die privatrechtliche Durchsetzung, also die Privatklage. Auf diese Weise wird amerikanisches Recht weich gehobelt, bis man am Ende damit leben kann, dass die Pflichten doch nicht eingehalten werden. Genau das sollten wir uns in Europa nicht leisten.

MG: Welche Gefahren gehen von KI für die Gesellschaft und den Einzelnen aus, denen durch die KI-Verordnung begegnet werden soll? 

PN: Ich möchte ein einfaches Beispiel geben: Stellen Sie sich einen Wahlkampf vor, in dem man morgens sein Mobiltelefon anmacht und schaut, was auf Facebook, Twitter/X und Mastodon los ist. Man erhält Nachrichten, dass alle für Kandidat A sind, weiß aber nicht, ob diese Nachrichten von einem Menschen oder einer künstlichen Intelligenz kommen, die sie zur Unterstützung des Kandidaten A produziert. In diesem Beispiel kann Demokratie nicht mehr funktionieren. Das heißt, dass wir im Zusammenhang mit Wahlen und dem öffentlichen Raum der Demokratie eine Informationspflicht brauchen. Wir müssen wissen, ob bestimmte Nachrichten von einer KI oder von Menschen erstellt und gesendet wurden.

Konkreter wird es in der KI-Verordnung bei den Verboten, beispielsweise des Social Profiling, also der sozialen Profilbildung durch KI. In China werden solche Profile angelegt und dann Verhaltenspunkte durch die Regierung vergeben, die die Menschen im Grunde wie Schafe behandelt. Es gibt dort keine Selbstbestimmung mehr, alles wird maschinell geregelt, und zwar sehr kleinteilig. Das wird durch die KI-Verordnung verboten. Wir dürfen diese Gefahr nicht unterschätzen. Die Machtambitionen der Totalüberwachung und -manipulation, die wir in Peking sehen, finden sich auf andere Weise und für andere Zwecke auch im Silicon Valley.

Die Machtambitionen der Totalüberwachung und -manipulation, die wir in Peking sehen, finden sich auf andere Weise und für andere Zwecke auch im Silicon Valley.

MG: Die KI-Verordnung stellt unterschiedliche Anforderungen an unterschiedliche Risikoklassen. Was sind die unterschiedlichen Risikoklassen und was die unterschiedlichen Regelungsregime, die daran anknüpfen? 

PN: Neben den verbotenen KI-Systemen, von denen ich soeben gesprochen habe, gibt es die Klasse der sogenannten Hochrisiko-Systeme. Das sind Systeme, die in Bereichen wie Polizei, Justiz, Politik oder Bildung eingesetzt werden können und tief in die Grundrechte eingreifen. Es handelt sich hier um Bereiche, bei denen es um die Funktionsfähigkeit der Demokratie geht. Diese Hochrisiko-Systeme müssen besonders hohen Anforderungen an Transparenz und Dokumentation genügen. Zudem gibt es eine weitere Klasse, die sich – wie in einer Pyramide – darunter befindet und bei der das Risiko etwas geringer ist. Bei der letzten Klasse, ganz unten in der Pyramide, besteht überhaupt kein Risiko. Ein Beispiel für diese Klasse ist ein Eisautomat in der Schule, in dem eine künstliche Intelligenz vorausschauend, abhängig etwa von der Sonneneinstrahlung, die Temperatur bestimmt.

Diese Risikopyramide stammt von der Datenethikkommission, die die deutsche Bundesregierung vor ein paar Jahren eingesetzt hatte und in der ich selbst Mitglied war. Ich vermute, wir werden feststellen, dass wir den Kreis der Hochrisiko-Systeme etwas zu eng gezogen haben. Systeme, die im Bereich des Journalismus eingesetzt werden, müssten eigentlich in die Hochrisiko-Kategorie eingeordnet werden. Es geht dabei um die vierte Gewalt im Staat, die extrem demokratierelevant ist. Mehr als 50 Prozent der Menschen in den USA und Europa bilden sich ihre politische Meinung auf sozialen Netzwerken. Die KI-Systeme, nach denen die Netzwerke Informationen ausspielen, bestimmen nach Auswertung unserer Profile, was uns gezeigt wird. Jemand, der in Deutschland CDU wählt, bekommt die Welt durch den Facebook- oder Twitter/X-Algorithmus ganz anders dargestellt als jemand, der die SPD wählt. Ich hoffe, dass wir am Ende der Verhandlungen zwischen Rat und Parlament ein Instrument haben, das für diese sehr sensitiven Bereiche der Demokratie einen wirksamen Unterschied macht.

MG: Was sind Ihrer Ansicht nach die größten Lerneffekte der letzten zwei Jahre im Gesetzgebungsprozess? 

PN: In der Europäischen Kommission hatten wir von 2018 bis 2020 eine hochrangige Gruppe zur Ethik der KI. Damals bestand keine Absicht, ein Gesetz zu erlassen. Das hat sich erst mit dem Dienstantritt von Ursula von der Leyen geändert, die in ihrer Antrittsrede als Präsidentin der Europäischen Kommission vor dem EU-Parlament im Dezember 2019 versprach, innerhalb von 100 Tagen einen Gesetzgebungsvorschlag für KI vorzulegen. Uns war damals schon klar, dass dieses Thema zu wichtig ist, um es allein der Ethik zu überlassen. Das war das erste Element des Lernens: der Schritt von der Ethik zu einem demokratisch verbindlichen Gesetz. Das zweite Element bestand darin, dass wir – anders als in der Datenschutzgrundverordnung – die Technologie-Hersteller selbst in die Pflicht nehmen. Wir können also sagen: Es findet ein institutionelles Lernen statt. Auch der Gesetzgeber und die Europäische Kommission müssen immer wieder dazulernen, und das tun sie auch.