"Halbgar": KI-Verordnung öffnet Hintertüren für biometrische Massenüberwachung

Inhaltsverzeichnis

In Brüssel hat das Schulterklopfen begonnen, nachdem sich Unterhändler des EU-Parlaments, des Ministerrats und der Kommission am Freitag zu später Stunde nach einem dreitägigen finalen Verhandlungsmarathon auf einen Deal zur EU-Verordnung für Systeme mit Künstlicher Intelligenz (KI) verständigten. Kommissionspräsidentin Ursula von der Leyen (CDU) sprach von einem "historischen Moment", da nun "weltweit der erste umfassende Rechtsrahmen" für KI stehe. Der "AI Act" überführe europäische Werte in eine neue Ära. Die Vereinbarung konzentriere die Regulierung "auf erkennbare Risiken, sorgt für Rechtssicherheit und ebnet den Weg für Innovationen im Bereich vertrauenswürdiger KI". Dies habe die Brüsseler Regierungsinstitution mit ihrem Entwurf im April 2021 angelegt – nun hätten die Co-Gesetzgeber geliefert.

Ausnahmen für biometrische Gesichtserkennung

Die EU gehe mit der Übereinkunft "eine globale Herausforderung in einem sich schnell entwickelnden technologischen Umfeld in einem Schlüsselbereich für die Zukunft unserer Gesellschaften und Volkswirtschaften an", erklärte die spanische Staatssekretärin für Digitalisierung, Carme Artigas Brugal, im Namen der Ratspräsidentschaft. "Und bei diesem Unterfangen ist es uns gelungen, ein äußerst heikles Gleichgewicht zu wahren: die Innovation und Einführung Künstlicher Intelligenz in ganz Europa zu fördern und gleichzeitig die Grundrechte unserer Bürger uneingeschränkt zu respektieren."

Bürgerrechtler und Freiheitskämpfer schätzen die Lage vor allem bei dem zuletzt genannten Punkt ganz anders ein, nachdem die Mitgliedsstaaten auf Big-Brother-Methoden drängten. Die Absprachen sähen zwar im Prinzip ein Verbot der biometrischen Gesichtserkennung im öffentlichen Raum in Echtzeit vor, erläutert die Initiative European Digital Rights (EDRi). Dieses enthalte aber mehreren Ausnahmen, etwa für die Suche nach bestimmten Opfern, Verdächtigen und zur Verhinderung von Terroranschlägen. Obwohl diese Bedingungen enger seien, als von den Regierungsvertretern gefordert, "eröffnen sie dennoch die Möglichkeit, diese Systeme auf gefährliche, diskriminierende Weise und für Massenüberwachung zu nutzen".

EDRi beklagt auch, dass eine nachträgliche automatisierte Suche nach Gewalttätern mithilfe von Gesichtserkennung, wie sie die Hamburger Polizei in einer umstrittenen Aktion nach dem G20-Gipfel durchführte, im Kampf gegen schwere Straftaten zulässig sein soll. Dazu gebe es nicht einmal einen Katalog, der klare Schwellen definiere.

"Einer gesucht, alle überwacht?"

"Einer gesucht, alle überwacht? Mit dieser gesetzlichen Anleitung zu biometrischer Massenüberwachung kann unser Gesicht in der Öffentlichkeit immer und überall flächendeckend und verdachtslos gescannt werden", befürchtet der EU-Abgeordnete Patrick Breyer (Piratenpartei). Die "vermeintlichen Ausnahmen" sind für ihn "Augenwischerei". Denn ständig würden doch tausende Verdächtige schwerer Straftaten durch Richterbeschluss gesucht. Mit automatisierter Gesichtserkennung seien auch noch keine Anschläge verhindert, jedoch zahlreiche Unschuldige verdächtigt und teils festgenommen worden. Für Breyer ist das Gesetz damit ein Fall für die Gerichte. Diesem Dammbruch könne er nicht zustimmen.

EDRi kritisiert zudem, dass der Deal nur ein teilweises Verbot vorausschauender Polizeiarbeit ("Predictive Policing") enthalte. Dabei gehe es um Vorhersagen über die Wahrscheinlichkeit der Begehung einer Straftat auf Basis persönlicher Merkmale und Charakterzüge. Dies treffe nicht die Mehrheit einschlägiger Prognosesysteme. Brando Benifei (Sozialdemokraten), einer der beiden Berichterstatter des Parlaments, hält den Bann dagegen für "wasserfest". Der ausgehandelte Text erlaube nur den Einsatz von "Crime Analytics"-Software, die keinen individuellen Personenbezug herstelle. Zulässig seien allenfalls anonymisierte Vorhersagen. Benifeis Mitstreiter Dragoș Tudorache (Liberale) ergänzte: Keiner wolle Fahndern Werkzeuge aus der Hand nehmen, "die sie für ihre Arbeit brauchen". Fehlerhafte Verdächtigungsinstrumente dürften Ermittler aber nicht verwenden.

Weitreichende Lücken im allgemeinen Schutzniveau

Die EU-Gesetzgeber hätten entscheidende Schutzvorkehrungen eingeführt, zeigt sich die Organisation AlgorithmWatch teils zufrieden. Die Verordnung sehe nun eine obligatorische Folgenabschätzung für die Grundrechte und öffentliche Transparenzpflichten für den Einsatz von KI-Systemen mit hohem Risiko vor. Dazu komme ein Verbot etwa von Emotionserkennungssystemen, die am Arbeitsplatz und in der Bildung eingesetzt werden. Zugleich enthalte die Übereinkunft aber große Schlupflöcher, "um solche Fehlanwendungen" inklusive Gesichtserkennung durch die Hintertür etwa im Kampf gegen illegale Migration oder Verbrechen wieder zu ermöglichen.

AlgorithmWatch und EDRi verweisen zudem auf weitreichende Lücken im allgemeinen Schutzniveau. So gebe es etwa einen großen Ermessensspielraum für KI-Entwickler, ihre Systeme selbst nicht als "hochriskant" einzustufen und so speziellen Anforderungen zu entziehen. Auch die grundsätzlichen Regulierungsfreiräume für die Bereiche der nationalen Sicherheit und der Verteidigung, die Sache der Mitgliedsstaaten sind, stellten große Barrieren "für die öffentliche Aufsicht über die besorgniserregendsten KI-Systeme" auf.

"Insgesamt sind die Maßnahmen zum Schutz der Verbraucher nicht überzeugend", moniert Ursula Pachl vom EU-Verbraucherschutzdachverband Beuc. "Zu viele Aspekte sind unzureichend reguliert und man verlässt sich zu sehr auf den guten Willen der Unternehmen." So gebe es etwa unzureichende Vorschriften für virtuelle Assistenten oder KI-gesteuerte Spielzeuge, da sie nicht als Hochrisikosysteme gälten. Auch für viel genutzte Anwendungen wie ChatGPT oder Bard vermisst Pachl "die notwendigen Schutzmaßnahmen, damit Verbraucher ihnen vertrauen können".

"Halbgarer" Kompromiss

Entgegengesetzter Ansicht ist Bernhard Rohleder, Geschäftsführer des IT-Verbands Bitkom. Für ihn ist die Einigung ein "Schaufenster-Erfolg zulasten von Wirtschaft und Gesellschaft". Das Gesetz schieße "insbesondere bei der Regulierung generativer KI über das Ziel hinaus und greift tief in die Technologie ein". Die EU binde damit den Unternehmen einen Klotz ans Bein. Das Risiko sei groß, dass europäische Firmen so "durch nicht praxistaugliche Vorhaben der rasanten technologischen Entwicklung künftig nicht folgen können". Auch der Digitalverband CCIA Europe, zu dessen Mitgliedern viele Big-Tech-Konzerne gehören, wertet den Kompromiss als "halbgar". Die Vereinbarung lege "Entwicklern von Spitzentechnologien, die vielen nachgelagerten Systemen zugrunde liegen, strenge Verpflichtungen auf und dürfte daher die Innovation in Europa verlangsamen".

Der TÜV-Verband begrüßt die Einigung indes. Europa sende damit "ein klares Signal in die Welt: Künstliche Intelligenz muss sicher sein." Die Technologie dürfe Menschen nicht gefährden oder benachteiligen. Lobenswert sei vor allem, dass auch "Allzweck-KI" wie das hinter ChatGPT stehende Modell GPT grundlegende Sicherheits- und Transparenzanforderungen erfüllen müsse. Das schaffe Vertrauen für die Endnutzer und erhöhe die Rechtssicherheit für professionelle Anwender, die auf solchen Basismodelle eigene KI-Programme entwickelten. Einfache Chatbots müssten dagegen nur bestimmte Kennzeichnungspflichten erfüllen.

"Sandkästen" für Start-ups

Die spanische Verhandlungsführerin Brugal hob diverse Ausnahmen von hohen Regulierungspflichten hervor wie "Sandkästen" für Start-ups. Solche Freiräume gälten etwa auch für das KI-Modell der französischen Firma Mistral AI, das als Open Source verfügbar sei. Solche kommerziellen Anwendungen auf niedriger Risikostufe müssten aber ebenfalls prinzipiell zumindest eine Folgenabschätzung für die Grundrechte durchführen. EU-Binnenmarktkommissar Thierry Breton beteuerte mehrfach: Der AI Act stehe "ganz auf der Seite der Innovation". Technische Details des Gesetzestextes müssen die Verhandlungsführer in den nächsten Wochen noch aushandeln, Parlament und Rat das Ergebnis dann billigen. Die Verordnung würde im Anschluss in weiten Teilen nach zwei Jahren in Kraft treten.

(bme)