Biometrische Überwachung & Co.: EU-Gremien einigen sich auf umfassende KI-Regeln

Inhaltsverzeichnis

Nach einem insgesamt gut 36-stündigen "Ultra-Marathon", der nur von einer längeren Pause am Donnerstag unterbrochen wurde, haben sich die Unterhändler des EU-Parlaments, des Ministerrats und der Kommission in Brüssel auf einen Kompromiss zur die geplante EU-Verordnung für Systeme mit Künstlicher Intelligenz (KI) verständigt.

Ein besonders umkämpfter Punkt war zuletzt das vom EU-Parlament geforderte Verbot biometrischer Massenüberwachung etwa durch automatisierte Gesichtserkennung in Bereichen wie der Strafverfolgung. Die Mitgliedsstaaten hingegen wollten das von Anfang an durchsetzen und übten massiv Druck auf die Abgeordneten aus, auf ihren Kurs umzuschwenken.

Streitpunkt Überwachung

Der Streit um die biometrische Überwachung hatte eine Einigung noch am Donnerstag verhindert. Die Regierungsvertreter hätten dem Parlament Daumenschrauben angelegt, hieß es von zahlreichen zivilgesellschaftlichen Organisationen wie European Digital Rights (EDRi) und AlgorithmWatch in einem Brandbrief, "um Interessen der nationalen Sicherheit und der Industrie über den Schutz der Rechte der Menschen zu stellen".

Auf der anderen Seite hatte die Innenministerkonferenz von Bund und Ländern noch am Freitag gewarnt, sollte die KI-Verordnung in der Parlamentsfassung erlassen werden, "würde dies zu schwerwiegenden Einschränkungen der Aufgabenerfüllung der Sicherheitsbehörden und Risiken für die öffentliche Sicherheit führen". Der Rat machte sich noch während der abschließenden Verhandlungen etwa dafür stark, dass bei schweren Straftaten der Einsatz biometrischer Gesichtserkennung in Echtzeit sowie "Racial Profiling" ermöglicht werden sollten.

Laut dem nun vereinbarten Text sollen biometrische Kategorisierungssysteme, die sensible Merkmale etwa über politische, religiöse, philosophische Überzeugungen, die sexuelle Orientierung oder zur ethnischen Herkunft verwenden, grundsätzlich verboten werden. Die Verhandlungsführer einigten sich aber auch auf eine Reihe von engen Ausnahmen für den Einsatz biometrischer Identifikationssysteme im öffentlichen Raum zu Strafverfolgungszwecken mit richterlichen Genehmigung und für einen festen Straftatenkatalog.

Ausnahmen für Strafverfolgung

Eine nachträgliche automatisierte Suche nach Gewalttätern mithilfe von Gesichtserkennung, wie sie die Hamburger Polizei in einer umstrittenen Aktion nach dem G20-Gipfel durchführte, soll gezielt im Kampf gegen schwere Straftaten zulässig sein. Auch eine Echtzeit-Identifikation soll nach Parlamentsangaben "zeitlich und örtlich begrenzt" möglich werden zur gezielten Suche nach Opfern von Entführungen, Menschenhandel und sexueller Ausbeutung oder zur Abwehr "einer konkreten und gegenwärtigen terroristischen Bedrohung". Als weiterer Zweck wird die Suche nach Verdächtigen genannt, denen eine schwere Straftat wie Terrorismus, Mord, Vergewaltigung, bewaffneter Raubüberfall, Beteiligung an einer kriminellen Vereinigung oder Umweltkriminalität zur Last gelegt wird.

Ein zweiter großer Streitpunkt war die Regulierung sogenannter Basismodelle wie das hinter ChatGPT stehende GPT, Gemini, LaMDA oder LLaMA, die auf einer umfangreichen Datenbasis trainiert werden und an eine breite Palette unterschiedlicher Aufgaben angepasst werden können. Laut der Übereinkunft müssen die großen KI-Player mögliche Risiken für Gesundheit, Sicherheit, Grundrechte, Umwelt, Demokratie und Rechtsstaatlichkeit unter Einbeziehung unabhängiger Experten prüfen und gegebenenfalls abmildern.

Strenge Regeln für riskante Anwendungen

Für "hochwirksame", breit einsetzbare KI-Modelle mit systemischem Risiko gelang es den Unterhändlern des Parlaments, besonders strengere Verpflichtungen durchzusetzen. Sie müssen unter anderem auch Tests mit gegnerischen Angriffen durchführen, der Kommission schwerwiegende Vorfälle melden und über ihre Energieeffizienz Bericht erstatten. Die Kommission soll eine einschlägige Liste der betroffenen Systeme aufstellen.

Anbieter nicht systemischer, vorab trainierter KI-Modelle können zusätzlichen Auflagen laut der Absprache entgehen, wenn sie diese "der Öffentlichkeit im Rahmen einer Lizenz zugänglich" machen, "die den Zugriff, die Nutzung, Änderung und Verbreitung des Modells ermöglicht". Auch die genutzten Parameter müssten öffentlich einsehbar sein.

Open-Source-Modelle mit öffentlich verfügbaren Einflussgrößen bleiben ebenfalls außen vor, solange sie nicht in die Kategorien hochriskanter oder verbotener Technologien fallen oder mit einer besonderen Manipulationsgefahr verknüpft sind. Juristen dürften sich noch darüber streiten, ob dies etwa für LLaMA von Meta gilt.

Als quantitativer Schwellenwert kann unter anderem die zum Trainieren des Modells verwendete Rechenleistung herangezogen werden. Ein neuer Anhang zum Gesetzestext sieht vor, dass das geplante europäische KI-Amt die Kriterien auf Grundlage einer wissenschaftlichen Bewertung entwickeln soll. Dabei wird es etwa auch auf die Anzahl geschäftlichen Nutzer und die der eingeflossenen Parameter ankommen.

Offenlegung von Trainingsdaten

Betreiber großer KI-Basismodelle müssten eine Zusammenfassung der verwendeten Trainingsdaten öffentlich machen, wobei Geschäftsgeheimnisse ausgenommen sind. Dies soll Experten helfen, etwa die Genauigkeit der Quellen, mögliche Verzerrungen und dagegen ergriffene Schritte bewerten zu können.

Das Parlament wollte, dass vor allem mittelständische Firmen KI-Lösungen entwickeln können ohne übermäßigen Druck von Branchenriesen, die die Wertschöpfungskette kontrollieren. Zu diesem Zweck fördert die Vereinbarung sogenannte regulatorische Sandkästen als Testumgebungen, die von nationalen Behörden eingerichtet werden, um innovative KI vor der Markteinführung zu entwickeln und zu trainieren.

Verhaltenskodizes der Industrie sollen lediglich als Übergangsmaßnahmen anerkannt werden, bis harmonisierte Standards vorliegen. Die Kommission kann zudem mit sogenannten delegierten Rechtsakten eingreifen, wenn Vereinbarungen zu lange dauern. Hierzulande sprach sich etwa die Datenschutzkonferenz gegen ein sanktionsloses Konzept der Selbstregulierung bei KI-Basismodellen aus, für das Deutschland, Frankreich und Italien eintraten.

Große Konzerne und Verbände warnten wiederholt vor einer Überregulierung von Basismodellen. Sie sahen europäische Innovationen und Startups wie Aleph Alpha und Mistral AI gefährdet. Der Bundesverband IT-Mittelstand (BITMi) und der EU-Dachverband European Digital SME warben indes in letzter Minute dafür, neben KI-Anwendungen auch sehr große Modelle zu regulieren: Sie sollten sich einer Konformitätsbewertung durch Dritte unterziehen müssen, um eine faire Verteilung der Verantwortlichkeiten zu gewährleisten. Ansonsten würde die Pflicht zur Einhaltung der Vorschriften auf die nachgelagerten Anwender inklusive kleine und mittlere Firmen verlagert.

Rote Linien

Die vereinbarte Verordnung folgt einem risikobasierten Ansatz. Ziel ist es, einen einheitlichen Rechtsrahmen für KI festzulegen. Gefährliche Praktiken wie der Einsatz von KI für Social Scoring, für das wahllose Sammeln von Gesichtsbildern aus dem Internet, das Ausnutzen von Sicherheitslücken oder menschlicher Schwächen und die Manipulation des freien Willens werden untersagt. Verboten wird auch Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen.

Darüber hinaus können KI-Systeme mit hohem Risiko nur auf den EU-Markt gebracht werden, sofern sie verbindliche Anforderungen erfüllen. Dies dürfte etwa für Suchmaschinen mit KI-Unterstützung etwa über ChatGPT oder Bard gelten. Nutzer sollen in die Lage versetzt werden, Verfahren zu verstehen und zu kontrollieren. KI-Systeme mit hohem Risiko müssen mit einer Dokumentation und einer Art Gebrauchsanweisung versehen werden. Die Nichteinhaltung der Regeln kann je nach Verstoß und Größe des Unternehmens zu Bußgeldern zwischen 35 Millionen Euro oder 7 Prozent des weltweiten Umsatzes führen.

EU-Kommissar Thierry Breton freute sich auf X (vormals Twitter) am späten Freitagabend über den "historischen" Deal: "Die EU ist der erste Kontinent überhaupt, der klare Regeln für den Einsatz von KI festlegt." Der "AI Act" sei "viel mehr als ein Regelwerk – er ist eine Startrampe für EU-Startups und Forscher, um das globale KI-Wettbewerb anzuführen".

Für die EU-Parlamentspräsidentin Roberta Metsola steht die Verordnung für den Willen Europas, die Welt bei digitalen Innovationen basierend auf den Werten der Gemeinschaft wie den Schutz der Privatsphäre anzuführen. Die Vorgaben würden zweifelsohne den globalen Standard für die nächsten Jahre setzen.

(vbr)