Buchbesprechung: Not with a Bug, But with a Sticker

Inhaltsverzeichnis

Ram Shankar Siva Kumar, Hyrum Anderson, Bruce Schneier
Not with a Bug, But with a Sticker
Attacks on Machine Learning Systems and What To Do About Them
Wiley, Mai 2023
224 Seiten, ab 18,99 Euro (Print und E-Book)
ISBN: 978-1-119-88398-2

Machine-Learning-Systeme entwickeln sich zur Methode der Wahl, um angesichts der immer größer werdenden Datenflut Entscheidungen auf Basis der darin enthaltenen Informationen zu fällen. Die ML-Modelle treffen dabei immer wichtigere Entscheidungen – wie der Sicherheitsexperte Bruce Schneier im Vorwort des von John Wiley & Sons veröffentlichten Buchs "Not with a Bug, But with a Sticker" detailliert ausführt. Anders als bei einem klassischen Entscheidungsbaum gilt dabei allerdings, dass der Findungsweg nicht mehr direkt nachvollziehbar ist.

Unter dem Begriff "Adversarial Machine Learning" fassen Computersicherheitsforscher verschiedene Angriffsmethoden auf ML-Systeme zusammen, um beispielsweise durch Anliefern manipulierter Daten die zurückgelieferten Informationen zu beeinflussen.

Als Einleitung und Motivation präsentieren die beiden Hauptautoren des Werks, Ram Shankar Siva Kumar und Hyrum Anderson, Situationen, in denen Menschen Robotern in Stresssituationen selbst dann vertrauten, wenn die Maschinen vor dem Auftreten der Stresssituation fehlerhaftes Verhalten an den Tag gelegt hatten. Erzählungen zu verschiedenen Projekten – der Fokus des Werks liegt auf den USA – runden die Darstellung der Bedrohungssituation ab und motivieren zum Lesen des 224 Seiten umfassenden Lehrbuchs.

Manipulation von Computer Vision

Der Datensatz ImageNet trägt nennenswert zu Durchbrüchen im Machine-Learning bei: Die immense Mächtigkeit des Datensatzes ermöglicht fortgeschrittenes Training und Genauigkeiten mit weniger als zwei Prozent Fehlerkennungsraten. Die Autoren nehmen diese – in der Theorie jedem Menschen überlegenen – Ergebnisse zum Anlass, um Verfahren vorzustellen, die ML-Systeme aus dem Tritt bringen. So reicht bereits ein wenig Tesafilm aus, um die in Tesla-Fahrzeugen verbauten Verkehrszeichenlesesysteme in die Irre zu führen und beispielsweise zum Erkennen falscher Geschwindigkeitsangaben auf Verkehrsschildern zu animieren. Erkennt der Autopilot dann beispielsweise statt der zulässigen Höchstgeschwindigkeit von 35 mph 85 mph, droht der Fahrerin oder dem Fahrer nicht nur ein Strafzettel, sondern womöglich auch ein Verkehrsunfall.

An dieser Stelle verzichten die Autoren leider darauf, die zum Erstellen der als Angriffsvektor dienenden "Adversarial Images" im Detail zu präsentieren – wie man es von einem Lehrbuch erwarten dürfte. Stattdessen reißen sie die Beispiele nur kurz an.

Vergiftete Eingabedaten

Dass ML-Systeme von einem Mehr an Trainingsdaten profitieren, gehört zu den Grundlagen der Systemtechnik. Problematisch wird es, wenn bereits beim Beschaffen der Trainingsdaten Fehler einfließen. Die Autoren verdeutlichen das anhand einiger in der Realität vorkommender Probleme – darunter ein lustiges Beispiel einer TikTok-Influencerin, die ihre (jugendliche und weibliche) Leserschaft zur massenhaften Teilnahme an einem Meinungsumfrage-Dienst animierte. Diese Verschiebung der demografischen Basis führte zu wenig repräsentativen Ergebnissen; am Ende mussten einige Studien komplett neu aufgelegt werden, weil die zugrunde liegende Datenbasis nicht repräsentativ war.

Die Geschichte über das Platzieren vergifteter Links für Bing in den Google-Suchergebnissen kommt ebenfalls zur Sprache. Den beiden Autoren gelingt es meisterhaft, den Fluss der Informationen nachzuzeichnen. Wer die damals öffentlich ausgetragene Auseinandersetzung zwischen Google und Microsoft noch in Erinnerung hat, bekommt hier eine wissenschaftlich fundierte Erklärung dessen, was im Hintergrund lief.

Verschiedene Maßnahmen zum Erhöhen der Sicherheit

Mögen die im ersten Teil des Werks hervorgehobenen Bedrohungsszenarien eher wie ein Weckruf wirken, so wendet sich der zweite Teil den konkreten Zukunftsaussichten und praktischen Maßnahmen zu, um die Sicherheit von KI-Systemen zu erhöhen.

Neben technischen Maßnahmen spielen rechtliche Eingriffe eine wichtige Rolle: Das Werk liefert einen faszinierenden Überblick der verschiedenen Regierungsmaßnahmen, die im Laufe der letzten 30 Jahre (vergeblich) die Security verbessern sollten.

Zu guter Letzt präsentieren die beiden Autoren eine Liste schneller Fragen, die beim Durchführen von Assessments gegen ML-Systeme helfen sollen.

Empfehlenswerte Lektüre auch für nichttechnische Personenkreise

Wiley liefert mit "Not with a Bug, But with a Sticker" ein gelungenes Lehrbuch, das den Problemkomplex der Angriffe auf ML-Systeme anschaulich und umfassend behandelt. Neben praktischen Beispielen finden sich umfangreiche Hintergrundinformationen.

Aus meiner Sicht etwas enttäuschend ist lediglich, dass nur wenige grundlegende technische Darreichungen vorkommen. Andererseits ist das in englischer Sprache verfasste Werk mit gut 200 Seiten Umfang auch für Nichtmuttersprachler schnell zu lesen, und Fußnoten helfen dabei, sich in die als interessant empfundenen Themenkreise weiter zu vertiefen.

Unterm Strich verdient der Text von Ram Shankar Siva Kumar und Hyrum Anderson schon deshalb eine Empfehlung, weil er den wichtigen Themenkreis auch als Lektüre für nichttechnische Personenkreise aufbereitet, die beispielsweise für Security-Budgets zuständig sind.

Außerdem eignet sich das Werk auch für den Gabentisch, weil es – romanartig geschrieben – auch als stocking stuffer für diejenigen taugt, die schon alles haben.

Tam Hanna
befasst sich seit dem Jahr 2004 mit Handcomputern und Elektronik. Derzeit liegt sein Fokus auf interdisziplinären Anwendungen von Informationstechnologie.

(map)