Security: Die zehn Schwachstellen der großen KI-Modelle
Das OWASP veröffentlichte die Topliste der größten Schwachstellen von Sprachmodellen. Neben alten Bekannten enthält die Liste auch Besonderheiten.
- David Fuhr
Schon Karl Marx wusste: Die Geschichte wiederholt sich immer zweimal – das erste Mal als Tragödie, das zweite Mal als Farce. Und so entdecken Entwickler, Anwender und Sicherheitsexperten mit jeder technischen Revolution wieder, dass scheinbar neue Klassen von Risiken auftreten, die aber merkwürdig bekannt erscheinen. Schon bei der Virtualisierung hat man festgestellt, dass Codeausführung nicht nur den dafür vorgesehenen Strukturen innerhalb eines Programms entkommen kann (Stack Overflow), sondern auch ein Ausbruch (Escape) aus VMs und Containern möglich ist. Momentan bemerken Experten verdutzt, dass ihre Lieblingskategorien von Problemen – etwa Information Leakage, Denial of Service, Injektionen und nutzergenerierte Daten – auch in der boomenden KI-Welt Security-Ärger machen.
Nur machen sie den jetzt im doppelten Sinn: Zum einen sind KI-Anwendungen wie die momentan besonders gehypten Large Language Models (LLMs) komplexe IT-Anwendungen und damit grundsätzlich für alle typischen Schwachstellen der eingesetzten Technik anfällig. Wenn man eine Web-API abschießen oder DDoSsen kann, kann das auch mit einem Machine-Learning-Dienst passieren. Und wenn Angreifer in ein SAN einbrechen, können sie auch das dort gespeicherte LLM mitnehmen.
Zum anderen sind gerade LLMs jedoch eine neue Art von Anwendungen, bei denen die Grenze zwischen Daten und Code viel stärker und komplexer verwischt als in bisherigen IT-Architekturen. Ein LLM gibt immer nur die wahrscheinlichste Fortsetzung einer eingegebenen Tokenfolge aus. Dabei ist jedes Token, jede Zeichenfolge im Prompt-Fenster eines großen Sprachmodells potenziell Input, Output und Anweisung zugleich – so wie beim Training die verarbeiteten Trainingsdaten in Form von Gewichten im Modell gespeichert sind. Also als eine Mischform von Daten und Code. Daher ist es dringend notwendig, sich mit den neuen Risiken systematisch auseinanderzusetzen – so geschehen im kürzlich erschienenen Dokument "Top 10 Vulnerabilities for LLM Applications" von Open Web Application Security Project (OWASP).
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Trend-Beruf: Mit diesen Fähigkeiten wird man KI-Experte
Dynamische Strompreise nutzen: Ein Erfahrungsbericht mit Tibber
Bastel-Projekt: Elektroniklabor für den Küchentisch
Gehälter 2024: Das verdienen Admins in Deutschland
Gebrauchter Sophos-Hardware neues Leben einhauchen
IT-Gehälter 2024: Das verdienen Security-Experten in Deutschland
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Trend-Beruf: Mit diesen Fähigkeiten wird man KI-Experte
Dynamische Strompreise nutzen: Ein Erfahrungsbericht mit Tibber
Bastel-Projekt: Elektroniklabor für den Küchentisch
Gehälter 2024: Das verdienen Admins in Deutschland
Gebrauchter Sophos-Hardware neues Leben einhauchen