Schlaf- und Traumphasen sollen der KI beim Lernen helfen

Es gibt verschiedene Theorien über die Art und Weise, wie Menschen Erinnerungen speichern und abrufen. Eine davon ist die Complementary Learning Systems Theorie (CLS), die besagt, dass das Zusammenspiel zwischen dem Hippocampus und dem Neokortex, zwischen einem vereinfacht gesagt schnell lernenden und einem langsam lernenden Hirnareal, maßgeblich daran beteiligt ist, neue Erfahrungen in Erinnerungen umzuwandeln – ein Prozess, der vorrangig im Schlaf stattfindet.

Solche Theorien aus der Hirnforschung machen sich längst die Entwicklerinnen und Entwickler neuronaler Netze zunutze. Im Jahr 2021 hat ein Team aus Singapur mit DualNet ein KI-Modell vorgestellt, das sowohl einen langsamen als auch einen schnellen Trainingsprozess anwendet und somit das menschliche Lernen imitiert. In einer aktuellen, noch nicht von unabhängigen Experten geprüften Studie gehen Forschende der Universität von Catania in Italien noch einen Schritt weiter: Ihr Algorithmus arbeitet mit an die CLS-Theorie angelehnten Schlaf- und Wachphasen.

Das Team wollte herausfinden, ob KI-Modelle zuverlässiger werden, wenn sie nicht durchgängig mit neuen Informationen bombardiert werden, sondern zwischendurch die Möglichkeit haben, Informationen "sacken zu lassen". Tatsächlich gibt es im maschinellen Lernen ein Phänomen, das als "katastrophales Vergessen" bezeichnet wird, in dem die Algorithmen das zuvor Gelernte komplett vergessen. Eine mögliche Erklärung ist, dass während des sequentiellen Lernens neue Repräsentationen die Alten überlagern und somit aus dem Gedächtnis zurückdrängen.

Um zu testen, ob eine Aufteilung in Schlaf- und Wachphasen die Algorithmen in ihrer Anwendung robuster macht, haben die Forscherinnen und Forscher aus Catania eine Trainingsmethode namens "Wake-Sleep Consolidated Learning" (WSCL) entwickelt und diese für ein Modell zur Bilderkennung angewandt. "Wir führen eine Schlafphase ein, die jene menschlichen Gehirnzustände nachahmt, in denen synaptische Verbindung, Gedächtniskonsolidierung und Träume stattfinden", schreiben sie.

Gehirnjogging für die KI

In der Wachphase wird das Modell ganz normal mit Trainingsdaten gefüttert, in diesem Fall mit neuen Bildern von Tieren. In dieser Phase werden neue Erfahrungen gewissermaßen im Kurzzeitgedächtnis gespeichert. Auf die Wachphase folgt die Schlafphase, die analog zum menschlichen Schlaf in zwei sich abwechselnde Phasen aufgeteilt ist: Einem Non-REM-Schlaf, in dem das neuronale Netz einerseits die Erinnerungen wiedergibt, die während der Wachphase gesammelt wurden, und andererseits vergangene Erfahrungen verarbeitet, also ältere Trainingsdaten im Langzeitgedächtnis konsolidiert. Dazu kommt der REM-Schlaf, bei dem das Träumen neue Erfahrungen simuliert und das Gehirn auf zukünftige Ereignisse vorbereitet.

Diese Traumphase, in der die KI abstrakte Bilder mit verschiedenen Tierkombinationen verarbeitet, sei wichtig, sagt der an der Studie beteiligte Forscher Concetto Spampinato gegenüber dem "New Scientist". Sie helfe, "bisherige Wege digitaler Neuronen zusammenzuführen und so Platz für andere Konzepte in der Zukunft zu schaffen". Das würde es dem Model erleichtern, neue Konzepte zu lernen. Quasi eine Art von Gehirnjogging für die KI.

Aber zeigt die Aufteilung des Trainings in Wach-, Schlaf- und Traumphasen tatsächlich eine Wirkung? Ja, sagen die Forschenden. Sie haben ihren mit WSCL trainierten Algorithmus mit drei gängigen Bilderkennungsmodellen verglichen. Die Erkennungsrate lag zwischen zwei und zwölf Prozent höher. Außerdem war der sogenannte "Vorwärtstransfer" höher; das Modell hat mehr altes Wissen angewandt, um neue Aufgaben zu lernen. Das sei ein Hinweis darauf, dass die Plastizität neuronaler Netze durch konkrete Schlaf- und Wachphasen verbessert werden kann.

(jle)