Edge AI: TinyML und TensorFlow Lite – Teil 2
Mit dem KI-Framework TensorFlow Lite beziehungsweise TensorFlow Lite for Microcontrollers lassen sich KNN-Inferenzmodelle auch auf Kleinstgeräten ausführen.
Edge AI ist die Zukunft
(Bild: generiert mit DALL-E)
- Dr. Michael Stal
Aufbauend auf den im ersten Teil der Artikelserie diskutierten KI-Grundlagen widmet sich der vorliegende Beitrag der praktischen Arbeit mit Künstlichen Neuronalen Netzen (KNNs) im Embedded-Umfeld und den dafür geeigneten Werkzeugen wie TinyML und TensorFlow Lite.
TinyML
Während das Training von KNNs überwiegend auf schnellen Servern oder Desktops passiert, lässt sich durch zahlreiche Kniffe ein KNN-Inferenzmodell selbst auf Kleinstgeräten mit minimalen Ressourcen ausführen. Unter Kleinstgeräten sind zum Beispiel Mikrocontroller-Boards mit Leistungen im mW-Bereich, Stromstärken von wenigen mA, Speichergrößen oft weit unter 1 MByte sowie Taktfrequenzen von wenigen Dutzend bis einigen Hundert MHz zu verstehen, die auch batteriegetrieben arbeiten können.
Dafür ist es nötig, das KNN möglichst kompakt abzulegen und für ausreichend Effizienz zu sorgen. Ein gangbarer Weg ist beispielsweise, speicherhungrige Datentypen wie Gleitkommazahlen so zu quantisieren, dass stattdessen Ganzzahlen an ihre Stelle treten. Durch diese und weitere Optimierungsmaßnahmen lassen sich zum einen Inferenzmodelle äußerst kompakt abspeichern und zum anderen Inferenzen selbst auf Mikrocontrollern performant durchführen. Genau dazu dient TinyML. Beispiele für TinyML-Anwendungen sind unter anderem das KI-Framework TensorFlow Lite / TensorFlow Lite for Microcontrollers und das Online-MLOps-Werkzeug Edge Impulse. Selbst auf Arduino-Boards lassen sich KNNs mit wenigen KByte Speicherbedarf abarbeiten, die zudem oft nur wenige Millisekunden für Vorhersagen benötigen. Im Folgenden betrachten wir dazu exemplarisch TensorFlow und Edge Impulse in Fallstudien.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Telezooms im Vergleich
Informatiker im Öffentlichen Dienst: Aufgaben, Gehälter und Verbeamtung
3D-Druck: Payment-Ring im Eigenbau
Photovoltaik: Anlagen dimensionieren, Wirtschaftlichkeit berechnen
Apple iPad Pro 2024 im Test: Mit M4 und OLED
IT-Gehälter 2024: Das verdienen Security-Experten in Deutschland
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Telezooms im Vergleich
Informatiker im Öffentlichen Dienst: Aufgaben, Gehälter und Verbeamtung
3D-Druck: Payment-Ring im Eigenbau
Photovoltaik: Anlagen dimensionieren, Wirtschaftlichkeit berechnen
Apple iPad Pro 2024 im Test: Mit M4 und OLED