Augen für ChatGPT: Bastler zeigt, was mit iPhone, Mac und KI möglich ist

Es ist ein Hack im besten Sinne: Der KI-Entwickler Mckay Wrigley hat mit einem iPhone, einem Mac und KI-Software ein Beispiel gebastelt, das aufzeigt, was ein AR-Headset von Apple leisten könnte. Das iPhone diente dabei dazu, der KI Augen zu geben, damit diese optische Aufgaben erledigen konnte.

Wrigley verwendet die Software YoloV8 für die Objekterkennung, GPT-4 für die Text-KI, OpenAI Whisper für die Stimme sowie Google Custom Search Engine für das Browsen im Web und die Programmiersprache Python. Ein Video, das er auf Twitter veröffentlicht hat, zeigt, wie diese Installation Objekte, die im Sichtfeld des iPhones liegen, identifiziert. Wrigley ließ die KI dann erlernen, was eine Keto-Diät ist, fand damit passende Lebensmittel in seinem Kühlschrank und ließ ein Rezept suchen, um damit etwas zuzubereiten.

Rechenleistung des Macs notwendig

Der Bastler behauptet, dass es sehr einfach gewesen sei, die verschiedenen Komponenten zusammenzubringen. Allerdings habe das iPhone die visuelle Erkennung von seiner Rechenleistung nicht geschafft – dafür benötigte er dann doch den Mac. Gleichwohl könnte ein AR-Headset Apples, dessen Vorstellung für die Entwicklerkonferenz WWDC spekuliert wird, entsprechend ausgestattet sein, um diese Berechnungen selbst zu schaffen.

Ein solches Headset könnte auch für Menschen, die schlecht sehen können, eine große Hilfe sein. Durch die KI könnte es mit natürlicher Sprache gesteuert werden und wäre zudem flexibel einsetzbar. Die größte Hürde dürfte freilich die Hardware sein.

(mki)