Wie Apples Augmented-Reality-Zukunft aussehen könnte

Inhaltsverzeichnis

Prof. Dr. Christian Theobalt ist Leiter der Forschungsgruppe "Graphics, Vision & Video" am Max Planck Institut Informatik und der Universität des Saarlandes, die Teil des Saarland Informatics Campus in Saarbrücken sind. Der Wissenschaftler arbeitet derzeit an einem Projekt zur fotorealistischen Augmented Reality. Mac & i sprach mit ihm über die technischen Möglichkeiten und das AR-Projekt von Apple, das seit Monaten als Gerücht durchs Netz geistert.

Mac & i: Herr Theobalt, was ist Augmented Reality überhaupt und wozu wird man sie in Zukunft Ihrer Meinung nach verwenden?

Christian Theobalt: Bei Augmented Reality geht es grob gesagt darum, computergrafisch generierte Inhalte so mit der realen Welt zu überlagern, dass sie als Teil der realen Welt erscheinen. Man soll sich also in der realen Welt bewegen, mit ihr interagieren können, und die synthetischen Inhalte sollen sich hierbei entsprechend mitbewegen, mitverändern, auf Bewegungen und Interaktionen reagieren etc.

Einfaches Beispiel: eine computergrafisch überlagerte Vase soll so aussehen, als ob sie auf einem realen Tisch steht. Man soll also um sie herum laufen oder sie verschieben können, etc. Die Überlagerung findet hierbei im Sichtfeld eines AR-Geräts statt. Dies kann ein Mobiltelefon sein, wo das Bild der realen Welt von einer Kamera stammt, und dann auf dem Bildschirm die Überlagerung angezeigt wird. Es kann auch eine AR-Brille sein (Beispiel Microsoft HoloLens), wo die reale Welt tatsächlich durch das Glas der Brille gesehen wird, und die grafischen Inhalte darüber eingeblendet werden müssen.

Mac & i: Welche praktischen Anwendungen gibt es?

Denken Sie an Techniker, die bei der Montage oder Reparatur einer Maschine Informationen über den Zusammenbau, die Reparaturschritte, oder generelle Informationen über das Innere der Maschine eingeblendet sehen. Denken Sie an Hilfestellungen für Seh- oder Hörbehinderte, die ein AR-System geben könnte, das die Umgebung erkennt.

Denken Sie an Augmented-Reality-Telepräsenz, wo Personen, die hunderte Kilometer entfernt sind, realistisch vor einem eingeblendet werden, so als ob sie im Raum stünden und man mit Ihnen sehr realistisch sprechen und interagieren kann. Möglich wären auch virtuelle Spiegel, in denen man Frisuren, Kleidung etc. virtuell anprobieren kann. Oder stellen Sie sich vor, sie könnten sehen wie ein Einrichtungsgegenstand in verschiedenen Materialien in Ihrem Haus aussehen würde, bevor sie ihn kaufen.

Denken Sie an Apps, die zu Objekten in der Umgebung, oder Produkten im Supermarktregal wichtige Informationen einblenden. Head-up Displays in Autos könnten visuell Informationen über die Umgebung oder sogar die Karte, Gebäude etc. im Blickfeld des Fahrers überlagern. AR-Reiseführer können Informationen über Sehenswürdigkeiten, Restaurants etc. im Blickfeld überlagern, oder zeigen wie Gebäude in verschiedenen Epochen aussahen. Oder stellen Sie sich einen virtuellen Arbeitsplatz vor, an dem man virtuelle Bildschirme beliebig an Wänden im Raum platzieren kann.

Natürlich sind auch neuartige Computerspiele denkbar, die über Pokémon Go hinaus gehen, und bei denen Rätsel / Spieleinhalte noch stärker mit der realen Welt verzahnt sind.

"Technisch auf einem guten Weg"

Mac & i: Apple verrät selten etwas über seine künftigen Pläne, doch Konzernchef Tim Cook hat im letzten halben Jahr gleich mehrfach in Interviews betont, wie interessant er AR findet. Versucht er hier, dem Markt einen Boden zu bereiten?

Ich denke, dass Begeisterung für die Technologie und kommerzielles Interesse in solchen Statements immer zusammenkommen. Aber unabhängig von Apples kommerziellem Interesse ist AR natürlich eine hoch spannende Technik, welche durchaus die Geräte der Zukunft und die Art wie wir sie benutzen verändern wird.

Wenn wir kreativen Entwicklern die entsprechenden Tools und APIs zur Verfügung stellen, können wir uns auf viele spannende Anwendungen gefasst machen. Firmen sollten nur nicht den Fehler wiederholen, und Dinge versprechen, die AR vielleicht auf viele Jahre hinaus technisch noch nicht leisten kann. Mit dem, was derzeit technisch möglich ist, sind wir aber auf einem guten Weg.

Mac & i: Cook sagte auch, dass AR deshalb interessant ist, weil sie die Menschen nicht isoliert, wie das die virtuelle Realität tut. Sehen Sie diesen Konflikt zwischen beiden Technologien?

So eine pauschale Aussage ist schwierig, weil Virtual Reality und Augmented Reality ein Oberbegriff für eine Vielzahl ganz verschiedener möglicher Anwendungen ist. Aus meiner Sicht sind Virtual und Augmented Reality zwei Beispiele aus einem Spektrum an Merged-Reality-Szenarien, wo also Realität und virtuelle Inhalte zu unterschiedlichen Graden vermischt werden. Viele der technischen Probleme sind ähnlich und wir werden vielleicht in Zukunft, je nach Anwendung, eher fließende Übergänge zwischen AR und VR sehen. Natürlich findet unser Leben in der realen Welt statt und soziale Interaktion in der realen Welt ist für uns essentiell und durch nichts zu ersetzen.

AR eröffnet hier Möglichkeiten, die reine VR, bei der man komplett in eine virtuelle Welt eintaucht, nicht leisten könnte. Ich halte es auch für eher unwahrscheinlich, dass wir uns irgendwann über längere Zeit komplett in VR Welten bewegen wollen. Wir werden das eher für eine begrenzte Zeit tun: Für ein Spiel, für ein technisches Design, vielleicht auch für einen virtuellen Showroom, oder auch Telepräsenz. VR bietet hier derzeit einige Vorteile, zum Beispiel die viel bessere Bildqualität im Vergleich zu AR-Brillen. Die Anwendung wird den besten Grad des "Merging" bestimmen. Anwendungen mit einer starken sozialen Komponente machen sicher in AR mehr Spaß.

"Apple kauft Expertise ein"

Mac & i: Apple hat in den letzten Jahren eine ganze Reihe von Firmen eingekauft, die in den Bereich AR hineinpassen – vom Sensorhersteller Primesense, bekannt von der Xbox-Bewegungserkennung Kinect, über die Motion-Capture-Firma Faceshift bis hin zum Münchner Unternehmen Metaio, einem frühen AR-Vorreiter. Was verraten uns dies Akquisitionen über die Strategie des iPhone-Herstellers?

Die genannten Firmen bieten Bildverarbeitungstechnologien an, die dazu beitragen, dass man Modelle der Umgebung aufbauen kann (insbesondere das sogenannte Simultaneous Localization and Mapping, kurz SLAM) und aufbauend auf solchen Modellen AR-Anwendungen entwickelt (Metaio). Tiefenkameras (Primesense) messen für jeden Bildpunkt die Entfernung; aus solchen Daten lassen sich selbst mit einer Kamera interessante Modelle der statischen und bewegten realen Welt rekonstruieren; ein sehr wichtiges und in weiten Teilen nach wie vor ungelöstes Forschungsproblem in der Bilderkennung, mit dem sich auch meine Gruppe beschäftigt.

Faceshift arbeitet an Techniken, um Gesichtsmodelle aus Kamerabildern zu rekonstruieren. Letztlich läuft es darauf hinaus: Bessere Modelle der Umgebung in Echtzeit ermöglichen bessere AR. Mit besseren Gesichtsmodellen kann man zum Beispiel einen Schritt in Richtung virtueller Spiegel, AR-Telepräsenz, oder in Richtung neuer Videoeffekte gehen. Apple kauft also Expertise ein, um für die zukünftigen technischen Herausforderungen von AR gewappnet zu sein.

Mac & i: Apple scheint ja zunächst daran zu denken, AR in seinen Smartphones zu integrieren, offenbar wird im "iPhone 8" dazu eine 3D-Kamera verbaut sein. Was könnte ein solches System mehr als herkömmliche Handys mit Kameras?

3D-Kameras liefern ein 3D-Tiefenbild der Umgebung, messen also wie weit jeder Pixel von der Kamera entfernt ist. Das kann eine normale Farbkamera nicht leisten. Die Daten solcher Kameras sind aber oft sehr grob und verrauscht. Dennoch kann ein solcher Sensor helfen, das Rekonstruieren der Umgebung zu vereinfachen, was ja eine Voraussetzung für AR ist.

Die Kamera könnte also zum Beispiel beim SLAM helfen und die grobe Geometrie der Umgebung erfassen. Tiefenkameradaten könnten auch interessante Foto- und Videoeffekte ermöglichen, zum Beispiel Refokussieren von Bildern. Diese Kameras bieten sich auch als Sensoren für die Messung von Gesten, Körperbewegungen, oder der Bewegung von deformierbaren Oberflächen an. Allerdings sind Algorithmen zur wirklich genauen Rekonstruktion dynamischer Szenen, auch bei Verwendung von Tiefenkameras, weiterhin ein offenes Forschungsproblem, an dem aktiv gearbeitet wird.

Apple-SDK könnte AR popularisieren

Mac & i: Geplant ist wohl auch ein Augmented-Reality-SDK. Könnte das helfen, die Technik in Apps endlich stärker zu verbreiten?

Das ist bei AR mit Sicherheit so. Um eine technisch so komplexe Technik am Markt zu platzieren, braucht man neben Technologie und den Geräten auch die entsprechenden Anwendungen. Mit so einem SDK würde man kreativen Entwicklern die nötigen Werkzeuge in die Hand geben, ohne dass sie jedes der vielen AR-Teilproblem selbst lösen müssen.

Bild 1 von 7

Microsoft HoloLens in Aktion (7 Bilder)

Mac & i: Der Traum von AR war ja ursprünglich, die Technik in eine Brille einzubauen. Google Glass kann als gescheitert gelten, Microsofts HoloLens ist teuer und derzeit nur für Entwickler zu haben. Muss jemand wie Apple kommen, um eine solche Technik zu popularisieren?

Neben Apple arbeiten ja auch viele andere Firmen an AR- (und natürlich auch VR-) Technologie. Mit dem Begriff Scheitern wäre ich etwas vorsichtig, da die genannten Technologien, trotz geringem kommerziellem Erfolg, aus meiner Sicht einen Bewusstseinswandel eingeläutet haben, was die Möglichkeiten von AR betrifft.

Google Glass ist ein Paradebeispiel für ein klassisches PR-Problem von Augmented Reality. In der Öffentlichkeit, in vielen Berichten, und in PR-Videos wurde Glass immer als ein Beispiel für ein echtes AR-System dargestellt, was es aber eigentlich nie war und nie sein konnte.

Geschürte Erwartungen und Wirklichkeit lagen hier weit auseinander. Glass konnte Menüs statisch im Blickfeld überlagern und einfache Funktionen ausführen, wie zum Beispiel ein Video aufnehmen. Das ist aber nicht AR im wirklichen Sinne. Die Microsoft HoloLens ist sicher ein wichtiger Schritt in Richtung echte AR.

Mac & i: Es gab auch Spekulationen, dass Apple sich mit Zeiss zusammentun könnte. Wie realistisch ist eine kompakte AR-Brille für den Massenmarkt?

Die technischen Hürden liegen sehr hoch. Ich denke, dass es noch eine ganze Weile dauern wird, bis wir AR-Brillen haben, die für den Massenmarkt tauglich sind. Die besten Brillen derzeit sind recht unhandlich und werden wohl eher in sehr speziellen Anwendungen zum Einsatz kommen.

Bei AR ist es aber so, dass man auch auf eher klassischen Mobilgeräten erste spannende Anwendungen bauen kann. Hier hilft natürlich Apples Marktposition, um der Technik auf die Beine zu helfen. (bsc)