Interview: Das sagt Lytro-Chef Jon Karafin zur neuen Lytro-Cinema-Lichtfeldkamera

Mehr Infos

Artikel bei facebook, twitter oder Google+ teilen

Der Versuch Lytros mit der Lichtfeldtechnik die Kameratechnik im Massenmarkt zu revolutionieren, ist gescheitert, jetzt will das amerikanische Unternehmen das Feld der TV-Produktionen erobern – und zwar mit einer neuen Lichtfeldkamera namens Lytro Cinema. Sie bietet eine Auflösung von 755 Megapixeln, einen Dynamik-Umfang von 16 Blendenstufen, 40k-Videos und Videos mit bis zu 300 Bildern pro Sekunde. Die generierten Datenmengen sind – in jeder Hinsicht – schwer zu fassen. Die Lichtfeldkamera produziert pro Sekunde bis zu 300 GByte an Bilddaten. Stefan Möllenhoff von unserem Partnerportal techstage hat Jon Karafin – Head of Light Field Video bei Lytro – auf der Cine Europe 2016 in Barcelona zum Interview getroffen.

Hier das Interview-Transkript:

Stefan Möllenhoff: Es geistern da aktuell diese riesigen Zahlen durchs Internet: 755 Megapixel mit bis zu 300 Bildern pro Sekunde und 300 GByte Daten, die pro Sekunde erzeugt werden, und das von einer Videokamera. Warum sollte man das tun?

Jon Karafin: Nun, das sind viele Fragen. Okay, also diese Datenraten stellen natürlich die Obergrenze dar, wenn man Bildraten von 300 fps aufnimmt. Filmt man dagegen eher mit 24 Bildern pro Sekunde, ist die Datenrate deutlich geringer – aber natürlich immer noch groß verglichen mit dem, was traditionelle Filmkameras liefern.

Kommen wir einmal zurück zu den Grundlagen, was ein Lichtfeld überhaupt ist. Ein Lichtfeld ist die Sammlung von Standpunkten, von denen aus man Lichtstrahlen sieht, die von einem Objekt reflektiert werden. Das ist also eine etwas bequeme Art zu sagen, dass es sich dabei im Prinzip um die Fähigkeit handelt, ein holografisches Bild einzufangen.

Mehr Infos

c't Fotografie-Newsletter

2 x pro Woche eine Mail mit c't Foto-News in die Mailbox: Hier anmelden

Zu den Dingen, die man nun also mit einer Lichtfeld-Kamera tun kann, gehört etwa das Refokussieren von Aufnahmen nach der Aufnahme, oder man kann die Blende anpassen, die Bildrate oder den Verschlusswinkel, und das alles per Nachbearbeitung am Rechner. Und das sind jetzt nur die Dinge, die man optik- und kameraseitig im Post-Processing noch anpassen kann, zusätzlich zu den ganzen Visual-Effects-Features, die ein Lichtfeld ermöglicht.

Ein Beispiel, das wir auf der NAB und auch hier auf der CineEurope gezeigt haben, ist die Möglichkeit eines sogenannten Depth Screens. Dieser Depth Screen ist die Fähigkeit zu verstehen, wo sämtliche Lichtstrahlen im Raum existieren. Dadurch ist es möglich, den Vordergrund und den Hintergrund zu extrahieren, als würde man mit einem Greenscreen arbeiten – nur ohne Greenscreen.

Das ist auch nur die Spitze des Eisbergs – ich bleibe jetzt einmal dabei und sehe, ob das so ungefähr Deine Frage beantwortet.

Das bedeutet also, das man praktisch kein 2D-Bild, sondern quasi ein 3D-Abbild einer Szene aufnimmt.

Karafin: Ja, das ist grundsätzlich richtig. Man fängt ein Volumen der Szene ein. Dadurch erhält man sämtliche Lichtstrahlen als fokussierte Lichtstrahlen und kann diese dadurch erneut in den Raum hineinprojizieren und dadurch ein neues zweidimensionales Bild erschaffen – beziehungsweise jedes beliebige zweidimensionale Bild innerhalb des refokussierbaren Bereiches.

Was bedeutet das nun für Filme? Wie wird das die Art und Weise verändern, wie Filme gemacht werden, die Art der Bilder, die wir sehen, und die Dinge, die in Filmen passieren? Wie wird sich das mit dieser Technologie verändern?

Karafin: Also, die einfachste Art und Weise, wie man das betrachten kann, ist, dass man jetzt während der Bearbeitung der Filme die Möglichkeit hat, nachträglich die Kameraeinstellungen anzupassen. Und das war bislang eben etwas, das man mit der Aufnahme fest in die Bilder eingebrannt war. Manche Regisseure und Kameramänner sind absolut perfekt darin. Jetzt kann man aber beispielsweise die Entscheidung über die Fokussierung betrachten, die am Filmset getroffen wurde. Und statt auf das Auge einer Person zu fokussieren, hat man auf die Rückseite der Schulter scharfgestellt um die Geschichte mit eben dieser Szene zu erzählen.

In genau diesem Punkt hat man nun mehr kreativen Freiraum, sodass das Endergebnis eine bessere Story ist. Und das ist eigentlich genau das, was wir wollen: Bessere Werkzeuge zur Verfügung zu stellen, um die Geschichte zu erzählen und Dinge zu tun, die zuvor nicht wirklich möglich waren mit traditionellen Kameras.
Was man ansonsten noch von der Output-Seite her tun kann, ist, die Inhalte für unterschiedliche Wiedergabearten und -formate herauszurendern. Das ist ebenfalls etwas, das man bislang mit traditionellen Kameras nicht tun konnte. Um beispielsweise vom Kino- aufs Broadcast-Format zu kommen, musste man eine Pulldown-Umwandlung durchführen, während man mit dem Lytro-Cinema-System jedes beliebige Format ausgeben kann.

Der nächste interessante Bereich betrifft CGI, also visuelle Effekte, die man nachträglich noch in eine Szene einbaut. Was ändert sich hier, wenn man bereits einen Raum eingefangen hat, und man möchte hier dreidimensionale, computergenerierte Bilder einfügen? Gibt es hier komplett neue Möglichkeiten?

Karafin: Wir sehen das hier gerne als die komplette Virtualisierung der Kamera. Zu den Dingen, die das System automatisch liefert, gehört die Kamera-Tracking-Information. Man hat also diese Daten, dazu kommt noch die dichte Punktprojektion eines jeden Lichtstrahls im Raum, was es dann erlaubt, die computergenerierten Modelle in die Szenerie einzubinden, ohne zuvor erst großartig die grundsätzliche Umgebung nachzumodellieren. Es ist also eine wirklich einfache Art, an diesen Integrationsprozess heranzugehen.

Man kann das auch wie ein Deep Image betrachten, falls Du mit dem Format vertraut bist. Ein Deep Image bedeutet, dass man von einem CG-Renderer die 2D-Pixel bekommt, dabei allerdings von jedem Pixel mehrere Versionen hat. Das heißt, dass ich nun eine Partikelwolke haben kann, die nun für jeden Pixel neben den RGBA-Werten auch einen Z-Wert hat. Beim Lichtfeld ist es ein sehr ähnliches Konzept, wo man nun all die verschiedenen Lichtstrahlen erhält, die durch die Eintrittspupille in das System gelangen.
Das erlaubt es dann, die Objekte direkt auf den verschiedenen Ebenen zu platzieren und dabei sämtliche Alpha-Informationen des aufgenommenen Bildes zu haben, um die Szene zusammenzufügen. Und das ist dann wieder der Depth Screen in Verbindung mit dem Kamera-Tracking und der Punktprojektion, die diese vollständige dichte Punktprojektion und ein Verständnis des Volumens ergibt, um diese Umgebung zu erschaffen.

Unterm Strich sorgt das dann also dafür, dass es deutlich unkomplizierter wird, computergenerierte Effekte einzufügen, vereinfacht den Prozess und verbessert vermutlich auch die Qualität der Ergebnisse. Und vielleicht ermöglicht es das auch mehr Filmemachern, komplexere computergenerierte Effekte in ihren Filmen einzusetzen?

Karafin: Ja, das ist absolut richtig. Die Möglichkeit, eine Szene, die vorher keine visuellen Effekte hatte, in einen visuellen Effekt zu verwandeln, ist genau das, worin dieses System großartig ist.

Und wo wir über die Leistbarkeit sprechen und darüber, dass das System bestimmte Prozesse vereinfacht: Wer wird aktuell in der Lage sein, Lytro Cinema zu nutzen?

Karafin: Das ist eine gute Frage. Wir sind davon überzeugt, dass in der Zukunft die Effizienz eine Rolle spielen wird, die diese Technologie mit sich bringt. Heute geht es uns allerdings in erster Linie um die kreativen Vorteile und die neuen Möglichkeiten und weniger um die Kennzahlen, wie viel Zeit und Geld man sparen kann.

Sobald wir dann aber mehrere Produktionen unter Dach und Fach haben, werden wir sicherlich auch mehr darüber lernen, wie diese Kennzahlen aussehen, aber heute haben wir dazu noch keine Angaben. Wir konzentrieren uns also wirklich auf all die kreativen Vorteile und all die Dinge, die man tun kann, die vorher einfach grundsätzlich nicht möglich waren.

Wie sieht dann also eine solche Kamera aus? Ich vermute, sie sieht weniger wie eine traditionelle Kamera aus und passt vermutlich auch nicht gerade in einen Koffer, oder?

Karafin: Sie kommt eher wie eine Couch daher als etwas, das in einen Koffer passen würde. Die erste Generation, die wir jetzt zur NAB vorgestellt haben und dort auch dabei hatten, ist ungefähr sechs Fuß lang (1,83 m), um Dir einfach einmal eine Vorstellung von der Größe zu geben. Um das nun weiter einzuordnen: Der Bildsensor im Inneren ist mehr als einen halben Meter breit. Anstelle einen 35-Millimeter-Sensor zu haben, der je nach verwendetem System etwa 24 bis 28 Millimeter breit ist, ist dieser Sensor über 550 Millimeter breit.

Damit möchte ich einfach verdeutlichen, wie viele Lichtstrahlen wir wirklich einfangen und wie groß auch die Pixel sind. Und genau das tun wir, um einfach das Level an Bildqualität zu gewährleisten, das für das Kino erforderlich ist. Diese Angaben kommunizieren wir, damit verständlich ist, wieso das System heute noch so groß sein muss.

Gleichzeitig arbeiten wir allerdings auch an einer Miniaturisierung der Technologie, was ziemlich viel Feedback vom Set erfordert. Wir haben diese Designstudien aber bereits hinter uns gebracht, um sicher zu gehen, dass wir verstehen, wie wir das System bauen müssen – und das ist heute bereits im Gange. Das finale Produkt wird dann tragbar, kabellos und sogar leicht sein. Das ist dann also die nächste Generation, an der wir bereits arbeiten. Allerdings liegt das noch viele Jahre in der Zukunft.

Wie verändert sich damit der Prozess der Bildbearbeitung und der Postproduktion, einerseits was die Videoformate angeht, die man nutzen muss, und andererseits auch was die Menge an Daten angeht, die hier für einen Film generiert werden.

Karafin: Gute Fragen – die einfache Antwort ist: Es muss sich gar nichts verändern. Es gibt hier zwei verschiedene Workflows, und ich möchte mit dem einfachsten Workflow beginnen. Der erste Workflow wäre, dass man die Lichtfeld-Daten erzeugt und einfängt. Anschließend rendert man daraus das gewünschte zweidimensionale Ergebnis heraus, nachdem man quasi eine Lichtfeld-Bearbeitungssession hatte.
Grundsätzlich geht man in den Dailies zusammen mit dem Regisseur und gegebenenfalls den anderen technischen Mitarbeitern durch die Ergebnisse und produziert ein finales Ergebnis, rendert dieses heraus und lässt es ohne weitere Änderungen in den bestehenden Workflow einfließen. Denn schließlich handelt es sich dabei nur noch um ein normales, zweidimensionales Bild beziehungsweise stereoskopisches Bildpaar.
Der langfristige Workflow dagegen bedeutet, dass man die Lichtfeld-Rohdaten während der gesamten Postproduktion beibehält. Wir unterstützen diesen Workflow durch die Implementierung einer ganzen Cloud-Architektur in das System, so dass sich die Effekt-Studios, die Postproduktion und das Studio selbst keine Sorgen um irgendwelche Veränderungen bei der Architektur ihrer eigenen Backend-Systeme machen müssen.

Heißt: Wir nehmen die Daten vom Set – und hier entwickeln wir gerade Abgabeorte rund um den Globus, die es dann erlauben, die Rohdaten in die Cloud hochzuladen. Hier geschieht dann die ganze Datenverarbeitung, hier steht der notwendige Speicher zur Verfügung und hier gibt es auch die Software, die für die Lichtfeld-Bearbeitung erforderlich ist. Wir haben diese in Nuke implementiert und arbeiten hier auch sowohl mit Google und The Foundry zusammen, um diese Softwarelösung zu entwickeln.

Das ultimative Ziel ist es hier, ein Herumschieben der Daten zu vermeiden. Diese sollen sich in einer zentralen Speicherarchitektur befinden, von wo aus man immer nur das Nutzerinterface streamt. Das bedeutet, dass man auch vom Notebook oder Smartphone aus arbeiten kann und gleichzeitig Highend-Visual-Effects ausführt. Das ist ebenfalls etwas, das wir jetzt auf der NAB zum ersten Mal gezeigt haben – bei dieser Session ging uns leider die Zeit aus. Aber das ist etwas, das man wirklich mit sehr geringer Bandbreite realisieren kann, da man zu diesem Zeitpunkt wie gesagt auf remote Computer zugreift.

Das ist wirklich großartig und sehr faszinierend. Meine letzte Frage wäre nun: Wann werden wir den ersten Film sehen, der mit dieser Technologie gefilmt wurde?

Karafin: Gute Frage: Wir befinden uns heute noch im Alpha- und Beta-Stadium – und das wird sich noch bis Ende dieses Jahres hinziehen. Wir werden unseren offiziellen kommerziellen Start Anfang nächsten Jahres durchführen. Das wird dann auch der Zeitpunkt sein, zu dem wir eine offizielle Ankündigung geben werden, an was wir arbeiten. Zwischen dem jetzigen Zeitpunkt und dann unterliegen wir diversen Vertraulichkeitserklärungen, aber es gibt wirklich viele aufregende Dinge, auf die wir hinarbeiten. (keh)