Forscher am MIT haben das KI-gestützte Verfahren »Tensor-Holografie« entwickelt. Auf Smartphone-Hardware lassen sich Hologramm-Bilder in Videoqualität berechnen. Ein lang erwarteter Schritt in Richtung Holografie-Displays.
Viele VR-Entwickler würden gerne Holografie zur Bilddarstellung nutzen. Ein Hologramm enthält neben den Farbwerten auch Tiefeninformationen. Der Betrachter kann das Hologramm unter verschiedenen Blickwinkeln ansehen und erhält mehr als eine Fokuseben, sodass eine wirklichkeitsgetreuere Darstellung entsteht, die auch computergeneriert erzeugt werden kann. Der Anwendung steht bisher der hohe Rechenaufwand entgegen. Mit den aktuellen physikbasierten Berechnungsmethoden benötigen auch Großrechner Sekunden bis Minuten für ein Hologramm. »Da jeder Bildpunkt eine andere Tiefe hat, lässt sich nicht eine einzige Rechenoperation auf alle Punkte anwenden«, erklärt Liang Shi die Grenzen klassischer Holografie.
Deutlich schneller mit Tensor-Holografie
Shi ist Doktorand am Department of Electrical Engineering and Computer Science (EECS) des Massachusetts Institute of Technology (MIT). Zusammen mit seiner Arbeitsgruppe hat er das »Tensor-Holografie«-Verfahren entwickelt. Es verkürzt die Berechnung auf einige hundert Millisekunden und kommt mit Rechen- und Speicherressourcen aus, die in heutigen Smartphones integriert sind. Zur Einordnung der Leistungsfähigkeit nennen die Forscher in einer Publikation im Fachmagazin Nature, dass sich mit einem einzigen Grafikprozessor aus der Konsumelektronik-Klasse aus einem RGB-Bild ein 3D-Hologramm in Fotoqualität mit 60 Hz bei 1920 x 1080 Pixeln Auflösung berechnen lässt. Für die Tiefeninformation werden die Bilder mit einer Multi-Kamera oder einem LIDAR-Sensor aufgenommen. Hardware, die ebenfalls in aktuellen Smartphones integriert ist. Eine interaktive Berechnung von Hologrammen, wie es für VR-Brillen nötig ist, war an einem Smartphone (iPhone 11 pro) mit 1 Hz und an einem Edge-Gerät (Google Edge TPU) mit 2 Hz möglich. Die Ergebnisse seien ein vielversprechender Schritt, um Echtzeit-Berechnungen von Hologrammen für VR- und AR-Brillen nutzen zu können. Bis zu kommerziellen Holografie-Displays wird es noch weitere angewandte Forschung benötigen. Nach Einschätzung von Shi wird es noch rund zehn Jahre dauern.
Geschwindigkeitsvorteil durch neuronales Netzwerk
Die »Tensor-Holografie« ist ein KI-basierter Ansatz. Die Forscher haben ein Convolutional Neural Network (CNN) aus Tensoren aufgebaut. Als Datenbasis für den Einlernprozess wurden aus 4.000 Bildern mit Tiefeninformation mit Hilfe von klassischen Rechenmethoden Hologramme berechnet. Aus den Hologramm-Bild-Paaren wurde das Tensor-CNN eingelernt. Am Ende erzeugte es Hologramme um einige Größenordnungen schneller als es mit physikbasierter Berechnung möglich ist. »Dass es so gut funktioniert, hätten wir nicht gedacht«, zeigte sich der Leiter der Arbeitsgruppe Prof. Wojciech Matusik selbst überrascht. Ein weiterer Pluspunkt für den kommerziellen Einsatz ist die geringe Datengröße. Das CNN benötigt weniger als 1 MB Speicher.
Anwendungsfelder VR und 3D-Druck
Die Arbeit wird auch jenseits des MIT gewürdigt. Sie zeigt, »dass holografische 3-D-Displays auch mit geringer Rechenleistung umsetzbar sind«, sagt Microsofts Pricipal Optical Architect Joel Kollin. Gegenüber der bisherigen Forschung zeige die Arbeit eine deutliche Verbesserung der Bildqualität, die eine realistischere und komfortablere Darstellung für den Anwender ermögliche. Für VR-Entwickler bietet sich über Hologramme auch eine Möglichkeit, um das lange bekannte Problem der VR-Übelkeit abzumildern, die u.a. durch fehlende 3-D-Darstellung hervorgerufen werden soll. Die »Tensor-Holografie« kann mit allen Display-Techniken umgesetzt werden, bei der die Phase des Lichts moduliert wird. In der Konsumelektronik dominieren aus Kostengründen bisher Displays, die allein die Helligkeit steuern.
3-D-Holografie kann laut den MIT-Forschern auch die Entwicklung das volumetrischem 3-D-Drucks vorantreiben. Gegenüber des schichtweisen 3-D-Drucks könnte sich ein volumetrisches Verfahren als schneller und präziser erweisen. Weitere Anwendungen sind die Mikroskopie, die Visualisierung medizinischer Daten und das Design von Oberflächen mit besonderen optischen Eigenschaften.
Publikation und Projekt-Webseite
Die Publikation ist unter dem Titel »Towards real-time photorealistic 3D holography with deep neural networks« im Fachmagazin Nature am 10. März 2021 erschienen. Der Zugriff auf die Arbeit ist kostenpflichtig. Zum Projekt unterhält das MIT eine eigene Projekt-Webseite.
Quelle:
Foto: © Marko Aliaksandr | Shutterstock.com
Holografie ist mit klassischen Methoden zu rechenaufwendig für Embedded-Systeme – Forscher am MIT haben die Rechenzeit mit einem KI-Ansatz stark reduziert
