Geht es um fortschrittliche Technik, steht am Anfang viel Theorie. Umso interessanter ist es, wenn sich ein Forschungsinstitut mit Industriepartnern zusammentut, um die Theorie in die Praxis zu überführen. So unlängst geschehen in Troisdorf und wir haben uns das für Sie angesehen.
An gehypten Begriffen mangelt es in der Tech-Szene selten und das Metaverse ist ein gutes Beispiel dafür. Wurde es zu Beginn von vielen trotzdem noch eher als mehr oder wenig nützliche Erweiterung der sozialen Medien oder für die Spieleindustrie betrachtet, erreichte das Thema spätestens zur Hannover Messe 2022 eine neue Relevanz. Damals prophezeite Microsofts Deutschland-Chefin Marianne Janik, das Metaverse werde künftig auch für die Industrie relevant.
Dieser Auffassung schließen sich inzwischen verschiedene Expertinnen und Experten an. Vor allem seien es Assistenzsysteme in Produktion, Wartung und Logistik aber auch in den Bereichen Mobilität und Verkehr, die von den Möglichkeiten der virtuellen Welt profitieren könnten. Dennoch herrscht bei der Frage nach dem heute bereits verfügbaren praktischen Nutzen vielerorts noch Unklarheit.
Hier setzt das Projekt 5G Troisdorf Industrie Stadtpark an und bot Pressevertreterinnen und -vertretern vor kurzem die Möglichkeit, sich selbst einen Eindruck des Industrial Metaverse zu verschaffen. Denn auch bei dieser Technologie gilt, dass ihr Erfolg maßgeblich vom ihr zugedachten Anwendungsanfall abhängt.
Gezeigt werden sollten die im Projekt bereits realisierten Anwendungen für den Maschinenbau. Sie basieren auf schnellem, drahtlosen Internet über das 5G-Netz, Remote Rendering von CAD-Daten sowie Datenbrillen für Mixed Reality (MR) und Virtual Reality (VR). Da das Campusnetz zum Zeitpunkt der Demonstration aufgrund von Hardware-Lieferengpässen allerdings noch nicht stand, musste die Vorführung ohne den schnellen Mobilfunkstandard auskommen – und das funktionierte auch.
Remote-Wartung und globale Zusammenarbeit profitieren
Für das Projekt arbeitet das forschungsverantwortliche Fraunhofer FIT im Industrie Stadtpark Troisdorf mit den dort ansässigen Unternehmen Kuraray Europe und ZWI Technologies zusammen.
Im Mittelpunkt dieser Zusammenarbeit stehen eine Produktionsmaschine von ZWI, welche wiederum auf der Produktionsstraße von Kuraray zum Einsatz kommt, und deren digitaler Zwilling. Mit besagtem Zwilling kann man mittels VR- und MR-Brillen im digitalen Raum interagieren. Beispielsweise kann man Einzelteile der Maschine anwählen, diese dann aus der virtuellen Konstruktion herauslösen, näher ran holen oder weiter weg halten und sie so von allen Seiten betrachten.
Ebenfalls ist es möglich, eine Auswahl verschiedener Piktogramme am digitalen Zwilling zu platzieren und so einer anderen Person, die sich nicht am gleichen physischen Ort aufhält, beispielsweise zu signalisieren, wo sich ein Teil befindet und was damit geschehen soll.
Ein prototypischer Anwendungsfall ist hier die Fernwartung. Treten in Industriebetrieben Störungen auf, ist der größte Zeitfaktor zu deren Beseitigung in der Regel die Reise von geschultem Fachpersonal zum Ort der Störung. Je nach Unternehmen kann dieser dabei irgendwo auf der Welt liegen.
In diesem Kontext kann eine an einem anderen Produktionsstandort ansässige Person von der Zentrale aus oder dem Maschinenbauer selbst Schritt für Schritt durch den Prozess geführt werden. Die möglicherweise weniger gut ausgebildete Fachkraft an der Maschine, die das Problem gemeldet hat, wird somit von einem Experten unterstützt, der Zugriff auf eine digitale Version der Maschine in VR hat. Die Person an der physischen Maschine kann gleichzeitig eine Mixed-Reality-Ansicht sehen, die mit dem Experten geteilt wird – einschließlich eines digitalen Zwillings der Maschine. Beide Personen sind dabei durch Avatare repräsentiert und können miteinander kommunizieren.
Die Technik etwas detaillierter
Das System, das in Troisdorf zum Einsatz kommt, setzt sich aus drei Hauptkomponenten zusammen:
- 1. einem Mixed-Reality-Headset, hier einer Holo Lens 2,
- 2. einer Meta Quest 2 als VR-Brille, die für mehr Leistung über Oculus Link mit einem PC verbunden ist, und
- 3. einem Server-System, das beide Brillen miteinander verbindet.
Laut Fraunhofer ist die Anwendung so aufgebaut, dass so wenig private und kontextbezogene Informationen wie möglich gespeichert und alle notwendigen Informationen zur Runtime nach der Authentifizierung von einem Server abgerufen werden. Anschließend lädt sie lokale gerenderte Modelle, deren Metadaten und Prozessrichtlinien herunter, die auf einem Server, dem sogenannten BSCW-Server (Basic Support for Collaborative Work), gespeichert sind.
Für die notwendige Echtzeit-Synchronisation und -Kommunikation sind beide Brillen während einer Sitzung durchgehend mit dem Serversystem verbunden. Am Anfang einer Sitzung müssen sich die Geräte beim Hauptserver registrieren. Er gleicht sie ab und weist ihnen zugehörige Metadaten zu. Dieser startet auch einen sogenannten Avatar-Server, der für die Synchronisierung der Unity-Apps der Endbenutzer zuständig ist.
Der Video-Audio-Chat läuft auf Basis des Web-Real-Time-Communication-Protokolls (WebRTC). Außerdem verwaltet der Server auch den Signalisierungsprozess von WebRTC, bei dem verschiedene Peers einen direkten Kommunikationspfad untereinander aushandeln.
Die nachfolgenden Grafiken illustrieren das Konzept. In den Abbildungen sieht man die VR- und MR-Benutzer, ihre Repräsentation als Avatar und den Videochat aus Sicht des VR-Benutzers. Weiterhin zeigen die Bilder ihre individuellen Ansichten im gemeinsamen Raum. In diesem System kontrolliert der Experte den digitalen Zwilling, die Person vor Ort konzentriert sich hingegen auf die reale Maschine. Den digitalen Zwilling und die Informationen des Experten nutzt sie als unterstützendes visuelles Leitsystem.
uss zum Beispiel eine Schraube gelöst werden, kann diese durch den VR-Experten nicht nur lokalisiert werden. Auch die Art der Interaktion mit dem Gegenstand, hier also das Lösen, kann mittels passender Icons grafisch und notfalls ganz ohne Worte dargestellt werden.
Ist in Industriebetrieben eine direkte Verbindung zwischen den Geräten beispielsweise aus Sicherheitsgründen nicht möglich, braucht man einen zusätzlichen WebRTC-TURN-Server. Dieser leitet dann die Informationen für den Videochat über das Internet weiter.
Die Vision hat einen Namen
Aber war hier nicht eingangs vom Metaverse die Rede? Dr. Leif Oppermann, der am Fraunhofer FIT den Bereich Mixed and Augmented Reality Solutions verantwortet, bringt es in einem Satz auf den Punkt: „VR und AR sind die Technologie, das Metaverse ist die Vision“.
Und diese Vision ist in ihrer Definition teils schlichtweg noch unklar, beziehungsweise variiert zwischen den Personen, die über sie sprechen, und den Anwendungsfällen, die damit realisierbar sein sollen.
Einige assoziieren den Begriff primär mit einem Netz kollaborativer virtueller Umgebungen oder einer Virtual Reality, erklären die Fraunhofer Forscher um Oppermann. Andere wiederum betonen die Verbindungen zu realen Umgebungen und somit den Aspekt einer Mixed Reality, die virtuelle Zwillinge enthält.
Beiden Interpretationen gemein ist in jedem Falle die soziale Komponente der Zusammenarbeit mit anderen Menschen, die durch räumliche Interaktionstechnologie gefördert wird und im Idealfall drahtlos funktioniert, was die Zusammenarbeit aus der Ferne erleichtert.
Ob Ausdrücke wie Augmented Reality, Mixed Reality oder Virtual Reality eines Tages unter dem terminologischen Dach einer Vision namens Metaverse verschmelzen werden, wird sich zeigen. Einen Vorgeschmack darauf, wie sich diese Vision anfühlen könnte, liefert das Projekt in Troisdorf aber schon mal ganz – Achtung Wortspiel – eindrücklich.
Quelle:
Foto:
Der Kollege an der Maschine trägt eine MR-Brille. (Bild: Fraunhofer FIT)
Mixed- und Virtual Reality-Brillen sind ein wichtiger Teil der technischen Grundlage des Metaverse.(Bild: frei lizenziert / Unsplash)
