Um die Immersion von Augmented Reality zu verbessern, haben Forscher eine Software entwickelt, die mittels KI die virtuelle Akustik an die reale Raumakustik anpasst.
Forscherinnen und Forscher der TH Köln haben im Projekt „Erzeugung von audiovisueller räumlicher Konvergenz für Augmented Reality Anwendungen und Systeme“, kurz „Earkar“, ein Verfahren entwickelt, um die Raumakustik von Augmented Reality (AR) zu verbessern.
Virtuelle Akustik realistisch gestalten
Bei Augmented Reality wird das physische Umfeld mithilfe von Datenbrillen oder Mobilgeräten erweitert, etwa in Form von Hologrammen im Raum: Das Ergebnis nennt man „Mixed Reality“ – im Gegensatz zur Virtual Reality, bei der man in einer komplett neuen Welt versinkt. Damit die Immersion, also die realistische Einbettung der Hologramme in die wirkliche Welt, erhalten bleibt, muss neben vielen anderen Faktoren auch die Akustik stimmen: Der virtuell erzeugte Ton muss an die vorhandene Raumakustik angepasst sein.
Raumakustik variiert von Raum zu Raum – in Fabrikhallen oder Kirchen etwa hallt die Akustik. Betreten wir einen Raum, erwarten wir bereits eine bestimmte Raumakustik – berücksichtigt die AR-Anwendung diese Erwartungshaltung nicht, ist das immersive Erlebnis gestört.
KI-Software analysiert Raumakustik
Das neue Verfahren der TH Köln kann die raumakustischen Eigenschaften der Umgebung ermitteln und die virtuellen Schallwellen daran anpassen. Dazu hat das Forschungsteam eine Software entwickelt, die mithilfe von Künstlicher Intelligenz (KI) verschiedene raumakustische Parameter extrahiert und eine Voraussage über die Raumakustik des realen Umfelds trifft. Das schafft die KI mittels Bildinformationen, anhand derer sie erkennt, ob sich die AR-Nutzerinnen und -Nutzer zum Beispiel in einer Fabrikhalle oder einem Büro aufhalten. Dann passt die Software die virtuelle Akustik daran an. Diese Lösung soll in gängige Augmented-Reality-Systeme integriert werden können.
Die Ergebnisse des abgeschlossenen Projekts sollen als Grundlage für weitere wissenschaftliche Arbeiten dienen. Im Rahmen von Promotionen sollen zusätzliche Modifikationen des Verfahrens erforscht und entwickelt werden. Plan ist es, das KI-Modell mit weiterer Sensorik auszustatten. Außerdem soll in Hörversuchen ermittelt werden, wie schnell und exakt die Anpassung der Darbietung tatsächlich erfolgen muss, um Immersion zu gewährleisten.
Quelle:
Foto:
Auch die Akustik spielt eine große Rolle, wie immersiv Augmented Reality wirkt. (Bild: ©daniilvolkov – stock.adobe.com)
