Künstliche Intelligenz und Augmented Reality (AR) in Kombination könnten eines Tages die Kommunikation zwischen Hörenden und Gehörlosen erleichtern. Ein Student hat eine App entwickelt, die in Echtzeit Gesten des Fingeralphabets erkennt und übersetzt.
Programme mit künstlicher Intelligenz unterstützen Gehörlose und Taubstumme bereits bei der Kommunikation, indem sie gesprochene in geschriebene Sprache übersetzt. Der umgekehrte Kommunikationsweg, also vom gehörlosen zum hörenden Menschen, gestaltet sich schwieriger, da die Mehrheit weder das Fingeralphabet noch die Gebärdensprache versteht.
Ricardo Santana studiert Luft- und Raumfahrttechnik an der Technischen Universität Delft (Niederlanden) und beschäftigt sich dort unter anderem mit KI-Technologie. In einem seiner Forschungsprojekte hat Santana eine KI auf die Erkennung von Zeichen aus dem nordamerikanischen Fingeralphabet trainiert.
AR Brillen helfen zu verstehen
Mit der Anwendung kann er jeden Buchstaben allein durch Gesten anzeigen. Die KI erkennt die Zeichen in Echtzeit und zeigt den betreffenden Buchstaben über der Hand an.
Setzen sich AR Brillen eines Tages durch, könnten sie die Gesten direkt im eigenen Sichtfeld übersetzen und auf diese Weise bei der Kommunikation helfen. Das hat einen grossen Einfluss auf viele Menschen: Laut Human Rights Watch nutzen weltweit mehr als 70 Millionen Menschen Gebärdensprachen. Für sie würde mit AR eine grosse Barriere fallen.
Quest-Handtracking erlaubt Gehörlosen-Kommunikation
Die Technologie dürfte darüber hinaus hörenden Menschen helfen, das Fingeralphabet oder die Gebärdensprache zu lernen. Erste Innovationen in diese Richtung konnten wir bereits mit der Virtual Reality beobachten: Ein Schweizer Student hat eine VR App für die Quest entwickelt, in der man das Fingeralphabet üben kann, indem man die Zeichen mit den eigenen Händen nachmacht, wie wir bereits berichteten.
Dass VR und AR bei verschiedenen körperlichen Beschränkungen Menschen unterstützen kann, zeigt sich in diversen Anwendungen. So gibts es auch für Blinde diverse Ansätze, bei denen die VR das «Sehen» oder das «Erkunden von Räumen» ermöglichen soll, wie verschiedenene Berichte schon gezeigt haben.
Quelle:
