Wie ein Computer Musik über die Mozart- Jukebox „interpretieren“ kann und wie die Augmented-Reality-Art-App Infos gibt
Mozart, Madonna oder Michael Jackson – das menschliche Gehör erkennt sehr schnell Unterschiede zwischen Musikstücken und -stilen. Ein Computer bzw. die Künstliche Intelligenz (KI) ist hierzu ebenso in der Lage – allerdings nicht akustisch, sondern optisch. Dies zeigt das Projekt „Mozart Jukebox” der Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt. Ein zweites Projekt, die Augmented-Reality-App, integriert die Einzelprojekte des Mozart-Jubiläumsjahres. Beide Projekte der FHWS sind integriert in zwei aktuelle Konzepte: Zum einen feiert Würzburg 100-jähriges Jubiläum des Mozartfestes, in dem das Hochschulprojekt „Mozart & KI“ ein Bestandteil eines Quartetts ist. Zum anderen gehen Wissenschaftlerinnen und Wissenschaftler aus Würzburg und Weimar seit 2020 der Frage nach, wie sich die musikalische Kreativität Mozarts mit Algorithmen verbinden lässt. Beteiligt an diesem Ansatz sind neben der FHWS die Julius-Maximilians-Universität Würzburg, das Steinbeis-Institut New Media and Data Science (Prof. Dr. Frank Deinzer, FHWS) sowie ein freier Komponist aus Weimar.
Mozart-Jukebox zeigt, wie ein Computer Musik „interpretiert“
Christoph Raab, Mitarbeiter am Institut Digital Engineering an der Fakultät Informatik und Wirtschaftsinformatik der FHWS, hat die „Mozart-Jukebox“ zusammen mit Studierenden mit dem Ziel entwickelt, den Lernvorgang von künstlicher Intelligenz visuell zu demonstrieren. Der Ansatz: Es werden sogenannte akustische Frequenzdarstellungen verwendet und diese als Spektrogramm dargestellt. Die Software der Jukebox wurde „trainiert“ und kann 484 Musikstücke von 15 Komponistinnen und Komponisten sowie Musizierenden differenzieren. Die KI wurde so programmiert, dass sie ihre Interpretation der Musik dreidimensional darstellt und dadurch für das menschliche Auge sichtbar wird.
Das Projekt verfolgt zwei Ansätze – die der überwachten sowie der unüberwachten KI. Gemeinsam ist ihnen, dass sie versuchen, Musikstücke sinnvoll zusammenzufassen. Während die überwachte KI Zugriff auf Künstlerinformationen hatte, stand bei der unüberwachten Variante die Kategoriezuordnung im Fokus. „Die FHWS Jukebox“, so erläutert es Raab, „ermöglicht es, die Perspektive einer Künstlichen Intelligenz (KI) auf Musik nachzuvollziehen. Die hier verwendete Technik wird Convolutional Neural Network, kurz CNN, genannt: Menschen nehmen die Umwelt über die Augen war. Diese Wahrnehmung wird von den Augen an das Gehirn geschickt und schließlich verarbeitet. Ein CNN ist allerdings ein Programm und besitzt daher natürlich keine Augen. Es funktioniert aber im Prinzip ähnlich wie das Gehirn: Der Mensch gibt dem CNN Bilder zur Verarbeitung und meldet das Ergebnis schließlich an den Menschen zurück.
Christoph Raab zeigt die Relevanz der Ergebnisse auf: „Der Mensch denkt in Kategorien und Mustern, um Situationen und Eindrücke einzuordnen. Diese können sehr individuell und von den eigenen Erfahrungen geprägt sein. Auch eine KI hat eine eigene Sichtweise, die sehr individuell sein kann. Normalerweise können Menschen nicht ohne Weiteres einsehen, wie eine KI Informationen einordnet. Für dieses Projekt wurde die KI so programmiert, dass ein Mensch mit bloßem Auge die Einordnung von Liedern zu Künstlerinnen und Künstlern sehen kann. Es ist dadurch möglich zu sehen, wie gut oder schlecht sie das macht. Dabei ist das Ergebnis stark von der Programmierung und den Einstellungen abhängig, die der Mensch vornimmt.“ Interessierte können die Jukebox selbst ausprobieren und unterschiedliche Filter sowie Auswahlen treffen, auch über die „Mozart and More“-App im App- und Playstore.
Die Augmented-Reality App
Die Augmented-Reality App wurde von Prof. Dr. Frank Deinzer (FHWS) am Steinbeis Institut New Media and Data Science im Zuge eines Technologietransfers bzw. einer Ausgründung entwickelt. Die App integriert Einzelprojekte des Gesamtkonzepts „Mozart und KI“ und macht Geschichte über z.B. Plakate, Fotos, Videos und 3D-Objekte mit zusätzlichen Informationen und einem Content Management System „lebendig“. Auf Basis von Augmented Reality können z.B. Plakate mit zusätzlichen Informationen über eine App und ein Content Management System versehen werden. Diese sind in der Lage, die Inhalte des Plakats zu erkennen und vorbereitete Inhalte zu diesem Plakat virtuell zu überlagern.
Die „Mozart & KI“-Projekte können bis Sonntag, 27. Juni, im „M Pop-Up“ in Würzburg (Plattnerstraße 14) besichtigt bzw. ausprobiert werden.
Gefördert wird das Gesamtprojekt „Mozart & KI“ von 100 Jahre Mozartfest Würzburg, der Vogel Stiftung, Würzburg Web Week und der Bayerischen Sparkassenstiftung. Dessen Vorstandsvorsitzender, Professor Dr. Reuter, zur Fördermotivation: „Wir haben mit diesem Vorhaben zum wiederholten Mal ein Projekt initiiert und gefördert, das die Verbindung von Algorithmen mit Kunst und Kreativität aufzeigt. Damit wollen wir die Beschäftigung unserer Bürger mit ihrem Verhältnis zu Künstlicher Intelligenz anregen und den gewinnbringenden Einsatz intelligenter Automation in unserer Gesellschaft diskutieren.”
Quelle:
Foto: Über Filterfunktionen können Interessierte mit der Jukebox Komponisten sowie einzelne Kompositionen vorwählen und anhören. – Grafik FHWS / Christoph Raab