Interactive Music Analysis

Abstract

Real-Time Signal Processing Algorithms for Interactive Music Analysis Applications

Das Promotionsvorhaben mit dem oben genannten Titel befasst sich mit der Erforschung und Entwicklung echtzeitfähiger Algorithmen für die interaktive Analyse von digitalen Musiksignalen.

Das Projekt bewegt sich im Forschungsfeld "Music Information Retrieval (MIR)", welches an der Schnittstelle zwischen Musik, Informationswissenschaften, Ingenieurwissenschaften und Informatik angesiedelt ist und Algorithmen behandelt, die zur Analyse von Musikdaten eingesetzt werden. Die meisten dieser Algorithmen arbeiten "offline", sodass eine Anwendung in Echtzeit nicht unmittelbar möglich ist. In vielen Anwendungen spielt die Zeit, die ein Algorithmus braucht, um eine gewünschte Analyse durchzuführen, keine tragende Rolle.

Dies ändert sich aber grundlegend, möchte man ein Audiosignal simultan zum Hören eines Musikstücks analysieren. Für Echtzeitsysteme muss ein Ergebnis innerhalb einer festgelegten Zeitschranke vorliegen. Diese Zeitschranke liegt insbesondere bei Audio-Anwendungen im Bereich weniger Millisekunden. Dies stellt zwar hohe Anforderungen an die Signalverarbeitung, schafft aber auch die Grundlage für digitale Interaktion in Echtzeit. Die Möglichkeit einer Echtzeitanalyse ist beispielsweise wichtig für interaktive Anwendungen wie dem gemeinsamen Musizieren im Internet (Online-Musikunterricht) oder dem Erlernen eines Instruments (Intonation, Timing).

Im Rahmen des Promotionsvorhabens sind folgende Forschungsfragen von zentraler Bedeutung: Sind bestehende Verfahren des "Music Information Retrievals" grundsätzlich als Echtzeit-Algorithmen umsetzbar? Wo liegen die Herausforderungen in Theorie, Algorithmik und Implementation? Was gewinnt oder verliert man dabei?

Die Echtzeitfähigkeit von MIR-Algorithmen stellt auch den Bezug zum Themenfeld Digitalisierung her: Es werden Methoden der digitalen Signalverarbeitung angewendet und digitale Werkzeuge entwickelt, um Musik für die computergestützte Analyse zugänglich zu machen. Im Sinne der Forschungsdisziplin "Mensch-Computer-Interaktion" soll der Anwender interaktiv in die Analyse der Musik miteinbezogen werden. Dadurch wird ein Beitrag im Bereich der Digital Humanities geleistet.

Zur Bearbeitung der Forschungsfragen werden Forschungsmethoden aus den Bereichen der Mathematik (Modellierung und Umsetzung der Algorithmen), Datenwissenschaft (Strukturierung und Auswertung der Daten), Softwareentwicklung (Implementierung und Testung der Anwendung), Messtechnik (Geschwindigkeit und Laufzeitverhalten der Algorithmen) und Benutzererfahrung (Online-Feldexperimente und Benutzerstudien) angewendet.