Wien – Intensiver Blickkontakt, ein synchrones, etwas verlangsamtes Einander-Zunicken und dann – der punktgenaue Einsatz des Ensembles. Tasten werden angeschlagen, Saiten erklingen. Zu den faszinierendsten Phänomenen, die mit dem Musikmachen von der Garagenband bis zum symphonischen Orchester einhergehen, gehört die Kommunikation während des Spiels.

Auf der einen Seite muss das Zusammenspiel koordiniert werden – alle müssen am selben Strang ziehen. Auf der anderen Seite sollte Raum für interpretatorische Feinheiten, für Spontaneität und eigene Charakteristiken bleiben. Mit langer gemeinsamer Erfahrung wird man besser, wächst bestenfalls zu einem einzigartig klingenden Klangkörper zusammen, dessen musikalische Sprache vom Publikum verstanden wird.

Wie diese Kommunikation während des Musizierens im Detail aussieht, sieht sich die Psychologin Laura Bishop vom Austrian Research Institute for Artificial Intelligence (OFAI) genauer an. Gemeinsam mit Kollegen vom Institut für musikalische Akustik – Wiener Klangstil (IWK) der Universität für Musik und darstellende Kunst Wien (MDW) arbeitet die US-amerikanische Postdoc-Forscherin mit Ausbildung in Kanada und Australien am Projekt "Coordination and Collaborative Creativity in Music Ensembles (CoCreate)", das vom Wissenschaftsfonds FWF gefördert wird.

Die Kunst des Gleichklangs

Im Rahmen der Studien soll nicht nur das Verhalten der Musiker mit neuen Technologien analysiert werden. Mit Artificial-Intelligence-Ansätzen soll auch ein computergesteuerter Musikpartner entstehen, der sich an die Spielweise seines menschlichen Gegenübers anpasst.

"In diesem Bereich gab es bereits viel Forschung. Meistens hat man für die Untersuchungen jedoch sehr einfache, vorhersehbare Musik verwendet", sagt Bishop, die auch selbst Pianistin ist. Sie und ihre Kollegen wollen einen Zugang finden, der der Komplexität des Zusammenspiels erfahrener Musiker gerecht wird.

Für das Projekt wurde eigens ein Stück geschrieben, das Teile mit sehr freiem Metrum beinhaltet und die Kommunikations- und Koordinationsfähigkeiten der Musiker herausfordert, sagt Bishop: "Man muss fähig sein, gleichzeitig mit dem Partner von der Partitur abzuweichen und spontane, ausdrucksstarke Muster zu generieren, indem man etwa zur gleichen Zeit beschleunigt oder verlangsamt. Professionelle Musiker können das gut. Das Ziel meiner Forschung ist, ihre Interaktion im Detail anzusehen."

Die Forscher lassen die Musiker nun das im Stil der neuen Klassik geschriebene Stück einüben und sowohl einzeln als auch im Duett – mit und ohne Sichtkontakt – vortragen. Mithilfe von Motion-Capture- und Eye-Tracking-Technologien werden kleinste Bewegungen von Körper und Augen festgehalten und verglichen.

Dabei gehe es weniger um die tatsächliche Ausformung der individuellen Gesten, sagt Bishop. Man sieht sich eher eine Mikrostruktur an und stellt Fragen wie: Wie viel bewegen sich die Musiker überhaupt? Wie fließend sind ihre Bewegungen? Welche Beschleunigungsmuster zeigen die Bewegungen? Die Antworten sollen Aufschluss über die Vorhersagbarkeit der Intention des Gegenübers geben.

Musiker-Avatare

Zudem bereiten die Forscher auch Experimente mit computergesteuerten Spielpartner vor. Avatare sollen Körperbewegungen und Orientierung wiedergeben. Künstliche Intelligenz soll die vom Menschen gespielten Noten analysieren und in Echtzeit vorhersagen, wie das Tempo der kommenden Noten wahrscheinlich ausfallen wird, um sich vorausschauend daran anzupassen.

Anders als der Mensch ist dieser Computerpartner auch manipulierbar. Die Forscher können also die Reaktionsfreudigkeit des virtuellen Partners beeinflussen und neuartige Experimente schaffen. Eine Frage ist, wie autonom solche Systeme den menschlichen Musikpartnern erscheinen werden.

Die partiturlesende künstliche Intelligenz, die das Spiel in Echtzeit analysiert und das Timing kommender Noten abschätzt, könnte zum hilfreichen Probenpartner für Studierende werden. "Typischerweise gibt es nur wenige gemeinsame Proben.

Ein Programm, das sich wie ein menschlicher Partner ausdrucksstark und adaptiv verhält, wäre eine gute Möglichkeit, um zu experimentieren und verschiedene Interpretationen auszuprobieren." (Alois Pumhösel, 20.4.2019)