Video-Livestreams, virtuelle Museumsrundgänge, Animationen für Virtual-Reality-Brillen: Durch die pandemiebedingten Schließungen und Kontaktbeschränkungen der vergangenen Jahre haben Museen zuletzt mehr in die Digitalisierung der Ausstellungsvermittlung investiert. Forschende der Universität Krems etwa entwickelten mit Livia AI ein Werkzeug, das die digitale Navigation zwischen den Sammlungen mithilfe von künstlicher Intelligenz erleichtern soll.

Anhand einer Ähnlichkeitssuche können sich Interessierte Bilder von vergleichbaren Werken, Objekten und Materialgruppen anzeigen lassen, die in den Sammlungen des Belvederes, des Museums für angewandte Kunst und des Wien-Museums ausgestellt sind. "Dadurch kann man sich für gewisse Ausstellungsformate inspirieren lassen und Objekte neu finden und wiederfinden", sagt die Archäologin Nicole High-Steskal, die an der Donau-Universität Krems mehrere Lehrgänge und auch das Projekt Livia AI leitet.

Verwandte Kunstwerke

Entstanden sei die Idee aus einem Problem, auf das sie mit Studierenden gestoßen sei, sagt High-Steskal. Zwar sei der Digitalisierungsgrad der Museen hoch, nur habe es bisher noch keine Schnittstelle gegeben, wo man in allen Datenbanken an einem Ort recherchieren könne. Mit Livia AI wird nun ein Prototyp geschaffen, der Sammlungen verknüpfen kann. Finanziert wird das Projekt, das Ende Februar enden wird, vom Jubiläumsfonds der Stadt Wien für die Österreichische Akademie der Wissenschaften. Der Prototyp mit seinem Quellcode ist als Open-Source-Software für alle kostenfrei zugänglich.

Dass die mit künstlicher Intelligenz gestützte Forschung jetzt umsetzbar sei, liege an den großen Datenmengen, die die Museen vor allem während der Pandemie digitalisiert und online gestellt haben, erklärt High-Steskal. Gerade in der Corona-Zeit hätten viele der Zugänge zu Kultur auf einer Gefühlsebene stattgefunden. "Das muss aber nicht immer so sein, wenn man mit Kunst in Berührung kommt", sagt High-Steskal. Vielmehr wollten die Forschenden einen Zugang wählen, der mehr von den Objekten an sich ausgeht. Deshalb geht es bei Livia AI hauptsächlich um Bilder und deren Ähnlichkeiten über Sammlungen hinweg. "So können beispielsweise Münzen, die in verschiedenen Museen ausgestellt werden, auf einer gemeinsamen Ebene dargestellt werden", sagt High-Steskal.

Training mit der 3D-Wolke

Die künstliche Intelligenz muss trainiert werden. Dafür haben Rainer Simon vom Austrian Institute of Technology und sein Team die Metadaten der Bilder als Basis genutzt. Diese Datensätze bestehen aus Schlagwörtern, Titeln und Beschreibungen der künstlerischen Werke, die die jeweiligen Museen zur Verfügung stellen. In einer 3D-Wolke werden die Wörter in Punkte überführt, dabei liegen Wörter, die ähnliche Begriffe beschreiben, im programmierten Raum nebeneinander. Zunächst lernt die künstliche Intelligenz, indem man sie mit Texten füttert, aus denen pro Wort ein Vektor erstellt wird. Schließlich werden nicht nur einzelne Wörter, sondern ganze Sätze berücksichtigt.

Die Forschenden nutzen also alle von den Museen bereitgestellten Daten, formen damit einen Satz, der anschließend durch die Raumpunkte ausgedrückt wird. Das führe dazu, dass die Metadatensätze, in denen ähnliche Schlagwörter vorkommen, im Raum nahe beieinander liegen, erklärt Rainer Simon.

Mit Livia AI sind die Forschenden noch einen Schritt weiter gegangen und berücksichtigen auch das Bildmaterial selbst. Durch die zuvor erwähnten Verfahren fasst das System zusammen, welche Bilder ähnlich verschlagwortet sind. "Was wir aber eigentlich wollen, ist, der Maschine beizubringen, wie sie die ähnlichen Bilder anhand der reinen Bildinformation erkennt", erklärt Simon. Die künstliche Intelligenz wird dabei mit Bildern trainiert, die ihr in Dreiergruppen vorgelegt werden. Jeweils zwei der Bilder ähneln sich, eines passt nicht in die Reihe; so lerne die Maschine, wie sich die Ähnlichkeit im Bild ausdrücke.

Menschliche Bewertung

Typischerweise orientiert sich die künstliche Intelligenz an Formen, sie weiß laut Simon, dass es ein Horizont ist, wenn eine weite Fläche erkannt wird. Die Trainingssets werden üblicherweise von Menschen zusammengestellt, die bestimmen, was sich ähnlich ist. Im Fall von Livia AI nutzten die Forschenden jedoch die Methode, Trainingsbilder über ähnlich beschlagwortete Bilder auszusuchen. "Deshalb haben wir in diesem eher kleinen Projekt 250.000 Triplets bekommen, mit denen man vernünftig trainieren kann", sagt Simon. Die Bildwahrnehmung von Menschen sei sehr unterschiedlich und kulturell bedingt, gibt High-Steskal zu bedenken. Man wollte aber trotzdem auch eine menschliche Absicherung haben. So könne man über eine App bewerten, welches der drei angezeigten Bilder nicht in die Reihe passt, und so dem System eine Rückmeldung geben.

Das Projekt soll auch neue Ausstellungsformate unterstützen. Es richtet sich einerseits an Kuratorinnen und Kuratoren, die einen neuen Blick auf ihre eigene Sammlung werfen wollen oder Inspiration in anderen Wiener Häusern finden möchten. Auch Forschende könnten profitieren, genauso wie interessierte Wienerinnen und Wiener, die auf Ausstellungsobjekte und Sammlungen hingewiesen werden. "Im Wien-Museum etwa gibt es fantastische Postkartensammlungen mit Ansichten von Wien, womit man die Stadt von einem neuen Blickwinkel aus erkunden kann", gibt High-Steskal ein Beispiel. Für die Zukunft erhoffen sich die Forschenden zusätzliche Querverbindungen mit weiteren Museen, zunächst soll das Projekt aber evaluiert werden. (Lea Weinberg, 21.1.2023)