Auf dem ausgedehnten Rundparcours einer Modellautorennbahn, der eine Fläche von über vier mal zwei Metern einnimmt, zieht ein kleines Fahrzeug seine Runden – ein besonderes Fahrzeug. In der Fahrerkabine ist nämlich eine Kamera installiert, die ein Livebild der Fahrt an einen Computer überträgt. Dort arbeitet ein Auswertungsalgorithmus zur Erkennung von Verkehrszeichen – ein Assistenzsystem, wie es auch in echten Autos zum Einsatz kommt.
An der Strecke sind nun zwei kleine Handybildschirme angebracht, die Verkehrszeichen zur Geschwindigkeitsbegrenzung anzeigen – etwa eine 50-km/h-Beschränkung. Sie müssen von dem System richtig erkannt werden. Doch hier kommt der Nutzer ins Spiel. Er kann die gewählten digitalen Schilder an einer "Hack-Station" mittels neun Schiebereglern beliebig verfremden. Nebel oder Schneeschauer werden hinzugefügt oder – in freier "Wildbahn" seltener zu finden – die Zahlen langsam verdreht. Auf diese Weise können jene Punkte ausgelotet werden, ab denen die künstliche Intelligenz (KI) das Schild nicht mehr richtig erkennt. Ist das der Fall, bremst das Fahrzeug nicht mehr so, wie es das Schild vorschreibt, und es fliegt in der darauffolgenden Kurve von der Strecke.
Spielerischer Zugang
So funktioniert die Installation "Crash me if you can", die beim diesjährigen, am 8. September gestarteten Kunst- und Technologiefestival Ars Electronica in Linz gezeigt wird. Für Stefan Thumfart vom oberösterreichischen Forschungsunternehmen Risc Software, der das Exponat mit seinem Team gestaltet hat, soll es den Ausstellungsbesuchern "ein Gefühl für die Möglichkeiten und Grenzen von Deep-Learning- und KI-Modellen im Straßenverkehr vermitteln".
Immerhin sollen die Systeme künftig auf noch breiterer Basis eingesetzt werden. Verkehrszeichenerkennung und andere elektronische Helferlein könnten ab 2024 bereits für jedes neu zugelassene Fahrzeug obligatorisch sein. Und im realen Straßenverkehr gibt es kaum Gelegenheit zum Experimentieren mit den Assistenzsystemen – schon aus Sicherheitsgründen.
Bei dem Ars-Electronica-Exponat werden Entwicklungen aus dem Forschungsprojekt "SafeSign" auf interaktive Weise präsentiert. Das nun beendete, eineinhalbjährige Projekt, bei dem Risc Software mit der JKU Linz und der Asfinag zusammengearbeitet hat, stellte die Vertrauenswürdigkeit der Verkehrszeichenerkennung in den Fokus. Gleichzeitig wurde eine erste Datenbank mit Störungsbildern aus Österreich erstellt, die Beeinträchtigungsmöglichkeiten bei der AI-Erkennung systematisiert. Gefördert wurde das Projekt vom Land OÖ sowie mit Mitteln der Nationalstiftung für Forschung, Technologie und Entwicklung (NFTE) im Lab-4.0-Programm der Förderagentur FFG. Unterstützung kam zudem vom Wirtschaftsministerium.
Grenzen der Erkennbarkeit
"Es gibt heute viele Systeme zur Verkehrszeichenerkennung. Manche funktionieren gut, manche weniger gut", sagt Thumfart. In "SafeSign" werde versucht, die Grenzen der Erkennbarkeit auszuloten und dabei neue Trainingsdaten zu erhalten, die helfen, künftige Systeme zuverlässiger zu machen. Sie sollen auch dann besser funktionieren, wenn sich die Sonne im Verkehrszeichen spiegelt, die Witterung schlecht ist oder das Schild verschmutzt oder beschädigt ist.
Die Fähigkeiten von Mensch und Maschine, die Zeichen bei der Fahrt zu erkennen, sind unterschiedlich. Nicht immer ist der Mensch im Vorteil. "Manchmal tut man sich schwer, ein Schild zu erkennen. Und man kann sich kaum erklären, warum es das Auto dennoch schafft", betont Thumfart.
Die Basis für das Projekt liefert ein umfassender Video-Datensatz der Asfinag, der bei Fahrten zur Kontrolle des Straßenzustands entstand. Die Verkehrszeichen, die darin zu sehen sind, wurden per Hand annotiert, um die Grundlage für ein Deep-Learning-Modell zu schaffen. Zum Training spezieller Situationen mit schwerer Lesbarkeit der Schilder wurden visuelle Störungen – vom Schneefall über Schmutz bis hin zu Beklebungen – auf den Bildern künstlich hinzugefügt.
Bei dem anhand dieser Trainingsdaten etablierten Modell versuchten Thumfart und Kollegen nun, gezielt mögliche Schwächen anzusprechen. "Es gibt Bilder, auf denen die Verkehrszeichen für Menschen kaum verändert aussehen, für die KI-Systeme werden sie aber unlesbar", sagt der Forscher. "Wir haben nun versucht, mittels sogenannter ‚Adversarial Attacks‘ das System mit möglichst kleinen Veränderungen – vielleicht nur der Grauwert an drei Stellen – gezielt in die Irre zu führen, sodass etwa eine Geschwindigkeitsbegrenzung nicht mehr als solche erkennbar ist."
Fokus auf Details
Die aufgedeckten Schwächen der KI resultieren aus dem Umstand, dass die Modelle Objekte und Inhalte oft nur anhand ganz bestimmter Details erkennen, die sie auf Basis des Trainingsmaterials eingelernt haben. Bei einer 80-km/h-Beschränkung könnte das vielleicht nur das Kreuz in der Mitte der Acht sein. Die Null, die sich auf vielen Schildern findet, ist dagegen gegenstandslos, gibt Thumfart Beispiele. Ist eine Drei einer 30er-Beschränkung in der Mitte verschmutzt, kann sie dann leicht als Acht durchgehen – mit der Folge einer massiven Geschwindigkeitsübertretung.
Die Daten, die im Projekt durch die systematischen "feindlichen Angriffe" auf das KI-Modell gesammelt wurden, können nun für weitere Trainings dienen. Ein entsprechend optimiertes Modell kann auf diese Art also noch zuverlässiger und stabiler werden.
Mit der Arbeit wurde auch die erste einschlägige Datenbank geschaffen, die ausschließlich österreichische Straßensituationen beinhaltet. Auf ihr können künftige Projekte in diesem Bereich aufbauen. Verkehrszeichen im Ausland sind für menschliche Fahrer zwar meist intuitiv erkennbar, eine künstliche Intelligenz kann aber – eben wegen ihrer spezifischen "Detailverliebtheit" – in die Irre geleitet werden. "Als Mensch kümmere ich mich nicht darum, wie die Spitzhacke auf einem Achtung-Baustelle-Schild aussieht oder ob ein oder zwei schematische Erdhaufen abgebildet sind", sagt Thumfart. "Deep-Learning-Systeme achten aber manchmal gerade auf diese Aspekte." (Alois Pumhösel, 10.9.2021)