Initiativen wie der geplante Algorithmus des Arbeitsmarktservice (AMS), der die Chancen von Arbeitslosen auf dem Markt künftig einstufen soll, dürften in Zukunft nur mehr mit strengen Vorgaben eingesetzt werden.
Künstliche Intelligenz (KI) erobert die Welt. Ob in der Arbeitswelt, bei Behörden oder im Alltag: Immer häufiger kommen Algorithmen zum Einsatz. Die EU will all das nun in einem neuen Gesetzesentwurf der Kommission regulieren. Das könnte auch den geplanten Algorithmus des Arbeitsmarktservice AMS zum Straucheln bringen: So dürfte der aktuelle Entwurf der Kommission, sollte er so umgesetzt werden, ihn als "Hochrisiko-Anwendung" einstufen. "Der AMS-Algorithmus dürfte sogar sehr explizit darunter fallen, da speziell KI-Systeme durch öffentliche Behörden gelistet werden", sagt die Juristin Angelika Adensamer, Überwachungsexpertin beim Wiener Zentrum für sozialwissenschaftliche Sicherheitsforschung (Vicesse).
Das System des AMS will künftig bei Arbeitslosen automatisiert berechnen lassen, wie hoch ihre Chancen stehen, um einen Job zu finden. Aktuell liegt er vor dem obersten Verwaltungsgericht. "Der Entwurf nennt KI-Systeme von Behörden, die beispielsweise öffentliche Dienste anbieten", sagt Adensamer, als hochriskante Anwendungen. Sie müssten sich, sollten die neuen Regeln so umgesetzt werden, an strenge Qualitätsstandards halten und strikte Risikoprüfungen durchführen. Bei Verstößen drohen Strafen in Höhe von bis zu vier Prozent des Jahresumsatzes, die Kontrolle erfolgt durch den Mitgliedsstaat selbst.
Adensamers Einschätzung stimmt auch Thomas Lohninger von der Grundrechts-NGO Epicenter Works zu – und vermutet, dass der AMS-Algorithmus grundlegend überarbeitet werden müsste: "Die Sorgfaltsansprüche, die mit dem Gesetz verbunden sind, werden vom AMS derzeit nicht erfüllt." Vor allem Frauen, zu alte oder ausländische Menschen würden diskriminiert.
AMS: "Keine KI"
Der AMS teilt die Ansicht der beiden Experten nicht, denn es sei keine KI involviert: Es werde nicht mit maschinenlernenden Systemen gearbeitet, und auch neuronale Netzwerke seien nicht im Einsatz. Beim Arbeitsmarktchancenassistenzsystem würden beobachtete Informationen analytisch aufbereitet und die Ergebnisse unter Berücksichtigung der eingespielten Daten von Menschen interpretiert. Wie Adensamer erläutert, sei die Definition von KI in dem Entwurf allerdings sehr breit definiert: So würde fast jede komplexere Datenverarbeitung, beispielsweise statistische Ansätze oder Suchmaschinenoptimierung, als solche gelten. Lohninger kritisiert daher: "Der statistische Ansatz fällt eindeutig in den Anwendungsbereich. Das Argument des AMS ist fadenscheinig."
Nebst "hochriskanter" Systeme will die EU aber auch bestimmte Anwendungen gänzlich verbieten. So sollen Social-Scoring-Systeme, bei denen die Kreditwürdigkeit einer Person vom Staat eruiert wird, in Zukunft explizit für rechtswidrig erklärt werden. Derartige Anwendungen, die beispielsweise in China eingesetzt werden, berechnen bestimmte Merkmale – etwa Gesetzesverstöße in der Vergangenheit – um Bürgern eine bestimmte Wertung zuzuschreiben.
Schwerwiegende Verbrechen
Das kann soziale Benachteiligungen zur Folge haben. Auch sollen Systeme, die zur Massenüberwachung eingesetzt werden könnten, verboten werden. Wie Adensamer erläutert, räumt die EU-Kommission hier allerdings eine Ausnahme für Behörden ein: Das Verbot gilt nicht, wenn das jeweilige Überwachungssystem von öffentlichen Institutionen mit entsprechender Gesetzesgrundlage ausgeführt wird.
Für biometrische Identifikation im öffentlichen Raum – etwa Gesichtserkennung – soll es künftig klare Vorgaben geben, sofern sie staatlich eingesetzt wird: So darf sie nur zur Aufklärung schwerwiegender Verbrechen genutzt werden und auch das nur zeitlich klar eingegrenzt. Damit werde beispielsweise die Gesichtserkennungssoftware, die von der österreichischen Polizei seit Ende 2019 eingesetzt wird, nicht verboten. Andere KI-Systeme mit "niedrigem Risiko" – beispielsweise Bots – unterliegen in Zukunft an Transparenzvorgaben. Der Einsatz von KI zu militärischen Zwecken wird hingegen nicht reglementiert.
"Sehr ambitioniert"
Insgesamt sei der Entwurf aus Adensamers Sicht "sehr ambitioniert" und würde viele wichtige Herausforderungen, die durch KI entstehen, regulieren. "Die EU will hier die Ausbeutung von Informationen verbieten." Das sei wichtig und auch mit Reformen wie der Datenschutzgrundverordnung teilweise bereits adressiert worden. "Bisher war die Manipulation menschlichen Verhaltens in dieser Form rechtlich aber nicht greifbar", stattdessen mussten andere Aspekte wie Grundrechtsverstöße erwogen werden.
Staatliche Überwachung
Den Sinn hinter algorithmengestützter Überwachung durch die öffentliche Hand, verstünde sie allerdings nicht: "Das ist doch das eigentliche Problem hinter Massenüberwachung". Aus Lohningers Sicht würde die EU hier nicht konsequent handeln. Staatliche Ausnahmen seien kritisch. Die Risiken dürften nicht ignoriert werden, "um diesem oder jenem Betreiber eines KI-Systems entgegenzukommen", sagt er. (Muzayen Al-Youssef, 15.4.2021)