Im Gastblog erklären der Jurist Matthias C. Kettemann und die Juristin Anna Schwärzler, warum neben dem Rechtswissen auch technische Expertise und Designkenntnisse wichtig sind.
Von künstlicher Intelligenz (KI) ist oft die Rede. Doch der Begriff ist unklar. Vieles, was "künstlich" und "intelligent" sein soll, ist weder künstlich noch besonders intelligent. Da hilft der Begriff der automatisierten Entscheidungsfindungssysteme (ADM) schon mehr. Diese Systeme prägen unser Leben zunehmend. Mit ihnen werden Operationen empfohlen, Massenverfahren durchgeführt, Plattforminhalte gelöscht. Doch was, wenn man nicht zufrieden ist? Müssen Computer ihre Entscheidung erklären?
Ja, das müssen sie. Wir alle haben ein Recht auf Rechtfertigung gegenüber jeder Verfügung über unsere Rechte und Pflichten, wie der Frankfurter Politikphilosoph Rainer Forst schreibt. Eine Rechtfertigung kann man durchaus wörtlich verstehen: "Recht" wird gefertigt, genauer: Durch die Erklärung, warum eine Entscheidung auf eine bestimmte Weise gefallen ist, wird das "Recht" erst "gefertigt", nach dem diese Entscheidung besteht. Ohne Begründung hat kein Urteil, kein Bescheid bestand. Wieso also begründungslose (alternativlose?) maschinelle Entscheidungen akzeptieren? Das wäre gefährlich.
Post-Office-Skandal
Dass automatisierte Entscheidungsfindungssysteme, wenn sie weder überprüft noch hinterfragt werden, zu massiven Rechtsverletzungen führen können, hat sich im Post-Office-Skandal in Großbritannien gezeigt.
Die britische Post führte das System "Horizon" ab den 2000er-Jahren als eine automatisierte Buchhaltungssoftware ein. Viele Postmitarbeiterinnen und Postmitarbeiter beschwerten sich darüber, dass das System fehlerhaft sei. Die Software meldete immer wieder fehlende Geldbeträge und Lücken in der Buchhaltung, die von den Mitarbeiterinnen und Mitarbeitern allerdings bezweifelt wurden. Die britische Post ignorierte derartige Meldungen und Warnungen allerdings, stattdessen ließ sie ihre eigenen Mitarbeiterinnen und Mitarbeiter strafrechtlich verfolgen. Für einige endete dieser Weg sogar mit Haftstrafen. Genau diese Mitarbeiterinnen und Mitarbeiter schlossen sich später zusammen, um die tatsächlichen Umstände und Fehler des Programms aufzudecken und ihre Unschuld zu beweisen.
Seit dem Beweis, dass das System fehlerhaft war und kein menschliches Versagen oder kriminelles Handeln hinter den fehlenden Geldbeträgen steckte, begannen die Diskussionen darüber, wie es zu derartigen falschen Verurteilungen kommen konnte. Am häufigsten wird die automatische Annahme, dass das "Horizon"-System verlässlich und fehlerfrei war, als Kernursache angeführt.
Die Mitarbeiterinnen und Mitarbeiter der britischen Post forderten während ihrer Verhandlungen die Herausgabe von relevanten Dokumenten über das "Horizon"-System. Dies wurde jedoch sowohl von der Post als auch von den Richterinnen und Richtern abgelehnt. Heute wird oft die Meinung vertreten, dass eine derartige Offenlegung bereits damals zu einer ordnungsgemäßen Aufklärung des Sachverhalts hätte führen können. Über die Entscheidungsgründe der Richterinnen und Richter dafür, die Anträge der Verteidigung abzulehnen, kann nur spekuliert werden. Oftmals wird angenommen, dass die Richterinnen und Richter die Wichtigkeit der elektronischen Beweismittel in Bezug auf die Verteidigung nicht erkannten, unter anderem deshalb, weil sie sich selbst nicht gut mit derartigen Systemen auskannten. Aber auch von der Verteidigung wurden Fehler begangen.
Erklärungspflicht als Schutz vor Fehlern
In der heutigen Zeit beschäftigen sich Forscherinnen und Forscher viel damit, wie derartige Skandale zukünftig verhindert werden können. Ein erster Schritt wäre es, die Entscheidungen von ADM-Systemen nachvollziehbar zu gestalten und auch zu erklären. Eine Studie, an der Innsbrucker Rechtswissenschafter beteiligt waren, legt nun nahe, dass beim optimalen Design der Erklärung von automatisierten Entscheidungen jedenfalls neben dem Recht auch technische Expertise und Designkenntnisse wichtig sind.
Jede Entscheidung einer österreichischen Behörde muss eine Rechtfertigung beziehungsweise eine Begründung enthalten. Dies soll den entsprechenden Parteien vor allem dabei helfen, die Entscheidung nachvollziehen und sie entsprechend anfechten zu können. Im Zusammenhang mit ADM-Systemen stellt sich nun die Frage, wie die Entscheidungen von automatisierten Softwares begründet beziehungsweise erklärt werden können.
Drei Fragen zur Erklärung von Entscheidungen
Damit derartige Erklärungen verstanden werden können, müssen sie sich mit drei verschiedenen Fragen beschäftigen. Erstens muss die entsprechende Zielgruppe durch die Erklärung angesprochen werden. Eine Expertin, die sich mit ADM-Systemen beschäftigt, benötigt eine viel weniger umfassendere Erklärung als Laien, denen automatisierte Entscheidungsfindungsprozesse gänzlich fremd sind.
Zweitens sollten sich die Erklärungen mit der Frage beschäftigen, was denn überhaupt erklärt werden muss beziehungsweise erklärt werden kann. Es sollten auf jeden Fall Informationen über etwaige Risiken oder Grenzen der Systeme angeführt werden. Auch ist wichtig, dass Betroffene die Entscheidungen anfechten können.
Interessant ist, dass schon jetzt entsprechende Erklärungspflichten für algorithmische Entscheidungen bestehen. Bereits in der europäischen Datenschutzgrundverordnung (DSGVO) wird bestimmt, dass alle Personen ein Recht darauf haben zu erfahren, wie ihre personenbezogenen Daten verwendet beziehungsweise gespeichert werden. Auch die DSGVO erwähnt bereits automatisierte Entscheidungen und schafft damit einen rechtlichen Rahmen für die Erklärung von ADM-Systemen. Die DSGVO fordert "aussagekräftige Informationen über die involvierte Logik" derartiger Systeme, wenn man von einer ausschließlich automatisierten Entscheidung betroffen ist. Was genau unter aussagekräftigen Informationen oder der involvierten Logik verstanden werden kann, wird vom europäischen Gesetzgeber allerdings nicht näher beschrieben.
Drittens sollte überlegt werden, wie diese Erklärungen aufgebaut sein müssen, um sinnvoll für deren Benutzerinnen und Benutzer zu sein. Technische Erklärungen, wie genau die Entscheidungsprozesse der ADM-Systeme ablaufen, werden in den meisten Fällen nicht erfolgversprechend sein. Derartige Erklärungen erhalten wir wohl auch nicht von den Behörden. Eine behördliche Entscheidung enthält zwar immer eine Rechtfertigung und Begründung, wie genau aber die Entscheidung gefallen ist, kann regelmäßig nicht beschrieben werden. Über Denken nachzudenken ist schwer.
Skepsis abbauen
Die Juristinnen und Juristen der Zukunft müssen sich mit Algorithmen genauso auskennen wie mit Gesetzen. Das setzt tiefe Kenntnis nicht nur des Rechts, sondern auch der Technik voraus, die gesellschaftlich relevante Entscheidungen determiniert. Richterinnen und Richtern und ihren Entscheidungen wird vertraut. Automatisierten Systemen sollte man keinen Vertrauensvorschuss geben. Aber wissen, wie sie funktionieren, das müssen alle, die an gesellschaftlich relevanten Stellen sitzen. (Matthias C. Kettemann, Anna Schwärzler, 20.5.2022)