In der Bewertung der Kreditwürdigkeit eines Menschen spielen Algorithmen eine wichtige Rolle, obwohl sie oft diskriminierend arbeiten.

Foto: GettyImages/metamorworks

Ob wir einen Begriff in eine Suchmaschine eingeben oder unseren Feed in einem sozialen Medium aktualisieren: Die Ergebnisse, die wir zu Gesicht bekommen, werden rechnerisch erstellt, individuell auf unser früheres Verhalten angepasst. Abgesehen von den Algorithmen, die unsere Laptops und Computer technisch steuern, oder jenen, die unsere Aktivitäten im Internet lenken, werden algorithmische Entscheidungssysteme und künstliche Intelligenz auch zunehmend Teil der nicht digitalen Welt.

Ein beliebtes Beispiel für die technologischen Herausforderungen, die das mit sich bringt, ist die Kreditvergabe bei Banken. Dabei wird mittlerweile auf große Mengen an Daten über die Kreditwerbenden zurückgegriffen, die – automatisiert analysiert – einen Score oder eine Positiv- oder Negativentscheidung liefern. 2019 wurde publik, dass der Algorithmus von Apple Card Frauen einen geringeren Kreditrahmen gewährte, als Männern – und das bei gleichem Einkommen oder sogar höherer Bonität. Grund dafür waren die Datensätze, mit denen die Software konstruiert wurde, die Trainingsdaten.

Kein Kredit für Frauen?

"Automatisierte Systeme lernen auf Basis von Datenmengen aus der Vergangenheit, extrahieren daraus ihre Gesetze und verbessern ihre Leistung auf Grundlage dieser veralteten Daten", sagt Matthias Kettemann, Universitätsprofessor für Innovation, Theorie und Philosophie des Rechts an der Universität Innsbruck und der erste Forscher im deutschen Sprachraum, der mit der Lehrbefugnis für Internetrecht ausgestattet wurde. Ist es in den Datensätzen so, dass Frauen seltener Kredite bekommen – einfach deshalb, weil sie in der Vergangenheit seltener darum angesucht haben -, so wird dieser Bias vom Algorithmus repliziert.

"Dieser Blick zurück, der in den Algorithmen angelegt ist, muss ganz klar in Schranken gewiesen werden", sagt Kettemann. Dafür müsse man aber wissen, wie die Software, die Unternehmen und Plattformen nutzen, erstellt und welche Trainingsdaten eingesetzt wurden – Informationen, die Unternehmen nicht gerne preisgeben. "Genauso, wie wir die Autos zum Pickerl schicken oder Hygienetests in fleischverarbeitenden Betrieben durchführen, muss es der Normalfall werden, dass algorithmische Systeme mehrere Checks durchlaufen", sagt Kettemann.

Er erarbeitete mit anderen den Vorschlag von verpflichtenden Audits, die für Unternehmen möglichst unabhängig erstellt und entsprechend befugten Behörden regelmäßig vorgelegt werden müssten. Europäische Gesetzesinitiativen wie der "Digital Services Act" würden bereits in diese Richtung gehen und besagen, dass Plattformen regelmäßig Assessments und Monitorings durchführen müssen, hinsichtlich der Wirkung ihrer Empfehlungsalgorithmen auf Demokratie und öffentliche Gesundheit.

Kriminelle Energien berechnen

Wie KI-Systeme auf technischer Ebene fairer werden, beschäftigt Christoph Lampert vom Institute of Science and Technology (IST) Austria in Klosterneuburg. Im Bereich maschinelles Lernen ist Fairness eine mathematische Eigenschaft, die man überprüfen kann. "Wenn man für Systeme Daten von vielen verschiedenen Datenquellen benutzt, von denen manche nicht die richtigen Eigenschaft haben, sondern unzuverlässig oder manipuliert sind, dann sorgt unsere Methode dafür, dass diese ‚Outlier‘ automatisiert aussortiert werden"", sagt er. Bei dem von ihm mitentwickelten Algorithmus Flea werden die Daten der verschiedenen Quellen verglichen.

"Wir stellen fest, welche Daten konsistent füreinander sind und welche sich abheben, und können Letztere unterdrücken oder ihnen eine niedrigere Gewichtung innerhalb des Systems zuordnen." Zunehmende Bedeutung kommt der technischen Qualität der eingesetzten Entscheidungssysteme mit den wachsenden Einsatzgebieten von künstlicher Intelligenz zu. In manchen US-Bundesstaaten errechnet bereits ein Algorithmus, wie hoch die Rückfallquote eines Straftäters ist. Auch die Aktivitäten des privaten Unternehmens Clearview AI sorgte medial bereits für großes Aufsehen.

20 Milliarden Bilder, 20 Millionen Euro Strafe

Das Unternehmen verfügt über eine Datenbank mit mehr als 20 Milliarden Bildern von Gesichtern, generiert von öffentlichen Plattformen wie Social Media oder Nachrichtenseiten. Die daraus entwickelte Gesichtserkennungssoftware wurde etwa dem US-Bundesstaat Indiana, dem US Secret Service, Interpol oder auch der Polizei von London verkauft. Die italienische Datenschutzbehörde verhängte gegen Clearview AI kürzlich wegen Verstößen gegen die Datenschutzgrundverordnung eine Geldstrafe von 20 Millionen Euro.

In den kommenden Monaten debattiert das EU-Parlament den von der Kommission vorgeschlagenen "AI Act", die gesetzliche Grundlage für den Einsatz von KI, Algorithmen und automatisierten Entscheidungen in Europa. Die NGO Epicenter Works spricht in dem Zusammenhang von einem drohenden Überwachungskapitalismus und fordert ein Verbot von KI-Systemen, die ein unannehmbares Risiko für die Grundrechte darstellen.

"Man kann keine KI-Systeme entwickeln, die nur eine gewisse Anwendung haben", sagt Christoph Lampert dazu. Jene Systeme, die mittels Gesichtserkennung ein Smartphone entsperren, können mit anderen Trainingsdaten dafür eingesetzt werden, Terroristen ausfindig zu machen, oder auch dafür, Dissidenten aufzuspüren. "Natürlich können wir gewisse Einsatzgebiete der KI versuchen zu reglementieren, aber es ist extrem schwer, zu überprüfen, ob sie dann auch wirklich nicht eingesetzt werden", wie der Clearview-AI-Skandal gezeigt habe.

Algorithmen regulieren

"Was man machen muss und kann, ist, den Einzelnen gegenüber den Plattformen, gegenüber den Unternehmen wieder zu ermächtigen", sagt der Professor für Internetrecht Kettemann. Die Politik dürfe sich aber nicht scheuen, sich mit den vielen technischen und rechtlichen Lösungen auseinanderzusetzen, die bereits entwickelt wurden, sowie den verpflichtenden Audits oder der Schaffung einer europäischen AI-Aufsichtsbehörde.

"Im Zuge der Digitalisierung ist unser Umgang mit Algorithmen der erste Kampf, bei dem gesellschaftliche Werte gegen eine technische und wirtschaftliche Übermacht verteidigt werden", sagt Kettemann. "Die Verwendung von Algorithmen in rechtliche Bahnen zu lenken ist dabei zwar nicht die größte Herausforderung, vor der wir stehen, aber die erste große." (Sarah Kleiner, 5.5.2022)