Als die Maturanten in Wales, England und Schottland in diesem Sommer ihre Zeugnisse erhielten, erlebten sie eine böse Überraschung: Ihre Noten waren in einigen Fällen schlechter als erwartet. Weil wegen der Corona-Pandemie keine Prüfungen geschrieben werden konnten, entschied sich die Regierung dazu, die fehlenden Leistungsnachweise durch eine computerisierte Benotung zu ersetzen. Die Maschine sollte objektiver als ein Lehrer sein, der möglicherweise bei der Bewertung der Schüler Milde walten lässt, und so eine Inflationierung von Noten verhindern. Doch der Algorithmus erwies sich als äußerst strenger Lehrer: Er stufte 40 Prozent der Maturanoten herab. Danach gab es einen Aufschrei. Hunderte Schüler und Studenten zogen vor das Bildungsministerium und skandierten "Fuck the algorithm". Viele sahen sich ihrer Zukunftschancen beraubt.

Das Problem: Der Algorithmus scherte alle Schulen über einen Kamm. Aufgrund historischer Daten – der Schulnoten der letzten drei Jahre – errechnete die Software eine Häufigkeit von Schulnoten. Bei einer Schule, an der zwischen 2017 und 2019 12,5 Prozent in einer Alterskohorte die Bestnote A* erhielten, wurde diese Verteilung auf 5,71 Prozent herunterkorrigiert. Die relative Häufigkeit der schlechtesten Note U wurde von null Prozent auf 2,3 Prozent erhöht. Das führte dazu, dass Privatschulen, wo die Verteilung aufgrund der kleineren Klassen weniger ins Gewicht fällt, bevorzugt, größere Colleges mit mehr Schülern dagegen benachteiligt wurden. Denn dort erhielten zahlenmäßig mehr Schüler schlechtere Noten. Das soziale Klassensystem werde dadurch zementiert, monieren Bildungsexperten.

Zwar hat die zuständige Behörde, das Office of Qualifications and Examinations Regulation (Ofqual), einen 319 Seiten umfassenden Bericht darüber vorgelegt, wie das System funktioniert. Trotzdem kritisieren Informatiker die mangelnde Transparenz. Schüler und Eltern haben bereits Klage gegen die Behörde und ihren opaken Algorithmus eingereicht.

Programmierte Vorentscheidung

Wer sich heute um einen Job bewirbt, muss davon ausgehen, dass seine Bewerbung von einem Algorithmus gescannt wird, bevor sie in den Händen eines Personalers landet. 99 Prozent aller Fortune-500-Unternehmen – darunter Starbucks, Nike und Airbnb – nutzen automatisierte Systeme, um Bewerbungen zu filtern. Ob man zu einem Bewerbungsgespräch eingeladen wird, hängt auch von der Programmierung der Algorithmen ab.

Theoretisch soll damit Diskriminierung nach Geschlecht, Alter oder Herkunft verhindert werden. Eine Maschine schert sich nicht darum, ob ein Bewerber Thomas oder Tarek heißt. In der Praxis sieht das allerdings anders aus. Denn die Algorithmen werden mit Daten trainiert, die durch den Menschen verzerrt sind. Algorithmen identifizieren in riesigen Textmengen Regelmäßigkeiten – zum Beispiel, dass der Beruf Programmierer meist mit männlichen Namen in Verbindung steht – und leiten daraus Muster ab. Der Mann ist Ingenieur, die Frau Erzieherin. Dieser Bias wirkt sich dann wiederum auf Personalentscheidungen aus.

Zurück gereiht

So hat Amazons Bewerbungsroboter zwischen 2014 und 2017 systematisch Bewerberinnen diskriminiert. Das Problem: Das Modell war darauf trainiert, Muster von erfahrenen Bewerbern mit über zehn Jahren Berufserfahrung zu selektieren. Und weil das in der Praxis überwiegend Männer sind, hat das System Frauen aussortiert. Das System brachte sich selbst bei, dass Männer bei der Bewerbung bevorzugt werden, indem es beispielsweise Lebensläufe, die das Wort "women’s" (etwa in "women’s chess club captain") enthielten, schlechter bewertete. Auch Mädcheninternate wurden automatisch downgegradet. Zwar hat Amazon das Modell nachjustiert. Eine Garantie, dass die Maschine nicht doch diskriminiert, gibt es aber nicht.

Maschinenethiker kritisieren, dass durch solche Blackbox-Systeme Diskriminierungspraktiken verstärkt und Stereotype zementiert werden. Doch nicht nur bei Jobs, auch bei der Vergabe von Studienplätzen entscheiden Algorithmen mit. Seit 2018 gibt es in Frankreich die Internetplattform Parcousup, die automatisiert Studienplätze zuweist. Seitdem regt sich Widerstand gegen das Verfahren, weil es, so die Kritik, Studienplatzbewerber nach ihrem Wohnort diskriminiere. Von "sozialer Selektion" ist die Rede. Immer wieder kam es zu Bugs: Im vergangenen Jahr erhielten tausende Bewerber Zusagen für Studienplätze, um dann doch auf eine Warteliste gesetzt zu werden.

Die Beispiele machen deutlich, dass an den zentralen Weggabelungen im Leben junger Menschen – Schule, Ausbildung, Arbeitsplatz – algorithmische Schleusenwärter postiert sind. Natürlich ist auch die Noten- oder Studienplatzvergabe durch Menschen in gewisser Weise eine Blackbox. Doch im Gegensatz zu einer Maschine kann man mit einem Menschen darüber sprechen.

Human Rights Watch protestiert

Die Anwältin und Human-Rights-Watch-Aktivistin Hye Jung Han forderte in einem Beitrag für Politico, dass ein Algorithmus nicht über die Zukunft von Studenten entscheiden dürfe: "Wenn Entscheidungen von großer Tragweite – wie Noten, die die Chancen eines Kinds im Leben beeinflussen können – über voll automatisierte Prozesse errechnet werden, ist es zentral, die Resultate sauber zu erklären, um es den Schülern zu ermöglichen, diese anzufechten oder inkorrekte Entscheidungen zu berichtigen."

Für die Schüler in Großbritannien dürfte dies allerdings nur ein schwacher Trost sein. Zwar haben einige Hochschulen ihre Zulassungskriterien gelockert und Studienplätze (etwa für Medizin) erhöht. Ob das eine ausreichende "Reparatur" ist? (Adrian Lobe, 12.9.2020)